סיכומים למבחן בניסויית :שיעורים +ספר +תרגולים מקרא: כותרת שיעור (לכל מצגת צבע שונה) כותרת באפור -מהשיעורים כותרת בצבע -מהספר (בצבע של כותרת השיעור) מבוא לפסיכולוגיה ניסויית עקרונות החקירה המדעית: .1אמפיריות :חקירה מדעית בפסיכולוגיה אפשרית רק ע"י איסוף נתונים. .2אובייקטיביות :חקירה מדעית לא תלויה בשיפוטים ערכיים ,בראייה סובייקטיבית של החוקר או באמונתו .נדרשת חוסר תלות בין המחקר ומסקנותיו לזהות החוקר( .חוקר לא אובייקטיבי יבצע מחקר מוטה גם אם לא במודע ,כנ"ל לגבי גופים). .3בחינות :חקירה מדעית היא אמפירית בלבד ,כל מה שלא ניתן לבחינה אינו מתחום עניינו של המדע. חקירה היפותטית דדוקטיבית: חקירה מדעית תמיד מוכוונת תיאוריה ( :)Theory Governedיוצאת מתוך הנחה תיאורטית כלשהי. מהתיאוריה נגזרות השערות אמפיריות :שכל אחת מהן יכולה להתברר כנכונה ) (Tאו שגויה ).(F כל ההשערות האמפיריות נבחנות באמצעות ניסוי ,איסוף מכוון של נתונים וניתוח שלהם. תוצאות הניסוי נבחנות לאור ההשערות :לאחר איסוף הנתונים משווים את מה שהתיאוריה ניבאה למה שיצא בפועל. הפרכת או אישוש התאוריה :ולא הוכחה/אימות שלה .דווקא תוצאות מפריכות תורמות יותר להתקדמות המדע. הערכת תיאוריה: .1יכולת תיאורית :תיאוריה טובה אמורה לתאר כמה שיותר תופעות מתוך עולם התוכן שאליו היא מתייחסת. .2יכולת הסברית :תיאוריה טובה אמורה להסביר את עולם התופעות שאליו היא מתייחסת באופן מדויק .הסבר טוב מוביל לניבוי טוב ובכך להבנה טובה של עולם התופעות שאנו חוקרים .הסבר ← ניבוי וניבוי ← הבנה. .3הנחות יסוד :צריכות להתאים לאקסיומות של תיאוריות שכנות מתחומי ידע אחרים. .4אפשרות הפרכה – עיקרון ההפרכה של פופר: מדע מאופיין בתהליך מתמשך של הפרכת תיאוריות והחלפתן בטובות יותר (לרוב שינויים קלים – החלפת משתנה ,הכנסת משתנהנוסף ועוד) .התיאוריה מופרכת במובן שהמבנה שלה מתגלה כלא מדויק ולכן מוחלף במבנה הסברי טוב יותר .לדוג' ,תיאורית הדיסוננס החברתי של פסטינגר נכונה רק במקרה של חופש בחירה (רוזנברג) -התוספת לתיאוריה. לא ניתן לאמת תיאוריה (רק באינסוף ניסויים = לא אפשרי) ,ולכן התקדמות מדעית משמעותית מושגת ע"י נסיונות הפרכה. מכאן נובע :תיאוריה שאינה מאפשרת הפרכה (תאוריה חזקה כמו בריאת העולם) אינה תאוריה מדעית! תיאוריה מדעית טובה מאפשרתהפרכה מהירה ויעילה. *ראינו את הסרט על תקשורת מתווכת באוטיזם ,החוקר המשיך להאמין בתאוריה גם אחרי שהופרכה. .5פרסימוניות (חסכונות) ,עקרון התער של אוקהאם :תיאוריה מדעית טובה תניח מינימום הנחות משתי סיבות( :א) תאוריה פרסימונית מאפשרת הפרכה פשוטה יותר ומהירה יותר (לכן תאוריות נפוחות ומורכבות הן בעייתיות)( .ב) תיאוריה פשוטה (מעט הנחות) קרוב לוודאי נכונה יותר כי ההסתברות לחיתוך של פחות מאורעות גבוהה יותר .לסיכום >-תאוריה שמכסה כמה שיותר תופעות עם כמה שפחות הנחות. תיאוריה בעלת N-1הנחות עדיפה על תיאוריה עם Nהנחות כשלשתיהן אותה יכולת הסברית. תיאוריה על פי קרלינגר: מערכת של מונחים ,הגדרות וטענות המייצגים השקפה על תופעה מסוימת ע"י הצגת היחסים בין המונחים ,במטרה להסביר ולנבא את התופעה. מונח תיאורטי (חסר הגדרה אופרציונלית) ,תצפיתי (עבר אופרציונליזציה) ,קדם תיאורטי (הגדרה אופרציונלית מקובלת). יש כמה סוגי קשרים בין משתני התיאוריה ,חלקם מבוססים וחלקם משוערים -מכונים חוקי גישור: .1חוקים המגשרים בין מספר מונחים תיאורטיים – למשל ,דימוי עצמי משפיע על הישגים. .2חוקים המגשרים ישירות בין מונח תיאורטי למונח תצפיתי – למשל ,דימוי עצמי נמדד ע"פ מבחן ציור-איש. .3חוקים המגשרים בין מונח תיאורטי למונח תצפיתי דרך מונח קדם-תיאורטי – למשל ,מדידת הישג (מונח תיאורטי) ע"י מבחן יכולת (תצפיתי) ,מתוך הנחה שיכולת (קדם תיאורטי) משקפת הישגים. החקירה המדעית – סיכום: מניחה דטרמיניזם :מערכת סגורה ,לא ניתן להניח שמשהו הופיע באופן בלתי צפוי בלא סיבה ,לכל תוצאה תופעה שקדמה לה. סיסטמתית :הגדרה מדויקת של עולם התופעות ,מדידה מהימנה ,מתודולוגיה מקובלת ,הסקת מסקנות לוגית מהנתונים. חייבת ליצר ידע חשוף לכל :לצורך חשיפה של העבודה המדעית לעיניים ביקורתיות. מתבססת על איסוף נתונים. מייצרת מסקנות. שואלת שאלות בעלות תשובה ברורה וחד משמעית. מפתחת תיאוריות ניתנות להפרכה. מדע מול פסאודו-מדע: פסאודו-מדע" :חקירה" שנראית מדעית ומציגה רושם של כזו ,אך לא עונה על קריטריונים של חקירה מדעית' .הכי מסוכנת' כי מטה ,דברים שנתפסים על ידי אנשים כמוכחים כמדעיים אך למעשה אינם ובכך הם מתעתעים באנשים (אורי גלר ,אסטרולוגיה). אפיוני פסאודו –מדע: .1ביסוס על "עובדות" אנקדוטליות -דברים שכביכול נתפסים כידועים ועובדתיים ,בניגוד לממצאים אמפיריים סיסטמתיים. .2אי התאמה לתיאוריות מדעיות מוסכמות – לא כבול לתאוריות מדעיות ואף עומד בסתירה. " .3התנגדות" להפרכה ע"י הוספת הנחות חדשות או משתנים בכל פעם ,כדי שיהיה הסבר למה זה לא הולך. .4נטייה להסברים פשטניים במונחים פופולריים. עיקרון האמת :הרובד האמפירי לבחינת תיאוריה .כששתי תיאוריות מתחרות ,בוחרים ניסוי אחד שלפי תוצאותיו יכריעו ביניהן. פסאודו מדע מפר את קריטריון האמת :כי אין דרך מוסכמת בה מאוששים או מפריכים. פופר – על עיקרון ההפרכה ועל פסאודו מדע: לפי פופר ,אינדוקציה (הכללה מתצפיות לתיאוריה) היא לא דרך מדעית ,אלא הדדוקציה -העלאת השערה מראש ,בדיקתה ,ניסיון להפריכה ,ובכך אישוש או פסילה שלה .אנו מחפשים אישושים לתיאוריות שלנו ולכן קל למצוא אותם (כל צפייה היא סלקטיבית ובעלת מערכת אינטרסים) .יש להביא בחשבון אישושים רק אם הם תוצאה של חיזויים מסתכנים :כלומר ,אם בלי לדעת את התיאוריה הנידונה ,היינו מצפים לאירוע שהיה מפריך את התיאוריה. תיאוריה טובה היא כזו שיש אפשרות להפריך אותה ,אך הניסיונות להפריכה לא צלחו .מנגד ,תיאוריה שלא ניתן להפריך את ההשערות הנגזרות ממנה באופן אמפירי איננה מדעית .הוספת הנחות עזר אד-הוק לתיאוריות שהופרכו ,ע"מ "להשאירן בחיים" ,הורסת את מעמדה המדעי ("תכסיס קונבנציונליסטי"). השלכות חברתיות של עיקרון ההפרכה )1( :יש לפתוח את המחקרים לציבור ולפרסם אותם בכתבי עת מדעיים )2( .יש לראות את הביקורת כעיקרון יסודי במדע ולהיות פתוחים לה. כשהשערה מופרכת ניתן להסיק ש )1( :המחקר לא בדק את מה שהיה אמור לבדוק" ,המחקר לא טוב" )2( .התיאוריה שממנה נגזרה ההשערה היא מוטעית. מדע הפסיכולוגיה: מדע הפסיכולוגיה טוען שיש אמת שניתן לגלות ע"י איסוף תצפיות סיסטמתי .יש לשאול מהו אובייקט המחקר (המיינד? ההתנהגות?) ,ומהי המתודה הטובה ביותר לחקור אותו .העיסוק הפילוסופי בפסיכולוגיה עתיק יומין ,אך העיסוק המדעי חדש יחסית: המעבדה של וונדט באירופה ,הראשונה לפסיכולוגיה ניסויית .טען שהפסיכולוגיה היא מדע ככל המדעים. אובייקט המחקר :המיינד האנושי ,התנסות ומודעות. אנטי רדוקציוניזם :אירועים מנטליים לא ניתנים לרדוקציה לאירועים פיזיולוגיים -גם אם יכולנו למפות את כל התהליכים הביולוגייםעדיין היינו יכולים להסביר רק חלק מההתנהגויות ולכן הפסיכולוגיה היא מדע בפני עצמו. אירועים מנטאליים מתרחשים סיסטמתית ואינם כאוטיים .תפקיד המדען לגלות את הסדר הזה. שיטת המחקר :איסוף תצפיות (כמו במדעי הטבע). הדרך לצפות באירועים מנטליים היא אינטרוספקציה :מתודה מוסדרת המאפשרת תצפיות מדויקות באירועים מנטליים פנימיים .למשל,נבדק מבצע מטלה ונשאל באיזה אופן חשב וביצע אותה. הסטרוקטורליזם של טיצ'נר התפתח במקביל בארה"ב (.)1927-1867 פוזיטיביזם :ניתן לדעת על העולם רק ע"י איסוף תצפיות ,מה שלא בר צפייה לא מעניינו של המדען. אובייקט המחקר בפסיכולוגיה :המיינד והתנסויות מודעות. אסוציטיביים :אירועים מנטליים אינם רנדומליים אלא קשורים זה בזה .תפקיד החוקר לחקור את טיב קשרים אלו. פרלליזם :אירועים מנטליים ופיזיים מתרחשים במקביל .אירועים מנטליים לא ניתנים לרדוקציה לאירועים פיזיים. שיטת המחקר :אינטרוספקציה. הוויכוח על תמונות מנטליות: וונדט והסטרוקטורליסטים טענו כי חשיבה אנושית מלווה בהכרח בתמונות מנטליות. בתחילת המאה ה 20-חקר קולפ את הדרך בה יוצרים אסוציאציות מילים .השיטה -אינטרוספקציה .התוצאה -אסוציאציות למיליםעולות ללא תמונות מנטליות* .לא היה אז קריטריון אמת למתודה הסדורה לאיסוף אינפו' ,מדובר בויכוח לא מדעי. טיצ'נר ווונדט סירבו לקבל את התוצאות בטענה ש"הנבדקים של קולפ אינם מאומנים בלדווח מה באמת מתרחש במוחם". התוצאה הסופית :אין קריטריון אמת מוסכם אפריורי ברור למהי אינטרוספקציה נכונה .תם לו עידן האינטרוספקציוניזם. המהפכה הביהביוריסטית (ווטסון ,סקינר) צמחה על רקע התמוטטות האינטרוספקציוניזם. - אובייקט המחקר :ההתנהגות הנצפית (במקום המיינד ותהליכים מנטליים) .התנהגות נצפית היא רק זו הניתנת לצפייה ישירה ומדידה אובייקטיבית (תגובה מוטורית). הסבר להתנהגות יכול להתבסס רק על קשרי גירוי-תגובה .החוקר נדרש לתאר קשרי גירוי-תגובה ללא הסברים מנטליים מתווכים (ביהביוריזם רדיקלי). אימפריציזם -מטען האורגניזם לא רלוונטי בניגוד לנייטיביזם (יכולות מסוימות הן מולדות) .האדם נולד כ"טאבולה ראסה". אין הבדל מהותי ברכישת התנהגות בין חיות ובנ"א (חיזוקים ועונשים) ולכן עדיף מחקר בחיות. מטרת הפסיכולוגיה הינה ניבוי התנהגות -מה האורגניזם עושה ולא מדוע. 4חוקים בסיסיים שמסירים את ההתנהגות :התניה קלאסית /אופרנטית ,הכחדה קלאסית /אופרנטית. אפשר להסביר באמצעות שרשור (רצף של התניות >-למדת את א' ועכשיו את ב') ,אבחנה והכללה התנהגויות מורכבות. התבססות הפסיכולוגיה הניסויית המודרנית באמצעות קריסת הביהביוריזם :בסוף שנות ה .50-חל בהשפעת: המהפכה המדעית בבלשנות ,נעם חומסקי :חוקי הסינטקס של השפה אינם נורמטיביים נלמדים אלא יש יכולת מולדת לרכשם .זהורציונליזם בניגוד לאימפריציזם. לא ניתן להסביר התנהגות רק ע"י גירויים חיצוניים אלא חייבים להניח ידע מתווך ,להסתכל על הקופסה השחורה( .טולמן) הופעת מדעי המחשב ותיאוריות של עיבוד אינפורמציה. -התפתחות טכנולוגיות ,מכשור מדידה וכו'. הפסיכולוגיה הניסויית המודרנית: הנחות יסוד: אינטרוספקציה לא מספקת מידע מהימן ואובייקטיבי בנוגע לתפיסה וביצוע אנושי. שיפוטים אנושיים רצופי אשליות ,הטיות סיסטמתיות וטעויות ידועות מראש. כדאי להכיר את מערך הכשלים המובנה בתפיסה האנושית. אין תחליף למדידה ובחינה מדעית אובייקטיבית ,אפילו אם מה שמודדים נראה מובן מאליו. אפיוני הגישה: המחקר הוא בסיסי ולא יישומי (לא מפתח טכנולוגיות אלא מגלה את האמת על ההתנהגות). ברובו מחקר מעבדה. אימוץ השיטה ההיפותטית דדוקטיבית :יש תיאוריה וממנה גוזרים הנחות אותן בודקים בניסוי. המחקר ממוקד ובוחן מספר משתנים מצומצם. ההסבר הוא בד"כ ברמת ההתנהגות ולא ברמה הפיזיולוגית (התוכנה ולא החומרה). מדעי החברה כמדע – טיעונים נגד: .1אובייקטיביות מצריכה ריחוק בין החוקר לאובייקט מחקרו :והחוקר האנושי העוסק בהתנהגות אנושית לא יכול לשמור על ריחוק כזה. תשובה :חשוב שהערכים שמכווינים את החוקר לא ישפיעו על תכנון המחקר וניתוחו .גם במדעי הטבע יש נושאים שלחוקרים יש עמדה ערכית לגביהם .גדולת החוקר היא להעריך האם עמדותיו משפיעות על האופן בו עורך את המחקר. .2בני אדם ייחודיים ושונים מהעולם הפיסיקלי :לכן אי אפשר לנבא התנהגות אנושית כמו שניתן לנבא תנועת גופים .גם אם מצליחים לנסח חוק התנהגותי תמיד יהיו יוצאים מן הכלל .תשובה :כפי שהתנהגותם של גופים היא תוצאה של סיבות ,כך גם ההתנהגות האנושית .כמו במדעי הטבע הניבוי הוא תמיד הסתברותי ולכן ייתכנו יוצאים מן הכלל .הסיבה היא שקשר בין 2גורמים אינו מנותק מהשפעת גורמים אחרים ,וכשיתגלו כל הגורמים הרלוונטיים ,אפשר יהיה לנבא התנהגות בצורה מדויקת. .3עובדה שיעילות המטפלים היא די מוגבלת (לעומת הצלחות של מדעי הטבע) :תשובה :העיסוק המדעי בהתנהגות אנושית הוא צעיר ממדעי הטבע ולכן המידע שהצטבר הוא מועט ,אולם זה לא אמור להוות טיעון להפסקת העיסוק בו. האם חשיבתנו האינטואיטיבית היא נורמטיבית: חשיבה נורמטיבית = משקפת באופן מהימן את עקרונות תורת ההסתברות. חשיבה אינטואיטיבית = לא נורמטיבית אלא היוריסטית .יוריסטיקה :קיצור דרך מחשבתי שמספק פתרון קל ומהיר לבעיה סבוכה .הבעיה: לחשיבה היוריסטית כשלים והטיות סיסטמיות ,היא לא מתמודדת עם כל מקרה על בסיס העובדות הקיימות אלא על בסיס הנחות יסוד מוקדמות. דרכים לרכישת ידע (לביצוע חקירה) על פי צ'ארלס פירס: .1שיטת הדבקות :אדם שדבק בדעותיו מבלי להטיל בהן ספק ולבחון מידע נוסף ,סבור שבידיו כל המידע הנחוץ ,אין כאן שאלה שדורשת חקירה. .2שיטת הסמכות :אדם שמסתמך על ידע שמגיע מאנשים המוגדרים חברתית/פוליטית כ"יצרני ידע" -ילד ואביו ,חולה ורופא וכו' .יש כאן הכרה בצורך לאסוף מידע שהוא בחלקו גם מהימן (ולא להישען רק על ידע שצברת בעצמך). .3שיטת האינטואיטיביות :אדם שדבק באמיתות כשהן נראות לו מתקבלות על הדעת ,מתאימות לשכל הישר .מצד אחד ניתן להגיע לאמיתות דרך אימוץ בררני ,מצד שני טיעון הגיוני זה עניין אישי שלא בהכרח משקף את העובדות במציאות. .4השיטה המדעית :איסוף מידע תוך הסתמכות על אובייקטיביות :אין תלות בין הליך המחקר ומסקנותיו לשיפוטים והעדפות של החוקר + אמפיריות :איסוף ובדיקת נתונים עובדתיים (הנוגעים למציאות). מטרות המדע (ברייתוייט): לגבש חוקים כלליים (המכונים הסברים מדעיים) ,המתייחסים להתנהגותם של אובייקטים. החוקים אמורים לגבש את הידע הקיים ולאפשר ניבוי של אירועים בעתיד ושליטה עליהם. החוקים מתארים בד"כ קשר בין 2משתנים ,אולם הם לא תמיד מספקים בתור הסברים. חוק כללי מספק כהסבר ככל שאנו מבינים יותר את השרשרת הסיבתית שבין המשתנה המסביר למשתנה המוסבר. מטרות המדע :הבנת השרשרת הסיבתית הסבר/גיבוש חוקים ניבוי שליטה. הסבר מדעי ע"פ קרל המפל: על מנת שחוק כללי יהיה הסבר מדעי עליו לעמוד בשתי דרישות: רלוונטיות :ניתן לחזות את האירוע המוסבר מן המידע המסביר (סטטיסטית הכוונה היא למתאם) ,כלומר ניתן לחזות את ערכו של משתנה אחד ביתר דיוק כשהמשתנה השני ידוע מאשר אם כשהוא לא ידוע. בחינות :ניתן להעמיד את הטענה במבחן .טענה שאי אפשר לבחון אותה לא יכולה להיות הסבר מדעי. שלבי החשיבה המדעית – :Dewey .1תהייה :ניסוח של הבעיה (למה הוא מתנהג בתוקפנות?). .2השערה :ניסוח חוק כללי המקשר בין שני משתנים או יותר (האם תסכול גורם לתוקפנות?). .3היקש :ניסוח השתמעויות אמפיריות -השערה אופרציונלית (אם נסתכל מישהו בכך ש ..הוא יגיב בתוקפנות מילולית). .4בדיקה ומסקנה :בחינה אמפירית והסקת מסקנות. תרגול: הסרט עם רנדי והקוסם המוזר :שלושת העקרונות כפי שמשתקפים בסרט - .1אמפיריות – הטענה של היידריק היא טענה שניתנת לבדיקה אמפירית במובן שניתן לצפות בה :הוא טוען שיש לו יכולת להזיז חפצים בכוח המחשבה ,ואת זה אנחנו יכולים לבחון ויזואלית. .2אובייקטיביות – הובאו שופטים אובייקטיבים ולא אינטרסנטיים שיכריעו. .3בחינות – שתי הגישות של רנדי ושל המכשף ניתנות לבחינה כי אפשר לדמיין מקרה שיראה שהן לא נכונות .אם המכשף היה מצליח להפוך את הדף אז התיאוריה של רנדי הייתה נופלת. התיאוריה של רנדי עדיפה כי: א .היא מסתדרת עם אקסיומות מתחומי ידע חיצוניים .הנחת החשמל הסטטי של הקוסם למשל לא הסתדרה עם הידע שלנו לגבי איך העולם עובד לפי תיאוריות מקובלות אחרות. ב .תיאוריה פרסימונית יותר כי היא מסתמכת על פחות הנחות .הקוסם למשל הוסיף פתאום את הנחת החשמל הסטטי. סוגי מאמרים )1( :מאמר תיאורטי – אין בבסיסו ניסוי ( )2מאמר אמפירי -דיווח על ניסויים ( )3מאמר סקירה – נכתב ע"י מומחה ומסכם תת תחום מבחינת הידע האמפירי הקיים ,פערים ושאלות עתידיות (הצעת תאוריה חדשה). מדדים למאמר טוב: מדד ירושלים :מדרג כתבי עת לפי A( D-Aהטוב ביותר) לפי אחוז דחיית המאמרים שכתב העת מקבל (יותר דחייה יותר טוב). אימפקט פקטור :היחס בין הציטוטים של מאמרים מכתב עת מסוים לבין כמה מאמרים אותו ז'ורנל פירסם. תאוריה וניסוי הגישה היפותטית דדוקטיבית: בוחנת תאוריה כדי להפריכה ,באמצעות ניסוי .תיאוריה :מערכת מושגים תיאורטיים ,אבני בניין ,עם קשרים שונים ביניהם ( Theoretical .)Constructבד"כ תיאוריה היא מכלול מורכב של טענות המתבטא בקשרים רבים בין מושגים עם מבנה פנימי מורכב בד"כ (עדיף לצייר). המושגים תיאורטיים ולא ניתנים לצפייה ישירה .כדי לבחון אותם יש לתרגמם להגדרה מדויקת ,חד משמעית וברת מדידה= אופרציונלית. הגדרה אופרציונלית מול קונספטואלית: הגדרה קונספטואלית (נומינלית) מתארת מושגים באמצעות מושגים שכנים בתוך ההקשר התיאורטי ,כמו במילון .עומדת בפני עצמה ואין לה אלטרנטיבות .ההרגל הוא להשתמש בהגדרות כאלו שלא ממש ניתן להתווכח עליהם. הגדרה אופרציונלית מתארת משתנים פסיכולוגיים באמצעות הדרך בה יש למדוד אותם (האופרציות שיש לעשות) בעזרת ניסוי ספציפי. מקשרת בין המשתנה התיאורטי ובין האמצעי למדוד אותו ,לכן ייתכנו הגדרות אופרציונליות שונות לאותו משתנה תיאורטי שלאו דווקא יסתרו זו את זו. לדוג'" :חוקרים טובים מפרסמים את עבודותיהם בעיתונים רבי השפעה" .המושגים הנטויים דורשים הגדרה .הגדרה קונספטואלית לעיתון מדעי רב השפעה -עיתון שמעצב את אופי העבודה המדעית בתחומו .הגדרה אופרציונלית -עיתון שיש לו אימפקט פקטור גבוה מהממוצע בתחומו .אך גם אימפקט פקטור הוא מושג בעייתי ,כי כמות הציטוטים מושפעת מגורמים נוספים כגון נושא המאמר. חשיבות ההגדרה :בבניית הניסוי החוקר מתרגם את מושגי התאוריה שבה הוא מעוניין להגדרות אופרציונליות שנראות לו מתאימות .המטה היא למדוד בניסוי את כמות המשתנה הרלוונטי לאור ההגדרה שנבחרה .חשוב לזכור שבמקרים רבים גורלו של המחקר נחרץ בשלב זה – באם ההגדרה האופרציונלית אינה מוצלחת (הגדרה מוצלחת היא תנאי הכרחי להצלחת המחקר). שני סוגי הגדרות אופרציונלית: א .הגדרה אופרציונלית נמדדת -מונחים תיאורטיים הנמדדים באמצעות מבחנים פסיכומטריים (הבנת הנקרא ,יכולת מתמטית) .תהליך האופרציונליזציה כולל :בניית מבחן שתשובותיו הן מדד לכושר הנבדק >-קביעת כללים לדרך העברתו >-כללים לציינון. ב .הגדרה אופרציונלית ניסויית -מפרטת את המניפולציה שהחוקר מבצע בניסוי .למשל ,כדי לבדוק השפעת תסכול על תוקפנות החוקרים מגדירים תסכול כ"תחושה שיש לילדים כשהם נמצאים בחדר מלא צעצועים ולא יכולים לשחק בהם". איומים אפשריים על הגדרה אופרציונלית: בעיית תוקף :המשתנה האופרציונלי לא חופף ותואם באופן מלא את המושג התיאורטי (בודק בכלל משהו אחר ממה שהתכוונו לבדוק) .אנשים שונים מייחסים משמעויות שונות לאותו מושג. מהימנות :מדידת המשתנה האופרציונלית בבסיסה אינה מאפשרת תוצאה יציבה ועקבית .המשתנה האופרציונלי שבחרנו לא מהימן (במדידה אחת יוצא א' ובמדידה אחרת ב'). דוגמא :מי שיש לו כושר לימוד ואינטליגנציה גבוהים יצליח מבחינה אקדמית .ההגדרה האופרציונלית היא שממוצע הבגרויות (=כושר לימוד) וציון הפסיכומטרי (=אינטליגנציה) ינבאו הצלחה ב .BA שאלת התוקף :מדד הינו תקף ככל שהוא מודד את התופעה שהוא אמור למדוד .כלומר ,ככל שיש יותר התאמה בין ההגדרה הנומינלית של התופעה להגדרה האופרציונלית אותה אנו מודדים .האם מבחן פסיכומטרי אכן בודק אינטליגנציה? האם ממוצע הבגרות אכן בודק כושר לימוד? שאלת המהימנות :באיזה מידת דיוק ועקביות כלי המדידה שלנו פועל .מדד הוא מהימן ככל שהוא משקף את הערכים האמיתיים שהוא אמור למדוד .כלומר ,ככל שיש בו פחות טעויות מדידה .מהימנות בניגוד למרבית סוגי התוקף ניתנת להערכה סטטיסטית .האם ציון הפסיכומטרי הוא עקבי ויציב? כלומר -אם מישהו ייגש מספר פעמים למבחן ,האם יקבל את אותו ציון? (אם השונות תהיה גדולה מאוד זו בעיה). מהימנות -שיעורים +ספר: מדידה מהימנה :מדידה מדויקת שערכיה המתקבלים זהים לחלוטין לערכי המשתנה הנמדד (הערכים האמיתיים). הציון הנצפה = הציון האמיתי +ציון הטעות[Observed Score = True Score + Error] X= t + E . הציון האמיתי הוא התוחלת של הערכים הנצפים ,E(x) = T ,ממוצע הציונים הנצפים של נבחן שהתקבל ממס' רב של העברות .ציון נצפה הוא תצפית אחת מתוך התפלגות שהתוחלת שלה היא הציון האמיתי. מהימנות היא מדד לבדיקת מידת העקביות /יציבות של תוצאות המדידה (הציון) לאורך העברות חוזרות ,תנאים משתנים (זמן ,מקום ,חוקר) וכו'. חייבים להניח שהתכונה הנמדדת היא בעצמה יציבה במידה סבירה (אחרת אקט המדידה עצמו מוטה). טעויות המדידה נחלקות לשני סוגים עיקריים: ( )1טעות שיטתית (קבועה) :חוזרת על עצמה ומשפיעה באופן עקבי (באותו כיוון) על הביצוע במבחן ,ולכן שונותה = .0למשל ,כשהמאזניים לא מכוילים הם יטו את המשקל כל הזמן באותה מידה .בניגוד לטעות מקרית ,אם אנו מודעים לקיומה אנחנו יכולים יחסית בקלות לתקן. טעות זו לא משפיעה על עקביות המדידה (מהימנות) אלא רק על ציון המדידה עצמו ונובעת מתכונה מסוימת של הנבחן או המבחן שלא קשורה לתכונה הנמדדת: משתני נבחן (עקבי עבור אותו נבחן) :הנטייה של אדם לנחש /לא ,השליטה בשפת הבחינה ,חרדת בחינות ,קשיי ריכוז וכו'. משתני מבחן (עקבי עבור אותו מבחן) :איכות ההפקה והעריכה ,הקצאת זמן ,ניסוח השאלות וכו'. ( )2טעות מקרית :נובעת ממשתנים מצביים ואירועים מקריים שיכולים להשפיע על הציון בכל כיוון שהוא .טעויות מקריות נוטות לקרות בכל מבחן והן בלתי נמנעות ,קורות באופן שונה עבור כל שאלה ואינן זהות בהכרח בהעברות חוזרות .טעות ששונותה אינה אפס וכל מדידה תאופיין בסטייה שונה .משפיעה על מהימנות המדידה וגם על הציון במדידה .תכונות של טעות מקרית: E (e x ) 0 מכיוון שבכל מדידה יש טעות ,תוחלת משתנה הטעות היא אפס המתאם בין הציון האמיתי לטעות הוא אפס ,Rt,e = 0אין תלות בין ערך הציון והטעות .השונות הנצפית בד"כ גדולה יותר מהשונות האמיתית כי היא כוללת את שונות נצפית= שונות הטעויות +שונות אמיתית טעויות המדידה (אלא אם כן שונות הטעויות היא .)0מהימנות מוגדרת כיחס בין השונות האמיתית לשונות הנצפית: כלומר ,מקדם המהימנות הוא שבר (נע בין 0ל )1שיכול להיות מוצג בשני אופנים: מתקרבת למושלמת ,וככל שהוא קרוב ל – 0המהימנות נמוכה. 2t 2e 1 2 2 rtt ככל שהוא קרוב ל – 1המהימנות מקדם המהימנות = המתאם הפשוט בין שתי סדרות של ציונים נצפים = המתאם הריבועי בין הציונים האמיתיים לנצפים = היחס בין השונות האמיתית לנצפית (=שיעור השונות הנצפית המוסברת ע"י השונות האמתית). לדוג' ,אם המתאם בין הציונים הנצפים בשתי מדידות (של אותם נבחנים) הוא 64% ,0.64מהשונות בציונים הנצפים מוסברת ע"י שונות 0.64 0.8 הציונים האמיתיים .המתאם הפשוט בין הציונים הנצפים לאמיתיים הוא נקודה חשובה מהספר :המתאם בין שני משתנים נצפים לא יהיה גבוה משורש מקדם המהימנות של Xומשורש מקדם המהימנות של .Yשורש מקדם המהימנות הנמוך מבין השניים (של Xושל )Yהוא אומדן למתאם הגבוה ביותר האפשרי בין שני המשתנים הנצפים. המהימנות היא תכונה של האוכלוסייה אליה המבחן מיועד ,ולא רק תכונה של המבחן עצמו .אם אוכ' הומוגנית מאד ,נקבל מהימנות נמוכה יחסית מזו שהיינו מקבלים באוכ' הטרוגנית .הסיבה היא שאם אוכ' הומוגנית מאד השונות האמיתית נמוכה ,ולכן היחס החלקי של שונות הטעויות (המונה) גדול .מכאן ,מהימנות תלויה בכך שניקח אוכלוסייה הטרוגנית מספיק. מהימנות איסוף תצפיות ע"י מבחנים /שאלונים :מכשיר מרכזי במחקר הפסיכולוגי שמהימנותו קשורה ב 3גורמי טעות מרכזיים: ( )1טעות הקשורה בתנאי ובמועד המבחן :האם המדידה יציבה לאורך זמן ,האם נקבל ציון דומה בזמנים שונים? ( )2טעות הקשורה במבנה הבחינה :האם יש שקילות בין חלקי בחינה ,נוסחי בחינה או נוסחי מבחן שונים (מועד א' וב')? ייתכן שאם היינו בוחרים פריטים אחרים היינו מקבלים תוצאה אחרת. עקיבות פנימית :אם פריטי המבחן השונים מודדים כולם משתנה מסוים אמור להיות מתאם בין ציוני הפריטים (מודגם יותר טוב במבחן פתוח) .מבחן עם עקיבות פנימית גבוהה הוא מבחן שבו יש מתאם גבוה בין הפריטים ,משמע מבחן הומוגני .במבחן הטרוגני העקיבות הפנימית תהיה נמוכה ,וזה לא תמיד דבר רע -בפסיכומטרי למשל אין קשר בין חלק המילולי לכמותי לאנגלית. ( )3טעויות הקשורות בשופט המעריך :לעיתים חוסר מהימנות בין שופטים קשור בעמימות ההגדרה האופרציונלית (למשל 'תרפיסט טוב'), שיכולה להיות קשורה בעמימות המושג התיאורטי עצמו (כשרם היה מנהל המחלקה הוא מצא שהמתאם בין המראיינים למגמה הקלינית היה .)0.16 נהוג להעריך מהימנות לפי כל אחת מסוגי הטעויות כשמבצעים לפחות שתי מדידות בלתי תלויות מקבילות. ככלל ,מגדירים מהימנות טובה כשהיא שווה או גדולה מ.0.8 - .1מהימנות כיציבות ( - Test-retestמבחן חוזר): מבחן מהימן יותר ככל שהמתאם בין המדידות שנעשו בשתי העברות שלו גבוה יותר. יתרון :מבקר את השפעתם של גורמים מצביים משתנים על ביצוע הנבדקים ,כמו :מוטיבציה ,מצב הרוח ,מזג אוויר וטמפרטורה. חסרונות :מקדם מהימנות בשיטה זו גבוה מהמקדם האמיתי .המהימנות האמיתית קטנה יותר מ 2-סיבות )1( :לא בא לידי ביטוי החלק בשונות הטעויות הנובע מדגימת השאלות )2( .להעברה הראשונה של המבחן עלולה להיות השפעה על ההעברה השניה מכיוון שהנבדקים זוכרים חלק מהתשובות .מה גם שכל נבדק זוכר דבר מה אחר ,ולכן השפעת הזיכרון על הציון אינה אחידה ועלול להתקבל אומדן נמוך מדי ליציבותו של המדד .לכן ,מדד זה מתאים למבחנים שלא משתפרים בהם או לומדים אליהם ,כמו תפיסה. .2מהימנות כאקוויוולנטיות -נוסחים מקבילים: כדי להתגבר על החסרונות של מהימנות המבחן החוזר בונים שני נוסחים מקבילים של אותו המבחן – עליהם למדוד את אותה התכונה ולהיות בעלי תכונות סטטיסטיות דומות (התפלגות ציונים דומה כשמעבירים לאותה אוכ'). יתרונות :רגישות לשונות הטעותית שמקורה בשאלות עצמן (וגם רגישות חלקית לגורמי זמן וסיטואציה). חסרונות )1( :גם פה ייתכן שההעברה הראשונה תשפיע על השנייה אך באופן פחות משמעותי ,ולכן מדידה זו יותר יעילה )2( .הקושי בבניית נוסחים מקבילים בעלי תכונות סטטיסטיות זהות בקירוב. .3מהימנות כעקיבות פנימית: מבחן הוא מדגם של פריטים שכולם יחד ולחוד מודדים את אותו משתנה .מבחן מהימן יותר ככל שהמתאמים בין פריטיו השונים גבוהים יותר. מדד זה רגיש לדגימת הפריטים (סוג ותוכן)* .אין בהכרח קשר בין עקיבות פנימית ליציבות. יתרונות :אפשר להשתמש בהעברה אחת של מבחן ואין בעיה הנובעת מהשפעת העברה אחת על השנייה. חסרונות )1( :לא רגיש לגורמים הקשורים באופן /מועד העברת המבחן המשתנים לאורך זמן כי הוא מועבר פעם אחת )2( .לא מתאים למבחנים שבודקים מספר עולמות תוכן ,אלא אם כן מחולקים לתתי פרקים )3( .לא מתאים למבחני מהירות. דרכים למדידת עקיבות פנימית: ( )1מהימנות מבחן חצוי :חישוב מתאם בין שני חלקים של אותו מבחן .מחלקים את פריטי המבחן ל 2-קבוצות ומחשבים את המתאם בין הציון הנצפה בחלק אחד ובין הציון הנצפה בחלק השני .בד"כ מחלקים לפריטים זוגיים ואי זוגיים ,אפשר לחלק גם בדרכים אחרות כמו חלוקתם המקרית של הפריטים בשני החלקים .המתאם בין שני החלקים הוא אומדן למהימנות של כל מחצית בנפרד .בעייתיות :ייתכן שחציות שונות יניבו תוצאות שנות ,וכן ייתכן שבתוך החצאים אין עקיבות. כדי לאמוד את מהימנות המבחן כולו יש להשתמש בנוסחה הנקראת תיקון ספירמן בראון: kr AB rxx = rttמציין את מהימנות המבחן כולו 1 (k 1)r AB = r12מציין את המתאם בין שני החלקים. ( )2מקדם אלפא קרונבאך :שיטה יותר טובה לחשב עקיבות פנימית -בוחנים את המתאם של כל זוג שאלות אחת עם השנייה. ניתן לראות מקדם זה כממוצע של כל מקדמי ספירמן בראון של כל החציות האפשריות ,לכן יכול להיות קטן או גדול ממנו באופן מקרי. מייצרים את כל המתאמים הזוגיים ,ממצעים ,עושים תיקון סטטיסטי .חישוב בפועל :קודם נחשב ממוצע של התוצאות בכל פריט עבור כל הנבדקים ואז נחשב את המתאמים בין הממוצעים הללו. 2 si 2 k s0 i 1 rtt k 1 s0 2 k =Kמספר פריטים, = Siשונות הפריט ,i = Soשונות ציוני המבחן ישנה גם נוסחת עבודה פשוטה יותר: הוא המתאם הממוצע בין תוצאות הפריטים Kהוא מספר הפריטים. מספר הפריטים – ככל שיותר גבוה המהימנות יותר גבוהה משום שהרנדומליות פוחתת. .4מהימנות בין שופטים -טעויות הקשורות במאבחן ,בבוחן ,או בשופט: כל מקדמי המהימנות עד כה הניחו שהמדידה היא אובייקטיבית -נעשית ע"י מכשיר עם סטנדרטים אחידים לציינון של כל תשובה ,אולם יש מצבים בהם הערכת ההתנהגות מתבצעת ע"י שופט אנושי -קביעת הציון היא סובייקטיבית ונוסף מרכיב של שונות טעויות הנובעת מהשופט עצמו (עייף ,לא עקבי בשיפוטיו וכו') .אחת הדרכים לקבוע את גודל שונות הטעויות היא לתת ליותר משופט אחד להעריך ,ולבדוק מהימנות בין שופטים :חישוב המתאם (מידת ההלימה) בין הערכותיהם לגבי אותו מדד .ככל ששיפוטיהם קרובים יותר מרכיב הטעות קטן יותר והמהימנות גדלה .כשיש יותר משניים ,מדווחים על מקדמי המתאם שבין כל זוג שופטים. באיזה מדד לבחור? סוג המבחן והמטרה לשמה מחושבת המהימנות הם שקובעים באיזה מדד יש להשתמש: מבחן הומוגני/הטרוגני :במבחן הומוגני נבדוק עקיבות פנימית ובמבחן הטרוגני נבדוק יציבות או אקוויוולנטיות. מבחן מהירות/כושר :מבחני מהירות מוגבלים בזמן ולכן אין טעם לחשב עקיבות פנימית (המתאם בין הראשונים לאחרונים נמוך) ,לכן יש לבדוק יציבות ואקוויוולנטיות .במבחני כושר (אין לחץ זמן) אפשר להוסיף גם עקיבות פנימית. מטרת ההערכה :כשמעוניינים לבדוק את יציבות המדידה לאורך זמן יש טעם לבחון .test-retestאולם כשמדובר על תכונה המשתנה עם הזמן ,המתאם בין ההעברות יהיה נמוך וזה לא ישרת אותנו .במקרה זה העקיבות הפנימית היא הביטוי הקרוב ביותר למשמעות תיאורטית של מהימנות. הקשר בין המדדים השונים :בין עקיבות פנימית ליציבות אין קשר בהכרח ,אבל בין עקיבות פנימית לאקוויוולנטיות יש :אם קיים מתאם גבוה בין פריטי המבחן ,אפשר לצפות למתאם טוב בין נוסחים מקבילים .אם העקיבות הפנימית גבוהה בהרבה מהאקוויוולנטיות -יש לכך 2 הסברים :או שיש הבדלי תוכן משמעותיים בין הנוסחים ,או שההבדלים בביצוע 2הנוסחים נובעים מפער זמנים בין 2ההעברות. מהתרגול :מהימנות היא חסם עליון לתוקף -התוקף לעולם לא יהיה גבוה יותר מהמהימנות של המדידה ולכן ,אם אין מהימנות אין מה לדבר על תוקף. תוקף (המבחן/המדידה) הגדרה תיאורטית :תוקף הוא המידה בה המדידה מודדת את מה שהיא אמורה למדוד ,ולא דבר אחר .במבחן ,תוקף בודק האם התצפיות מודדות את המשתנה התיאורטי שאנחנו מבקשים לחקור .תוקף מבחן עונה על מהי המהות הנמדדת במבחן ,ובאיזה מידת הצלחה המבחן מודד את המהות שאנו מבקשים למדוד .בדיקת התוקף היא תהליך מורכב של הוכחות אמפיריות. הגדרה אופרציונלית :התוקף נחלק ל 3-סוגים :תוקף ניבוי (במיון למשל) ,תוקף תוכן (בבחינות שבודקות ידע למשל) ,תוקף מבנה (בהקשרים יותר תיאורטיים). .1תוקף ניבוי (קריטריון): עוסק בשאלה עד כמה המבחן יעיל לניבוי או אבחון תחום התנהגות מוגדר .הוא נחוץ כשציוני מבחן המיועד לאבחון או ניבוי משמשים לצורך קבלת החלטות. המשתנה שרוצים לנבא נקרא 'קריטריון' = ההגדרה האופרציונלית של המשתנה התיאורטי אותו מבקשים לנבא. תוקף הניבוי = המתאם בין הציון המנבא לציון הקריטריון (ככל שהוא גבוה יותר תוקף הניבוי גבוה יותר) .לדוג' ,הפסיכומטרי הוא המשתנה המנבא להצלחה בלימודים (המשתנה המנובא) .הקריטריון הוא ממוצע ציוני הב.א. בעיה :עד כמה הקריטריון שנקבע מתאים? עד כמה הוא משקף את המשתנה התיאורטי אותו מבקשים לנבא? שלושה סוגי שימוש בתוקף ניבוי: תוקף שלאחר מעשה :כשהקריטריון נמדד לפני מדידת המשתנה המנבא – משתנה המתייחס לאירוע בעבר (נגיד לנבא כמה מצטייני הדיקן קיבלו בפסיכומטרי). תוקף מקביל ( :)Concurrent Validityכשהקריטריון והמשתנה נמדדים בו זמנית – משתנה המתייחס לאירוע בהווה (למשל ,מכשיר המאבחן פגיעה מוחית). תוקף ניבוי ( :)Predictive Validityכשהקריטריון נמדד לאחר מדידת המשתנה המנבא – משתנה המתייחס לאירוע בעתיד (למשל, פסיכומטרי). שלבים בבדיקת תוקף ניבוי )1( :הגדרת הקריטריון והדרך למדידתו )2( .איתור מדגם מייצג של אוכלוסיית היעד )3( .העברת המבחן וחישוב הציונים )4( .מדידת הביצוע בקריטריון )5( .אמידת המתאם בין ציוני המבחן לבין הביצוע בקריטריון. בעיות מעשיות בהערכת תוקף ניבוי: הגדרת הקריטריון :קריטריונים רבים קשים להגדרה או למדידה ישירה (מסיבות מתודולוגיות או לוגיסטיות) ,למשל :אפקטיביות הוראה, מנהיגות ,יכולת להשתלב ביישוב קהילתי .לעיתים המשתנה התיאורטי מוגדר בצורה כלשהי באמצעות ציון המבחן ,ואז אין דרך ברורה לבחור קריטריון .למשל ,מהי אינטליגנציה? מה שמבחן IQמודד. זיהום ציוני הקריטריון :מצב בו ציוני הקריטריון מתקבלים באופן התלוי בציוני המבחן .לדוג' ,כשהמשתנה המנבא הוא תוצאות הפוליגרף (אשם /חף מפשע) והקריטריון הוא הודאה בפשע – של הנאשם או של חשוד אחר – נוצרת תלות בין המשתנה המנבא לקריטריון .כלומר, המשטרה תנסה לחלץ הודאה רק ממי שנמצא "אשם" (משקר) בפוליגרף .הבעיה היא שנוצר מדגם מוטה – לא כולל אנשים אשמים שבדיקת הפוליגרף הראתה שהם חפים מפשע (התוקף מוטה לטובת הפוליגרף כמשתנה מנבא). זיהום ציוני מבחן :זיהוי שגוי של מה שנמדד ,בעיקר כשהמבחן פתוח ואין אלגוריתם ציינון חד משמעי .יכול להתרחש כשהערכת המבחן מערבת ידע קודם ,דעה קדומה או הטיה כלשהי של הבוחן המעריך .לדוג' ,כשאבחון גרפולוגי נעשה על טקסט של קו"ח ,או בפוליגרף כשהבוחן מניח כי הנבדק אשם -ציון המבחן של הנבדק "יזוהם" .בסרט שראינו -כשניתן ידע מקדים (שגוי) למעריכי פוליגרף הוא הטה את תוצאות ההערכה ואנשים חפים מפשע נמצאו אשמים .זה קשור להטיית האישוש :אנו נוטים לראות דברים שתואמים להשערות שלנו .ייתכן שבאופן בלתי מכוון נגיע למסקנות שגויות כי חיפשנו סימנים מאששים ,נתנו להם משקל רב יותר והתעלמנו מסימנים מנוגדים. ייצוגיות המדגם :המידה בה המדגם מייצג את האוכלוסייה הרלוונטית .מדידת תוקף הניבוי מושפעת מאפיוני האוכ' ובמיוחד משונותה .למשל, מתאמים נמוכים צפויים באוכלוסיות הומוגניות המרוכזות בחלק זה או אחר של ההתפלגות – 'קיצוץ טווח' :בציונים של המנבא ,הקריטריון או שניהם .כל קיצוץ מקטין את שונות המנבא ,הקריטריון ,או שניהם ,ויוצר הערכת חסר של התוקף (הקטנת המתאם בין המנבא לקריטריון). קיצוץ תחום בציוני המנבא :בכל מיון מועבר מבחן לאוכלוסיית מועמדים .מדידת התוקף לאחר מכן מתייחסת רק למועמדים שהתקבלו ולכן בפועל ישנן תוצאות רבות מן המבחן המקורי שלא מקבלות ביטוי בבחינת התוקף מאחר ואין לנו תוצאות קריטריון לצמד אליהן. קיצוץ תחום בציוני הקריטריון :כשמתרחשת נשירה של נבדקים שקשורה בהצלחה באפיוני הקריטריון .למשל ,נשירת סטודנטים שהלימודים קשים להם. תנאי המבחן :יש להתאימם לתנאים הקיימים במציאות לצורך סימולציה תקפה .תנאי מבחן לא מתאימים עלולים להטות את התוצאות. יתרון וחיסרון של תוקף הניבוי: יתרון :לתוקף הניבוי יש חשיבות מעשית בעיקר בנוגע לבעיות ביישום מבחנים למיון .גם לערכים נמוכים (מתאם )0.3יש ערך ,אם מכשיר המדידה מבטא שיפור בניבוי לעומת מצב ללא שום מכשיר מדידה. חסרון :לא תמיד אפשר להעריך את תוקף הניבוי משום שהקריטריון מעורר בעיות .למשל ,כשרוצים לתקף מבחן אינטליגנציה חדש – יש לתקפו עם מדד אחר של אינטליגנציה כדי להיות בטוחים שהמבחן החדש מודד אינטליגנציה ולא מוטיבציה או יכולת לעמוד במבחנים .אך האם קיים קריטריון כלשהו לאינטליגנציה שאינו "נגוע" בגורמים הלא-רלוונטיים הללו? .2תוקף תוכן: כשמבקשים למדוד ביצוע כלשהו באופן ישיר עולה השאלה עד כמה המבחן שאנו עורכים מייצג את עולם התוכן בו עוסקים .במקרה זה אין חשיבות לתוקף ניבוי שכן המבחן עצמו הוא הקריטריון (למשל ,מבחן סיום של קורסים) .מבחן תקף יענה על הקריטריונים )1( :מבוסס על ניתוח נכון של עולם התוכן שלנו ( )2פריטיו משקפים את הניתוח הזה ומייצגים את עולם התוכן שלנו (בלבד). לדוג' ,אם מבקשים למדוד הצלחה בקורס חשוב לשאול האם פריטי המבחן כוללים את כל פרטי עולם התוכן ,והאם לא הכנסנו בטעות פריטים מעולם תוכן שונה (למשל סטטיסטיקה בתוך מבחן בניסויית). מפרט מבחן ( :)Test specificationsהאמצעי להבטיח תוקף תוכן .תכנית הכוללת הגדרה מפורטת של הנושאים ,התכנים והמיומנויות שיש לכלול במבחן ,לרבות הייצוג היחסי של כל מרכיב .נקבע לרוב ע"י מומחים בתחום (אקדמאי ,תעסוקתי וכו') ומבוסס על מקורות רלוונטיים (תכנית לימודים ,ספרי לימוד ,ראיונות עם מועסקים בתחום וכו'). משפטי מיפוי :כשעולם התוכן מוגדר וברור קל מאוד לייצגו באופן אופרציונלי .כדי לעשות זאת אפשר להיעזר במשפטי מיפוי -למשל ,עבור חשבון בכיתה ב' :התלמיד נדרש לפעולת (הפעלת כלל/הסקת כלל) במשימת (חיבור/חיסור/כפל) בשפה (מילולית/מספרית). מאפיינים של תוקף תוכן )1( :נבדק לרוב לפני העברת מבחן (ולא אחרי) ,לא תלוי בתוצאות )2( .מבוסס בעיקרו על הליך איכותי ולא על ניתוח סטטיסטי -הפעלת שיקול דעת ביחס למידת ההתאמה של המבחן ליעדי המדידה (כפי שנוסחו במפרט). לצורך הערכת תוקף תוכן יש לשאול מספר שאלות: האם פריטי המבחן מייצגים עולם תוכן מוגדר אותו המבחן אמור לייצג. האם פריטי המבחן ממצים את כל עולם התוכן שאנו מעוניינים לבחון או רק לחלקים ממנו. בלבדיות :האם פריטי המבחן מתייחסים לתוכן שאיננו חלק מעולם התוכן בו אנו מתעניינים .בהקשר זה רלוונטית מהימנות של עקיבות פנימית ,משום שאם פריטי המבחן מודדים משהו משותף זה תומך בתוקף התוכן. *קשר לעקיבות -מבחן שיוצא מהימן כעקיבות פנימית מראה שלפריטיו תוקף תוכן גבוה .הסתייגות :כשהעקיבות מייצגת עולם תוכן עקבי אך שונה מהרצוי >-התוקף תוכן לא גבוה!; או -כאשר עולם התוכן הטרוגני ולא אמורה להיות בו עקיבות פנימית! .3תוקף מבנה: דרוש כשרוצים לתקף מכשיר שמודד משתנה תיאורטי (=מבנה) .בוחן השערות לגבי עולם התוכן של המשתנה התיאורטי שאותו אנו חוקרים. למשתנים רבים ,כגון שיתוף פעולה ,יושר ותוקפנות ,אין הגדרה אופרציונלית ברורה וממצה ואין קריטריון חד משמעי .כשאין הסכמה לגבי מבנה עולם התוכן לא ניתן לדעת כיצד לבחון אותו .לכן ,כשרוצים לבחון את תוקף מכשיר המדידה צריך קודם לערוך ניתוח בהיר של המשתנה. דרכים למדידת תוקף מבנה: א .חקר מתאמים: המשתנה התיאורטי (מושא המחקר) מעוגן בתאוריה ,שמכתיבה סדרת קשרים בין המשתנה למשתנים אחרים .הבחינה האמפירית של תוקף מבנה כוללת בדיקה של מתאמים כאלו( .תוקף מבחין?) ב .חקר הבדלים בין קבוצות: התיאוריה מנבאת הבדלים בין 2קבוצות בתוצאות המדידה ,שמציאתם תומכת בתוקף המבנה של המכשיר .למשל :כדי לתקף שאלון על "מידת העניין במוסיקה" ,נבדוק תוצאותיו בקבוצת מנויי הפילהרמונית ובקבוצת לא-מנויים .נצפה שהשאלון יראה כי הקבוצה הראשונה יותר מתעניינת במוסיקה מהשנייה( .תוקף מתכנס?) ג .תוקף הניבוי כחלק מתוקף המבנה: תוקף ניבוי מוצלח מחזק את תוקף המבנה אך לא מוכיח שהמבחן אכן בודק את התכונה שהוא רוצה .למשל :תיאורית אינטליגנציה תנבא מתאם חיובי בין מבחן אינטליגנציה למבחן הישגים בלימודים .מתאם כזה מצדיק שימוש במבחן האינטליגנציה למיון סטודנטים לאוניברסיטה ,ולכן הוא מחזק את תוקף הניבוי. ד .בדיקת מהימנות כחלק מתוקף המבנה: בתאוריה שמנבאת מתאמים גדולים בין החלקים של המבחן/שאלון ,עקיבות גבוהה תחזק גם את תוקף המבנה .למשל :במבחן המתיימר לבדוק תכונות אישיות יציבות ,נצפה למתאמים גבוהים בין תוצאות המבחן בשתי העברות. איומים מרכזיים לתוקף מבנה: חוסר ייצוגיות של המבנה :קיים כשההערכה צרה מדי -לא כוללת מאפיינים חשובים של המבנה. שונות לא רלוונטית למבנה :קיים כשההערכה רחבה מדי -מכילה גם שונות עקבית הקשורה למבנים אחרים שאינם המבנה המבוקש. תוקף מתכנס ותוקף מבחין (קמפבל ופיסק) תוקף מתכנס :בדיקה האם המשתנה התיאורטי אכן מצוי במתאם (חיובי או שלילי) עם משתנים אחרים כפי שמנבאת התיאוריה .לשם כך ,יש להשוות את מכשיר המדידה עם מכשירים אחרים (השונים ככל האפשר) שמודדים את אותו משתנה .במידה ויימצא מתאם גבוה בין שני המבחנים נאמר ששניהם בעלי תוקף מתכנס. **תוקף מתכנס גבוה => מתאם גבוה בין הגדרות אופרציונליות שונות של אותו משתנה תיאורטי. תוקף מבחין :ווידוא כי המשתנה לא מייצג משתנים מעולם תוכן אחר ,אלא את עצמו בלבד .כלומר ,מוודאים שלא מדדתי משהו שלא הייתי צריך למדוד .לכן נצפה לחוסר מתאם של המשתנה התיאורטי עם משתנים בלתי רלוונטיים. **תוקף מבחין גבוה => מתאם נמוך בין הגדרות אופרציונליות של משתנים תיאורטיים שונים. (The Multitrait-Multimethod Matrix )MMM שיטה לבד יקת תוקף מבנה המודדת במקביל כמה תכונות לפי כמה שיטות .כל נבדק במדגם נבחן בכל אחד מהמבחנים ובכל אחת מהשיטות, ומחשבים את המתאמים בין כל זוג מדידות. מתקבלים 3סוגי מתאמים: מקדמי מהימנות :מתאמים בין אותן תכונות שנמדדות באותה שיטה (צפויים להיות הגבוהים ביותר). מקדמי תוקף מתכנס :convergent מתאמים בין מבחנים שמודדים את אותה התכונה בשיטות שונות (צפויים להיות גבוהים יחסית). מקדמי תוקף מבחין :discriminant מתאמים בין תכונות שונות הנמדדות באותה השיטה או בין תכונות שונות הנמדדות באותה השיטה או בשיטות שונות (צפויים להיות הנמוכים ביותר). תוקף המבנה ובדיקת התיאוריה :כשממצאי המחקר עומדים בסתירה לניבוי ,החוקר יכול להסיק אחת משלוש המסקנות הבאות- א .המבחן אינו מודד את המשתנה הנחקר ולכן אינו תקף. ב .התאוריה מוטעית .למשל :ההנחה שיהיו הבדלים בנטייה הספורטיבית של שתי קבוצות (מורים לספורט ומורים אחרים) שגויה. ג .מערך המחקר לא בודק את ההשערה כראוי (היו שיבושים בהעברת השאלון ,הקראת ההוראות ,הציינון וכדומה). הבחנה בין תוקף תוכן לתוקף מבנה: #תוקף תוכן -השאלה האם המשתנים האופרציונליים בניסוי משקפים את מלוא מרחב התוכן של המשתנה התיאורטי .בדיקת תוקף תוכן נעשית באמצעות ניתוח אפריורי לוגי (איכותי) ,לפי שיקול דעתם של מומחים בתחום. #תוקף מבנה -בוחן את המבנה הפנימי של המשתנה התיאורטי עצמו ,ושואל באיזו מידה המבחן מודד את המבנה התיאורטי המבוקש .זו בחינה אמפירית -האם המתאמים בין המשתנים שקיבלנו במבחן ובין משתנים אחרים תואמים את המבנה התיאורטי שהנחנו מבחינת התכנסות והבחנה. תוקף מבנה הוא תנאי הכרחי לתוקף תוכן :לפני שברור לחוקר מה כוונתו במבנה התיאורטי בניסוי ובמשתנה התיאורטי ,אין טעם לעבוד על הניסוי עצמו .לדוג' -מבחן גרפולוגי שבודק האם אנשים הם ישרים .תוקף מבנה -נבדוק כיצד אנו מגדירים יושר קודם כל תוקף תוכן -נבדוק יושר ע"י גניבות ,מעבר באור אדום וכו' .כיצד נמפה את התכונה הזו? איזה ממדים היא כוללת? מה הקשר ביניהם? הקשר בין תוקף ומהימנות: שונות טעויות גדולה מקטינה גם את המהימנות וגם את התוקף .שונות טעויות קטנה מבטיחה את המהימנות ,אך לא מבטיחה את התוקף. מהימנות היא תנאי הכרחי אך לא מספיק לתוקף! מהימנות ותוקף ניבוי :למבחן שאיננו מהימן לא יכול להיות תוקף ניבוי .המהימנות הכרחית ומהווה חסם עליון עבורו. עקיבות פנימית (כמו אלפא קרונבך) תלויה בתוקף תוכן :לעיתים נגלה שדווקא תוקף תוכן גבוה יביא לעקיבות פנימית נמוכה .אם יש עולם תוכן מאוד מורכב ייתכן שעקיבות פנימית גבוהה מעידה דווקא על כך שכיסינו רק חלק מצומצם מתוך עולם התוכן ומאידך אם נייצג עולם תוכן רחב בצורה תקפה נגלה שהעקיבות הפנימית נמוכה. עקיבות פנימית תלויה בתוקף מבנה :שמכתיב את מערך המתאמים השונים בין פריטי המבחן. הגדרה מודרנית אינטגרטיבית של תוקף (מסיק – :)1995 תוקף השלכתי ) :(Consequential validityבודק את תוקף המבחן תוך התייחסות להשלכות הנגזרות ההשלכות מהשימוש בו. תרגול – מאמר מדעי: סוגי מאמרים :תיאורטי (מציע תאוריה חדשה /מבקר ישנות ,אין בבסיסו ניסוי כלשהו); אמפירי (דיווח על ניסויים שנעשו ,פחות עוסק בתאוריה); סקירה (נכתב ע"י מומחה ומסכם תת תחום מבחינת הידע הקיים ,פערים ושאלות עתידיות -מציע תאוריה חדשה). מבנה מאמר אמפירי :מבנה שעון החול- .1כותרת: צריכה להגדיר במדויק את הנושא בו המאמר עוסק ,וגם להיות מושכת .מכילה את כל המושגים התיאורטיים הרלוונטיים –מילות המפתח -כדי להבהיר לאיזה עולם תיאורטי מתייחסים במאמר ,ולשם איתור פשוט במאגרי המידע 10-12 .מילים. - Abstract .2תמצית: מזעור כל חלקי המאמר -פסקת סיכום שת אפשר להבין בדיוק את התיאוריה ,מה חיפשו ומה מצאו .חשוב שתכיל רק את מה שבמאמר ,ללא הפניות וציטוטים .האבסטרקט הוא לא הערכתי -יש בו מסירת מידע פשוטה בזמן עבר ,לא כולל פרשנות. .3מבוא: הצגת הבעיה (איך התרבות משפיעה על תפיסה) ,מה ידוע כיום בספרות (תאוריית -new lookהתפיסה מושפעת מהנחות התופס ,ציפיות התופס וכו' ,מטלת – RFTלהניח קו במקביל לקרקע ,דורש התעלמות מהקשר) ,רציונל הניסוי (בנו מטלת FLTבמשימה אבסולוטית ויחסית – החידוש הוא ביצירת מטלה לא אלא קוגניטיבית) ושאלה -מה החוקרים מציעים ,פתרון צפוי -השערות הניסוי (הביצוע ישתנה בהתאם לניסוי) .בסוף המבוא מציגים את שאלת המחקר ומסבירים מהם המשתנים האופרציונליים .איך מאמר מחדש? או ברמה התיאורטית ,או בפרדיגמה הניסויית. .4שיטה :שתי מטרות עיקריות( :א) לתת אפשרות לשחזר את הניסוי( ,ב) ולבקר את מתודת המחקר -לבחון אם היא תואמת את מה שהמחקר רצה לבדוק .השיטה בד"כ נחלקת לכמה תתי פרקים קצרים: .1משתתפים – כמות ,מאפיינים דמוגרפיים ,כיצד גויסו ,באיזה תנאים הוחזקו (חיות ניסוי) ,מי נשר .חשוב לדעת את הפרטים הללו כדי שיהיו עדויות להסבר חלופי לתוצאות המחקר ,וכדי לדעת על מי ניתן להכליל את התוצאות .במאמר השתתפו רק סטודנטים ,שזמן שהותם במדינה האורחת שונה (ליקוי) ,מעט נבדקים. .2מכשירים – מהי המטלה? האם היו מכשירים ,שאלונים וכו' .אם זה כלי שידוע בספרות אז מצטטים מאיפה הביאו אותו ואם ידועים נתונים לגביו כמו תוקף ומהימנות שמים אותם גם. .3מהלך – תיאור מדויק ומפורט של העברת הניסוי .במאמר :שפת הניסוי (שאח"כ מהווה גם הסתייגות מהתוצאות) ,העובדה שהשרטוט התבצע בשולחן אחר ,העובדה שהוראות הציור ניתנו לאחר שסיימו לבחון את הגירוי .את חלק מהדברים הם מסבירים (ההעברה לקצה השני של החדר) וחלק לא (מתן ההוראות רק אחרי הצגת הגירוי הראשוני). .4מערך – המשתנים הב"ת והתלויים במחקר .במאמר :משתנים ב"ת -תרבות (יפן/ארה"ב) ,מטלה (יחסית/אבסולוטית) ,גרסא (5 קומבינציות) ,שלא מעניינת תיאורטית ונכנסת רק כדי לשלול שהיא הגורם המשפיע .המשתנה התלוי -גודל הטעות. .5תוצאות: מה נלמד מהמבחנים הסטטיסטיים ומהממצאים .מוצג בגרפים או בטבלה (בנספחים) ,ובטקסט -תיאור מילולי של התוצאות מהחשוב לפחות חשוב (במטלה האבסולוטית לאמריקאים היה ממוצע טעות גבוה יותר מהאסיאתיים ,וההיפך מבטלה היחסית) .באינטראקציה מציינים קודם כל אפקטים עיקריים .בתיאור התוצאות נהוג לדווח על המבחן הסטטיסטי ,הסטטיסטי שהתקבל וה value-pשלו .אפקטים שהתקבלו אך לא שיערו שיתקבלו חייבים בדיווח אבל לא בהסבר .לדוג' ,במחקר היה אפקט עיקרי לגרסא ,הם דיווחו את זה אך לא התעכבו על זה. .6דיון: חזרה על התוצאות ,ביקורת על הניסוי (נקודות תורפה) ,יישומים עתידיים ,מחקרי המשך ,פרשנות .צורתו היא של משפך הפוך מזה שהיה במבוא :מהספציפי לכללי. .7הפניות בניית הניסוי: סוגי מחקרים: מחקר גישוש :חיפוש כללי וגמיש ,מסייע לאתר השערות ,לא נחשב מדעי .מחקר תיאורי :נועד לתאר תכונות באוכלוסיה ,שכיחות של תופעה או קשר בין משתנים ,חשוב שיהיה מהימן .מחקר סיבתי :נועד לבדוק השערות על סיבתיות ,מורכב יותר ,חייב לכלול מעבר לקשר הסטטיסטי גם סדר זמנים והפרכת הסברים חלופיים באמצעות מניפולציה. סיבתיות: סיבתיות גלויה (ברורה) :התאוריה מנבאת כי Aגורם ל.B- סיבתיות סמויה :התאוריה מנבאת כי Aקשור ל .B-בכל אמירה על קורלציות חבויה סיבתיות ,שהרי אם Aקשור ב B -קרוב לוודאי כי שניהם נובעים מ ,C -כלומר Cגורם גם ל A -וגם ל.B - סוגי קשרים( :מתאם יתגלה בכולם) רצויים: קשר סיבתי ישיר( .A ← B / B ← A :הרבה מהקשרים הישירים מותנים בתנאי ,ולכן רובם הם סיבתי מותנה או סיבתי מתווך רק שאין לנו תמיד ידע מספיק כדי להבין מה מתווך). קשר סיבתי מתווך ,B ← C ← A :משתנה מתווך מבחינת הזמן .חרדה ממוות← ערך עצמי והנצחה← מנהיג כריזמטי. קשר סיבתי מותנה B ← A :רק כאשר Cקיים .אכילת אפרסמונים אכן גורמת לחסימת מעיים ,אך רק אצל חולים מסוימים. לא רצויים: קשר עקיף :קשר עקיף בין Aל A ← C :B-ובנפרד ( B ← Cקראו לו בתרגול גם "מתאם מזויף"). .Aלמשל :חרדה חברתית גורמת להימנעות ,אך גם הימנעות גורמת לחרדה .לא יודעים מה גרם למה. קשר דו כיווניB : כדי להוכיח כי Aגורם ל Bיש לוודא( :בנוסף כמובן למתאם בין השניים) סדר זמנים A :קודם ל .Bכלומר ,אין הקשר ביניהם נובע מכך ש Bגורם ל .A .1 הפרכת הסברים חלופיים :אין משתנה מתערב (מתווך) נוסף שגורם ל Aו/או ל .Bכלומר ,אין מצב בו: .2 .על בעיה זו ניתן להתגבר כך (מהתרגול): או הקצאה מקרית ל 2-קבוצות :בדרך זו מוודאים ששתי הקבוצות זהות (אינטיליגנציה ,מצב כלכלי) והדבר היחיד שמבדיל ביניהן הוא המניפולציה .רק כך נוכל להגיד שרק Aהוא שמשפיע על .Bהדגימה צריכה להיות יחסית רחבה. התאמה :במחקרים מסוימים הקצאה מקרית לא תמיד מתאימה .לדוג' ,במחקר נוירופסיכולוגי שקבוצת הניסוי היא חולים במחלה נוירולוגית כלשהיא ,ויש להרכיב קב' ביקורת שתהיה זהה לחלוטין בהכל חוץ מבפגיעה הספציפית שבודקים (אנשים שעברו שבץ ,באותו גיל וכו'). דרישה זו בעייתית שכן קשה לחשוב מראש על כל המשתנים המתערבים האפשרים ,ובנוסף מאוד קשה למצוא נבדקים שעונים על כל התנאים. החזקת משתנה קבוע :במקרים מסוימים יש משתנה חיצוני ,שהמערך שלנו לא מנסה לבדוק אותו ושיש לו קשר למשתנה התלוי ,וכך הוא מתערב בניסוי ויכול להוות הסבר תיאורטי חלופי .ניתן לנסות ולצמצם משתנים חיצוניים בכך שנשמור אותם קבועים עבור כל קבוצות ההשוואה ובכך נמנע מהם לגרום להבדל בין הקבוצות .לדוג' ,שיטת קריאה שמשפרת מיומנויות קריאה לא תעזור לילדים לילדים ממצב סוציו-אקונומי גבוה כי הם ממילא מקבלים המון תמיכה בבית .במקרים אלו נוכל להחזיק משתנה אחד קבוע -ז"א ,להוציא מלכתחילה את אוכלוסיית הילדים במצב הסוציו אקונומי הגבוה ולבחון את שאלת המחקר שלנו רק על ילדים ממצב סוציו-אקונומי בינוני ומטה. דוג' לסיבתיות כגורם מרכזי בתיאוריה: הויכוח המדעי בנוגע להתחממות כדור הארץ :עמדת הרוב היא שכדור הארץ מתחמם כי פעילות אנושיות ותעשייתית גורמת לפליטת דו תחמוצת הפחמן לאטמוספירה ( )Aשגורמת לאפקט החממה שמביא להתחממות ( .)Bכלומר .B ← A סיבתיות בתיאוריית ההתחממות הגלובלית :מציאת מתאם ברור בין עליית רמות Co2להתחממות גלובלית לא מעיד על נכונות התאוריה. הנקודה הקריטית נוגעת לסדר זמנים לפיו קודם הייתה עלייה בכמות ה Co2-ולאחר מכן עלייה בטמפ' .בסרט שראינו חוקרים מצאו שעליית הטמפרטורה קודמת לעליית ריכוז ה.Co2- מחקר מתאמי /ניסויי: מחקר ניסויי :החוקר מפעיל מניפולציה של משתנה ב"ת (משתנה מתופעל) ,ומודד את השפעתו /השפעתם על משתנה תלוי כלשהו .ז"א ,הוא יוצר הבדלים בין הנבדקים בערכי המשתנה הב"ת ,ובוחן את השפעתם .החוקר יכול לשלוט בסדר הזמנים ולבחון הסברים חלופיים .אבל, קיימים גם הבדלים בתוך הקבוצות הללו – הבדלים בינאישיים המהווים מטרד עבור החוקר .ככל שהם גדולים יותר ,כך קשה יותר לחוקר לגלות הבדלים הקיימים בין קבוצות הניסוי השונות .מחקרים ניסויים בד"כ מתחילים ממחקרים מתאמיים -לוקחים נתונים סטטיסטיים ומוצאים מתאם בין 2משתנים >-גוזרים תיאוריה >-מבצעים מערך ניסויי בו שולטים בקשרי סיבתיות. משתנה מתופעל :משתנה ב"ת שהחוקר עצמו מבצע בו את המניפולציה ,ז"א נותן את ערך המשתנה לנבדקים ע"פ רצונו. אופי המניפולציה :מה ישתנה בין תנאי הניסוי )1( :מצבי ניסוי משתנים ( )2מטלות ניסוי משתנות ( )3הוראות ניסוי משתנות. יתרון המערך הניסויי :מאפשר לפקח ולשלוט במשתנים ,ולהסיק מהמחקר מסקנות סיבתיות. חסרון המערך הניסויי :במצבים רבים אי אפשר לעשות מניפולציה במשתנים – למשל ,להכתיב את האינטליגנציה של נבדק ,או לתת לאנשים לאכול תקופה ארוכה מזון אורגני או סוג אחר ולבדוק תוחלת חיים .בנוסף ,יש מצבים בהם לא מוסרי לעשות מניפולציה– למשל ,לתת לילדים חיזוקים שליליים כדי לבדוק את השפעתם על דימויים העצמי. מחקר מתאמי :החוקר בוחן הבדלים נתונים בין הנבדקים -הן במשתנה הב"ת (משתנה ייחוס) והן במשתנה התלוי .החוקר לא מפעיל מניפולציה לשם כך אלא מקבל מתאמים כנתון .במחקר מתאמי אין שליטה בסדר הזמנים ובסיבתיות ,ולכן הוא טומן בחובו הסברים חלופיים .לעומת המחקר הניסויי ,במחקר המתאמי ההבדלים הבינאישיים הכרחיים. משתנה ייחוס/נמדד :משתנה ב"ת שהחוקר מקבל כנתון ולא משנה את ערכו .אין הקצאה מקרית .לדוג' ,חוקר שבדק את השפעת שביעות רצון העובדים (מילאו שאלון) על איכות העובד (קיבל ציון הערכה מההנהלה). יתרון המערך המתאמי :פחות מלאכותי וקרוב יותר למציאות ,בהשוואה לניסויי. חסרון המערך המתאמי :פחות שליטה על המשתנים. משתני אישיות (כמו אינטליגנציה ,מין) הם משתני ייחוס מטבעם שאי אפשר לתפעל -משתני נבדק .לעומתם יש משתנים שניתן לבחור את "מעמדם" .למשל ,השפעת חרדה על הישגים ניתן לבחון במחקר מתאמי (מתאם בין רמת החרדה לציון) ,או במחקר ניסויי (גרימת חרדה לקבוצה אחת והפחתת חרדה אצל השניה ,ואח"כ מתן אותו מבחן הישגים לשתיהן). ההחלטה אם המערך ניסויי/מתאמי תלויה בסוג המשתנה הב"ת (מופעל או ייחוס) ולא בשיטת בדיקת ההשערה .כאשר החוקר בעצמו יצר או סייע ליצירת ההבדלים במשתנה הב"ת אז זהו מערך ניסויי ,וכאשר ההבדלים היו נתונים מדובר במערך מתאמי. דוגמא :חוקר מצא מתאם גבוה בין מזון אורגני לתוחלת חיים ארוכה ,ולכן הסיק שמזון אורגני מגדיל תוחלת חיים ,אך הסיבתיות לא ידועה: ייתכן כי אלו שאוכלים מזון אורגני הם בעלי רמה סוציו-אקונומית גבוהה יותר ואוכלים יותר מזון אורגני (יקר) .לחלופין ,ייתכן כי מי שאוכל מזון אורגני בד"כ גם יותר מודע בתחומים אחרים (כושר נגיד) .המדגם נערך על 10,000נבדקים ,יש לשים לב -גודל המדגם אינו ערובה לנכונות מסקנותיו! למרות שמחקר מתאמי לא שולט בקשרי סיבתיות וכיוונם ,הוא נתפס כמעט באופן טבעי שכזה .לעיתים קרובות מסקנת המחקר מוצגת כטענה ברורה של סיבתיות למרות שהמחקר מספק מתאם ולא יותר. הבדלים בין המערכים: א .מידת השליטה בערכי המשתנה הב"ת :במערך הניסויי החוקר קובע את ערכי המשתנה .במחקר המתאמי המשתנה הב"ת נתון. ב .העניין בהבדלים בינאישיים :חוקר המערך הניסויי מחלק את הנבדקים ל 2-קבוצות הנבדלות במשתנה הב"ת ,ומתעניין בהבדלים שנוצרו ביניהן כתוצאה מהמניפולציה .הוא רוצה לדעת האם יש הבדל מעבר להבדלים הבין-אישיים הקיימים ממילא .לכן ההבדלים הבינאישיים בתוך הקבוצות מפריעים לו -ככל שהם יותר גדולים ,כך קשה לו לגלות את ההבדלים בין הקבוצות. במערך המתאמי אי אפשר לשלוט במשתנה הב"ת .לכן ,ההבדלים הבין אישיים בתוך הקבוצה הכרחיים. ג .סוג המסקנות המוסקות :מערך מתאמי מאפשר רק להסיק על קשר בין משתנים .המערך הניסויי יכול להצביע על קשר סיבתי -החוקר שולט בסדר הופעת המשתנים ויכול גם להפריך הסברים חלופיים. מחקר ניסויי -שדה או מעבדה: מחקר שדה – החוקר מבצע את מדידותיו בשטח .יתרון :תוקף אקולוגי .בתוך מחקר זה קיים מחקר שדה אנתרופולוגי מסורתי ,בו החוקר יוצא לשהייה ארוכה במסגרת חברתית כלשהי ורושם את תצפיותיו ,או מחקר שדה בו החוקר לא מעורב בכל מרכיבי החיים של הקב' ,אלא בהיבטים מסוימים ,ולכן נוכח במקום לסירוגין. מחקר מעבדה -החוקר קובע את המשתנים הבלתי תלויים ,הרמות שלהם ואופי המניפולציה הניסויית שהוא מבקש להפעיל .החוקר דואג שהמשתנה הב"ת יופעל לפני מדידת המשתנה התלוי כדי לבחון את הכיוון הסיבתיות .יש להציב קב' ביקורת או תנאי ביקורת כדי לבודד את השפעת המניפולציה .יתרון :יותר שליטה על המשתנים והמעבדה מותאמת לצרכי החוקר. דוגמה למחקר – תוקפנות ילדים של בנדורה ורוס: השפעת צפייה בהתנהגות תוקפנית על אימוץ דפוסי תוקפנות אצל ילדים. חלוקה לקבוצות ניסוי( :א) ילדים צופים במבוגר מכה בובת פלסטיק( .ב) צופים בסרט בו מבוגר מכה את הבובה( .ג) צופים בסרט מצויר בו דמות מוכרת מכה את הבובה( .ד) סרט ניטרלי בלי מודל תוקפני. מהלך :צופים בסרט ואז מכניסים את הילד לחדר עם צעצועים ,ביניהן בובת הפלסטיק מהסרט. תוצאות :שלושת הקבוצות שצפו במודלים התוקפניים נהגו באלימות כלפי הבובה ,לעומת קבוצת הבקרה .בנים יותר מבנות. מסקנות )1( :צפייה בהתנהגות תוקפנית מגבירה תוקפנות אצל ילדים ,גם בנים וגם בנות )2( .אין הבדל מובהק בסוג המודל ( )3בנים תוקפניים יותר מבנות. סוג המחקר :ניסויי ולא מתאמי (המשתנה הב"ת הופעל לפני מדידת המשתנה התלוי על מנת לבחון את כיוון הסיבתיות :צפייה בהתנהגות תוקפנית ← תוקפנות .בנוסף ,הוצב תנאי ביקורת כדי לבודד את השפעת המניפולציה) .זהו מחקר מעבדה ולא מחקר שדה. משתנה ב"ת :מצבי ניסוי משתנים (מטלת ניסוי והוראות זהות) 3 -רמות של מניפולציה "צפייה בהתנהגות תוקפנית" 2 .רמות של משתנה ב"ת, משתנה נבדק – זכר/נקבה (לא יכול להיות מתופעל). משתנה תלוי :מספר אקטים תוקפניים כפי שנקבעו ע"י שופטים. עקרונות בקרה ניסויית א. ב. ג. ד. בלעדיות :מצב בו רק המשתנה הבלתי תלוי שקבענו משפיע על התלוי ,בלי "הסתננות" גורמים נוספים – ניסוי סטרילי .לרוב זה מובטח ע"י קבוצת ביקורת שעושה בדיוק אותו הדבר מלבד המניפולציה. עוצמת המניפולציה :המניפולציה צריכה להיות מספיק חזקה כך שתגרום לאפקט המצופה .בניסויים בפסיכולוגיה חברתית בהם ישנם תהליכי עיצוב עמדות ואמונות זה חשוב במיוחד. קשר מתאים בין עצמת המניפולציה לערכי המשתנה התלוי :צריך לתאם בין עצמת המניפולציה לסוג המשתנה התלוי אותו בודקים .לא ניתן לגלות אפקט של שיפור או ירידה בביצוע במקרים הבאים: " אפקט תקרה" – ביצוע הנבדקים טוב מדי .אם הניסוי רוצה לבדוק עד כמה המשתנה הבלתי תלוי משפר ביצועים ,אך מראש הנבדקים נמצאים ברמה מאוד גבוהה ,אין להם מקום להשתפר כתוצאה מהמניפולציה .הסיכוי לדחות את H0קטן מאוד ,וצריך מניפולציה עוצמתית במיוחד כדי לשפרם. " אפקט רצפה" – ביצוע הנבדקים נמוך מדי .אם אני רוצה להראות שהמניפולציה מפריעה לביצוע וביצועיהם רצפתיים ,לא נוכל לראות את ההנחתה של הביצוע .לכן צריך כאן מניפולציה עוצמתית במיוחד כדי להראות אפקט. לכן ,צריך שקבוצת הביקורת שלנו תהיה באמצע .לדוג' ,בביצוע קוגניטיבי של אחוזי טעות -אם בקבוצת הביקורת המטלה גורמת לאחוזי ביצוע גבוהים מאד ,לא ניתן יהיה לגלות שיפור בביצוע אצל קבוצת הניסוי (אפקט תקרה). בקרה באמצעות קבוצת ביקורת :צריך שקבוצת הביקורת תהיה זהה לקבוצת הניסוי בכל חוץ מאשר במניפולציה (המשתנה הב"ת אותו בוחנים) # .דגימה מאותה אוכלוסיה #דגימה בזמנים זהים #טיפול זהה בקבוצת הביקורת והניסוי מלבד המניפולציה (המשתנה הב"ת) -כל תדרוך באשר למטרת הניסוי ,תהליך הניסוי וכו' יהיה זהה בכל הקבוצות. אפקט הפלסבו – עצם ההשתתפות בניסוי יכולה לגרום לאפקט ,ולכן כשעושים ניסוי על תרופה למשל מייצרים גלולה שזהה בכל חוץ מהחומר הפעיל הספציפי .זה מה שמנסים לעשות גם בניסויים בפסיכולוגיה .קב' ביקורת (ללא מניפולציה) היא בעצם מקרה פרטי של קב' ניסוי ,שערך המשתנה הב"ת בה הוא אפס. תוקף תוצאות המחקר: לאחר שערכנו ניסוי או מחקר מתקבלים ממצאים ומסקנות שנגזרות מהם .השאלה המתבקשת היא מהו תוקף הממצאים הללו? תוקף תוצאת המחקר לא עוסק בשאלת "תוקף המבחן" או "תוקף המדידה" ,אלא הערכה של ממצאי המחקר או מסקנותיו. ארבעה ממדים להערכת תוקף תוצאות מחקר (:)Cook & Campbell, 1976 ממצאי הניסוי כולל 4קריטריונים לצורך שיפוט ממצאים עם השערה סיבתית: תוקף המסקנה הסטטיסטית – עוצמת הקשר בין המשתנה הב"ת לתלוי תוקף פנימי – הסברים חלופיים לקשר הסטטיסטי שנמצא תוקף חיצוני – הכללה מעבר לאוכלוסיות ומצבים תוקף מבנה – הכללה מעבר להגדרות אופרציונליות שונות תנאים להסקה סיבתית יכולת להכליל ממצאים .1תוקף המסקנה הסטטיסטית: בוחן את אמיתות הקשר בין המשתנה הב"ת למשתנה התלוי – האם הקשר שנמצא הוא אמיתי או מקרי ,האם החוקר השתמש נכונה במבחנים הסטטיסטיים על מנת להגיע למסקנה? תוקף זה הוא תנאי הכרחי אך לא מספיק להסקה סיבתית ,יש 3תנאים: ( )1קיום קשר בין המשתנה הב"ת לתלוי )2( .הפעלת המשתנה הב"ת לפני התלוי )3( .היעדר הסברים חלופיים לשינוי במשתנה התלוי. איומים אפשריים על תוקף המסקנה הסטטיסטית: א .טעות מסוג ראשון ( :)αייתכן והחוקר טעה טעות מסוג ראשון -דחה את השערת האפס כשהיא למעשה נכונה .טעות זו תלך ותגדל ככל שמספר ההשוואות המתוכננות (קונטרסטים) יגדל. ב .טעות מסוג שני ( :)βייתכן והחוקר טעה טעות מסוג שני -לא דחה את השערת האפס כאשר H1נכונה .טעות זו תלויה בעוצמת המבחן. גורמים המשפיעים על העוצמה ( :)1-βהסיכוי לגלות את האפקט ,אם הוא אכן קיים במציאות- גודל האפקט :עד כמה קל לגדול את האפקט (בכמה רחוקה התפלגותו לעומת .)H0 השונות באוכלוסיה :שונות קטנה יותר מקטינה את βולכן מגדילה את העוצמה .קשה יותר לזהות הבדלים במשתנה התלוי שנובעים מהשוני בין הקבוצות כשיש שונות גדולה בתוך הקבוצה. גודל המדגם :מדגם גדול יותר מקטין את βולכן מגדיל את העוצמה. החמרה בקריטריון דחיית השערת האפס :ערך αגדול יותר מקטין את βומגדיל את העוצמה. סוג המבחן הסטטיסטי :כשבוחרים שלא בצדק מבחן סטטיסטי שאיננו מתאים העצמה הסטטיסטית יורדת .למשל ,מבחן דו-צדדי במקום חד-צדדי יגרום להקטנת אלפא ולכן גדל הסיכוי לטעות מסוג שני ועוצמת הניסוי תקטן. ג .טעויות סטטיסטיות :ייתכן ולחוקר טעויות סטטיסטיות אחרות ,כגון אי שמירה על הנחות המבחן ,הפרה של סולם המדידה ,ריבוי השוואות שמגדיל את הסיכוי לטעות ,מדגם קטן מדי וכו'. ד .הגדלת השונות הטעותית :עקב הטרוגניות של נבדקים (אוכלוסייה הטרוגנית ,חוסר סטנדרטיזציה בהוראות ניסוי). ה .מהימנות המשתנה התלוי :אם המשתנה התלוי שנמדד לא מהימן תיווצר שונות הנובעת מטעויות המדידה. .2תוקף פנימי: מתאר את המידה בה הסברים חלופיים יכולים להסביר את התוצאות .כלומר ,האם המניפולציה (המשתנה הב"ת) היא שגרמה להבדלים בין קב' הניסוי והביקורת ,ולא טעות שיטתית או משתנה סמוי שלא שלטנו עליו ,שהחוקר לא חשב עליו – ארטיפקט ) .(confoundמחקר מתאמי חשוף יותר לבעיות תוקף פנימי מאחר ומתאם לא מעיד בהכרח על המשתנה אשר גרם לקשר שנמצא .גם מחקר ניסויי חשוף לבעיות תוקף פנימי אולם קשה יותר לחשוף את מקור האיום לתוקף. איומים אפשריים על תוקף פנימי: איומים אלה יכולים להשפיע על כל ניסוי ,למעט מכשור ומדידה החלים רק על מחקרים בהם המשתנה התלוי הוא השינוי שחל בנבדקים בין 2 מועדים. א .היסטוריה :בכל ניסוי שנמשך לאורך זמן קיים חשש כי מאורעות שקורים במשך תקופת המחקר משפיעים על תוצאותיו ,ולא המשתנה הב"ת .התוקף הפנימי נפגע כשניתן לייחס את תוצאות הניסוי למאורע שהתרחש בזמן שעבר בין 2מדידות אלו .ככל שטווח הזמן בין 2 המדידות גדל ,גדלה ההסתברות לגורם זה. לדוג' ,חוקר רצה לדעת האם שינוי תכנית הלימודים לפני מספר שנים ,לפיו אין דרישת מעבר משנה א' ל -ב' ,מעלה את שביעות רצון התלמידים ,אלא שבשנים אלו הוחלט שציון הב.א לא יהווה עוד מדד קבלה למ.א והחלטה זו שינתה את אקלים הלימוד ,והשפיעה על שביעות רצון התלמידים. #פתרון :קבוצת ביקורת .אם יחול שינוי גלובלי מעבר למניפולציה ,הוא יחול על שתי הקבוצות. ב .בשילה :במחקר בו מתרחש תהליך כלשהו או ישנו מעבר זמן ,עוברים הנבדקים לעיתים קרובות תהליך "בשילה" שמשנה את יכולותיהם הקונטיבית או את עמדותיהם הרגשיות ,מה שעלול להוות משתנה מתערב .מדובר בתהליך שעוברים נבדקי המחקר במהלך הניסוי כפונקציה של מעבר זמן גרידא ,כגון התפתחות ,עייפות או רעב .גורם זה מאיים על התוקף הפנימי משום שאפשר לייחס את האפקט הניסויי לשינויים הנובעים מבשילת הנבדקים. לדוג' ,בחנו שיטת הוראה במשך שנה על ילדים בני .6הישגיהם השתפרו ,אך אין לדעת אם השיפור הוא תוצאה של ההוראה (המשתנה הב"ת) או של ההתפתחות הקוגניטיבית הטבעית (בשילה). #פתרון :קבוצת ביקורת. ג .מדידה :אם בניסוי נערכות שתי מדידות ,ייתכן שהמדידה הראשונה משפיעה על המדידה השנייה ,ולא המשתנה הב"ת .לדוג' ,עריכת מבחן סימולמציה לפסיכומטרי תהווה השפעה על הסימולציה השנייה שנעשה ,ולאו דווקא שיטת הטיפול. #פתרון :קב' ביקורת ,ניסוי בשיטת 4הקבוצות של סלומון. ד .מכשור :אם במכשיר מדידה חלים שינויים בין שתי בדיקות יש בכך איום על תוקף פנימי .לדוג' ,בניסוי שבודק השפעת עוצמה על זמני תגובה לגירויים ,תאורת המחשב משתנה ביחס למשך פעולת המסך ,ולכן יש לוודא כי מכשירי המדידה מכוילים .דוג' נוספת היא שהנסיין עצמו יכול להתעייף ולדייק פחות בבדיקה השנייה. #פתרון :אין לשנות את כלי המדידה (מכשור) במהלך הניסוי ,גם אם הוא לא טוב .צריכה להיות סטנדרטיזציה בכיול. ה .רגרסיה לממוצע :זוהי תופעה של נסיגה אל הממוצע כתוצאה מתופעה סטטיסטית ולא מהשפעת המניפולציה -ביצועי נבדקים גבוהים מאוד או נמוכים מאוד בממוצע במדידה הראשונה ירדו או יעלו במדידה השנייה מסיבות הסתברותיות פשוטות ,ללא קשר למשתנה הב"ת ולמניפולציה (אם מישהו קיבל את הציון הנמוך ביותר ,יש סבירות גבוהה שציונו ישתפר בבחינה הבאה ,כי כבר אין לו לאן לרדת ,ולעומת זאת אם נבדק השיג ציון גבוה מאוד ,הוא יתקשה לחזור על ההישג פעמיים). ככל שהציון במדידה הראשונה סוטה יותר מממוצע הקבוצה ,כך הוא כולל מרכיב גדול יותר של טעות מדידה ,ויש יותר סיכוי שבמדידה הבאה הוא יתקרב לממוצע .תופעה זו לא מתרחשת במכשיר מדידה עם מהימנות מושלמת ,כי אז אין טעויות מדידה ,אבל במציאות אין מכשיר כזה .הרגרסיה פוגעת בתוקף (יכולה להחביא אפקט של שיפור או ירידה בביצוע) אם קב' הניסוי /הביקורת נבחרו לפי ציוניהן הקיצוניים. לדוג' ,חוקר בדק את יעילות שיטת הוראה על טעוני טיפוח .במדידה הראשונה הוא בדק את יכולתם ובחר לקב' הניסוי את מקבלי הציונים הנמוכים ביותר .לאחר המניפולציה הישגיהם השתפרו ,אך ייתכן שהשיפור נבע מהנטייה הטבעית להתקרב לממוצע ולא משיטת ההוראה. #פתרון :אם חייבים לקחת נבדקים קיצוניים לקב' הניסוי ,נקח גם קיצוניים לקב' הבקרה. ו .סלקציה של נבדקים (ברירה) :אם הנבדקים לא הוקצו לקב' הניסוי והביקורת בצורה רנדומלית ,הקב' עלולות להיות שונות מלכתחילה (עוד לפני הפעלת המניפולציה) .במקרה זה ,ניתן לייחס את התוצאות להבדלים שהיו קיימים מראש בין הקבוצות ולא למשתנה הב"ת. #פתרון :קב' ביקורת +הקצאה רנדומלית ,כך שלא תהיה שום הטיה קבועה ביצירת הקבוצות .במדידת הלפני ,הקבוצות אמורות להיות זהות ,כך שבאם נמצא הבדל ,נוכל לדעת כי הוא בא מהמניפולציה הניסויית ,ולא מההבדל בין הקבוצות. ז .נשירת נבדקים :בניסויים רבים מתרחשת נשירה של נבדקים ,אך אם הנשירה אינה מקרית (אינה ביחס שווה בכל הקבוצות) אלא קשורה בתנאי ניסוי ספציפי ,השוני יכול להיות מיוחס לנשירה ולא להבדל במשתנה הב"ת. #פתרון :לרוב אין פתרון ,מומלץ להתאים את המניפולציה כדי למנוע אפקט תקרה/רצפה .מהספר :ניתן להשוות רק את כמות האנשים שנשארו לאורך כל הניסוי כך שיהיה מספר שווה של אנשים בכל קבוצה. ח .מהספר >-אינטרקציות עם ברירה :בשילה ,מדידה או רגרסיה עלולות לחבור עם הברירה ולאיים במשולב על התוקף הפנימי .כלומר, תהליכי בשילה /מדידה /רגרסיה שמתרחשים לאחר הברירה עלולים להשפיע באופן שונה על הקבוצות ובכך ליצור הבדלים נוספים בין הקבוצות ולהגביר את האיום על התוקף הפנימי .כשהשינוי שחל בקב' הניסוי נבדל מהשינוי שחל בקב' הביקורת נאמר שיש אינטרקציה סטטיסטית. לדוג' ,קצב הבשילה הטבעי של ילדים מבוססים עלול להיות שונה מזה של ילדים טעוני-טיפוח .כלומר ,הבשילה לא רק השפיעה על הנבדקים ,אלא יצרה הבדל בין שתי הקבוצות שלא קשור למשתנה הב"ת .הבדלי הבשילה יכולים לשמש הסבר חלופי. פתרונות כלליים לבעיית התוקף הפנימי: .1שימוש בקבוצת ביקורת: מאפשר לבדוק את התנהגות הנבדקים אילו לא נחשפו למניפולציה. מאפשר לבדוק אם המניפולציה היא שאחראית להתנהגות הנבדקים בקב' הניסוי. .2הקצאה מקרית לקבוצות -מבטיחה שלא יהיו הבדלים מראש בין קב' הניסוי והביקורת. איומים נוספים על התוקף הפנימי שאינם נפתרים על ידי הקצאה מקרית: איומים של טעות מסוג ראשון >-יוצרים הבדלים מלאכותיים בין קב' הניסוי לביקורת ומגלים אפקט למרות שהוא לא קיים. התמרמרות של נבדקי קבוצה מסוימת :אם קב' הניסוי מקבלת תגמול/מניפולציה מבוקשת יותר מזו של קב' הביקורת (או להיפך) ,וכאשר נבדקי הקבוצה המקופחת מודעים לכך -עשויים לחוש טינה כלפי החוקר ,וזו עלולה להשפיע על התנהגותם ולשמש הסבר חלופי לתוצאות. פתרון :להשתדל למנוע מעבר מידע בין קבוצות הניסוי. היסטוריה מקומית :אירועים שהתרחשו רק באחת מהקבוצות ועלולים לשמש הסבר חלופי לתוצאות ,למשל רעש באחת הקבוצות /בדיחה שפלט אחד הנבדקים .פתרון :רנדומניזציה של תנאי הניסוי (הנבדק הראשון והשני בקבוצת הניסוי ,השלישי והרביעי בבקרה) -כך ההסתברות שמשהו יקרה בעת הניסוי היא שווה בשתי הקבוצות. איומים של טעות מסוג שני >-מקטינים הבדלים בין הקבוצות ומקשים על גילוי אפקט למרות שהוא קיים. השפעת מידע המגיע לנבדקי קב' הביקורת על הטיפול הניסויי -למשל ,בניסוי על שיטות הוראה ממליץ המורה לקבוצות הניסוי להתכונן למבחן ע"י סיכום החומר בכתב .אם המידע יגיע לקבוצת הביקורת ,גם הם עלולים לאמץ שיטה זו ולהתנהג כמו נבדקי קבוצות הניסוי .פתרון: למנוע חילוף מידע בין הקבוצות. השוואה מפצה של הטיפול -כשהטיפול הניסויי מתרחש במחקר שדה (מפעל/מוסד) וכולל טובות הנאה לקבוצות מסוימות ולא לאחרות, ההנהלה לוחצת להעניק פיצוי הולם לקבוצות האחרות ,העלול לצמצם את ההבדלים בין הקבוצות. תחרות מפצה -כשברור לכל אחד מהנבדקים או קבוצות הנבדקים (כיתות ,בתי-ספר וכדומה) לאיזה תנאי ניסויי הם שייכים ,עלולה להתעורר תחרות בין קב' הניסוי לביקורת .בד"כ ,קב' הביקורת היא המקופחת ולכן הם מנסים להוכיח שהם מסוגלים להצליח לא פחות ומשפרים את ביצועיהם .זה קורה במיוחד במקומות בהם עובדים עלולים לאבד את מקום פרנסתם (למשל ,במפעלים בהם בודקים יעילות רובוטים על פני עובדים אנושיים). .3תוקף חיצוני: עוסק ביכולת החוקר להכליל את הממצאים שנמצאו בבדיקה (בתנאים בה בוצעה) לגבי העולם .השאלה היא האם ניתן להסיק מן ההקשר הספציפי של הניסוי ונבדקיו אל כלל ההקשרים בעולם ואל שאר האוכלוסיות שבו .לעיתים קרובות בעיה זו מכונה "תוקף אקולוגי" ,כלומר המצב הניסויי אינו משקף את הסביבה האקולוגית האמיתית בה אנשים פועלים. לגבי אוכ' הנבדקים >-חשוב לזכור שאיננו דוגמים רנדומלית את הנבדקים מכלל האוכ' ,כמעט תמיד קיימת סלקציה( :א) במחקרים באוניברסיאות נדגמים נבדקים משכבת גיל מצומצמת והשכלה מצומצמת( .ב) נדגמות חיות מעבדה מסוג אחד ולאו דווקא מסוג אחר( .ג) במחקרים רבים נדגמים נבדקים שמוכנים להשתתף בניסוי וסיבותיהם עמהם( .ד) באוניברסיטאות משתתפים סטודנטים לפסיכולוגיה שמחויבים להשתתף ויש לכך השפעות פוטנציאליות. לא רק אוכ' הנבדקים מאיימת על תוקף חיצוני >-לעתים רואים שאפשר להכליל את המסקנות של הניסוי רק במצבים מסוימים .השפעה כזו נקראת אינטראקציה .ניתן לבצע הסקה סיבתית ללא תוקף חיצוני ,אך תוקף זה מוודא את יציבות ההסקה הסיבתית על פני אוכלוסיות וזמנים שונים. לדוג' ,במחקר חזרו על הניסוי של אש אודות השפעת לחץ חברתי – צריך לשפוט לגבי אורך של קו ,כשהתשובה ברורה אבל כל שאר הנבדקים עונים משהו אחר בביטחון .מצאו שלחץ חברתי משפיע יותר כשמטלת השיפוט מעורפלת (הבדל קטן בין הקווים) .בכך נפגע התוקף החיצוני של מחקרו של אש -אפשר להכליל את המסקנות בנוגע ללחץ הקבוצתי ,רק על מצבים בהם מטלת השיפוט מעורפלת .השפעה כזו נקראת אינטראקציה -יש אינטראקציה בין המשתנה "לחץ קבוצתי" לבין המשתנה מידת ערפול במטלת השיפוט .אינטראקציה זו מגבילה את מסקנות המחקר למצבים מסוימים ולא לאחרים. סוגי אינטראקציות ואיומים על תוקף חיצוני: א .אינטראקציה בין המדידה לבין המשתנה הב"ת :ז"א ,אינטראקציה בין המדידה לבין הרגישות למניפולציה הניסויית כשנבחנת רמת בסיס לפני המניפולציה .השאלה היא ,האם אפשר להכליל את התוצאות גם על מצבים בהם לא נעשתה מדידה מוקדמת, שכן המדידה המוקדמת עלולה להשפיע על עמדות הנבדק במדידה השנייה ,ולשנות את רגישותו למניפולציה. לדוג' ,חוקר שרוצה לבדוק עמדות לגבי שחורים לאחר צפייה בסרט בו דמות הגיבור שלילית או חיובית ,ימדוד רמת בסיס של עמדת הצופה לגבי שחורים לפני הסרט ואחרי הסרט .הבעיה היא שעצם המדידה המוקדמת תגרום להסבת קשב לעמדות כלפי שחורים ,ותיווצר רגישות לדמויות שיופיעו בסרט .לכן ,המדידה המוקדמת "משתתפת" במניפולציה. #פתרון -שימוש בקבוצת ביקורת בה המדידה תעשה רק לאחר הפעלת המניפולציה כך שנוכל לאמוד את ההבדלים שנבעו מעצם המדידה. אם ימצאו הבדלים משמעותיים נסיק כי המדידה המוקדמת אכן משנה את רגישות הנבדק ולא נוכל להכליל את הממצאים( .בתחום כמו הוראה שנעשות הרבה בחינות איום זה לא רלוונטי). ב .אינטראקציה בין הברירה לטיפול הניסויי :ז"א ,אינטרקציה בין סוג האוכ' הנדגמת והמניפולציה הניסויית תאפשר להכליל את התוצאות רק למסגרת הדגימה ממנה נלקח המדגם ולא מעבר לה. לדוג' ,שיטת הוראת הקריאה שנקראת "השפה כמכלול" נמצאה כפוגעת במיוחד באוכלוסיות משכבות סוציואקונומיות נמוכות .במידה והמחקר על יעילותה היה נערך בבתי"ס עם אוכלוסיות חזקות האינטרקציה לא הייתה מתגלה. #פתרונות )1( :להקפיד שהמדגם ייצג את האוכלוסייה עליה רוצים להכליל .אבל ,במידה והאוכלוסייה מאוד הטרוגנית מדגם מקרי עלול לפגוע בתוקף המסקנה הסטטיסטית .ניתן להתמודד גם עם בעיה זו: ( )2ניתן להחזיק את "משתנה האוכלוסייה" כקבוע ,בכך אנו נצמצם את יכולת ההכללה לאוכלוסייה מסוימת אבל לפחות התוצאות יהיו ממוקדות ותקפות .למשל ,אם רוצים להכליל רק על בי"ס מסוים נבדוק רק את הבית ספר )3( .ניתן להפוך את "משתנה האוכלוסייה" ממשתנה מקרי למשתנה שהשפעתו שיטתית .אפשר לעשות זאת באמצעות שימוש במדגמים הומוגניים מתוך תת-קבוצות של האוכלוסייה כולה ולאחר מכן להשוות את תוצאות המחקר בין המדגמים הללו ובכך לבדוק האם ניתן להכליל את המסקנות .אם תת אוכלוסיות שונות יניבו תוצאות שונות משמע שישנה אינטראקציה .למשל ,הוראה חווייתית (המשתנה הב"ת הנחקר) יעילה רק בקרב טעוני טיפוח (משתנה ב"ת -אוכלוסיה). ג .אינטראקציה בין סביבת הניסוי או מועדו לטיפול הניסויי :תוצאות הניסוי עלולות להשתנות אם הוא נערך ברחוב הומה, במעבדה ,או בבית ספר .במועד הניסוי – למשל ,האם הניסוי נערך בחורף /בקיץ. #פתרון :אם סביבת הניסוי או מועדו באמת רלוונטיים ,אפשר לעשותם למשתנים בלתי תלויים ולערוך את הניסוי פעמים אחדות בסביבות ניסוי שונות או בזמנים שונים. .4תוקף מבנה: עוסק בשאלת ההתאמה בין ההגדרות האופרציונליות של המשתנים התלויים והב"ת ובין העולם התיאורטי שהן מבקשות להסיק לגביו .תוקף מבנה בהקשר של מדידה מוגדר כמידת ההלימה בין הכלי בו אנו משתמשים לבין המשתנה התיאורטי .לתוקף המבנה של ממצאי המחקר יש אותו מובן :כשחוקר מטיל ספק בתוקף המבנה של המחקר ,הוא לא מערער על כך שמשתנה א' כפי שהופעל השפיע על משתנה ב' כפי שנמדד ,אלא הוא מערער על מידת ההלימה בין ההגדרות האופרציונליות לבין המונחים התיאורטיים .הוא מטיל ספק ביכולת להכליל את הקשר שנמצא מעבר להגדרות האופרציונליות. חוקרים חלוקים בדעותיהם לגבי ההגדרה האופרציונלית של מושגים רבים ,כגון רגשנות ,תוקפנות ,אשמה .למשל ,חוקר אחד יגדיר "תוקפנות" כפגיעה פיזית במישהו ,השני יגדיר זאת ככוונה להזיק ,והשלישי -כשאיפה להזיק .כל חוקר מודד "תוקפנות" בדרכים שונות ומצפה להתנהגות שונה .התוצאה :תוקף מבנה לקוי ,שלא מאפשר להשוות את התוצאות של מחקרים שונים באותו נושא. השלכות של תוקף מבנה: חוקר צריך להקפיד להבהיר את היקף ומבנה המשתנה התיאורטי בו הוא עוסק בטרם הוא בוחר את משתניו. כשהמשתנה התיאורטי מורכב עדיף להציג מספר אפשרויות להגדרות אופרציונליות למשתנה הב"ת ומספר מדדים למשתנה התלוי. על החוקר לערוך ניתוח מקיף של הסברים חילופיים אפשריים לתוצאותיו ולבחון אותם באופן פרטני. :Confoundingערעור על תוצאות המחקר כתוצאה מהסברים חלופיים ,שמקורם בתוקף מבנה לקוי .זהו החשד שההגדרה האופרציונלית של המשתנה הב"ת אינה מבטאת רק את המשתנה התיאורטי הרצוי אלא גם משתנים תיאורטיים נוספים. איומים אפשריים על תוקף מבנה :קיימים במיוחד כשעוסקים במשתנים פסיכולוגיים תיאורטיים ומורכבים ,נחלקים ל 2-סוגים: א .חוסר מיצוי :ההגדרה האופרציונלית מתייחסת רק לחלק מזערי מהיקף המושג התיאורטי. ב .חוסר בלבדיות :ההגדרה האופרציונלית מתייחסת למרכיבים שאמנם מצויים במושג התיאורטי אך אינם מצויים רק בו ,אלא קשורים גם במושגים אחרים. חלק מהאיומים: אי בהירות המשתנה התיאורטי :היעדר הסכמה בין חוקרים לגבי משתנה תיאורטי עשוי להוליד אי הסכמה גם לגבי פירושים של תוצאות הניסויים. חפיפה לא מספקת בין המשתנה התיאורטי לתצפיתי :הגדרה אופרציונלית בודדת עלולה שלא למצות את המשתנה התיאורטי ולכלול היבטים לא רלוונטיים ,גם במשתנה התלוי וגם בב"ת .פתרון :כדי למצות את המשתנה הב"ת יש ליצור כמה הגדרות אופרציונליות עבורו -כלומר ,כמה מניפולציות .זהו תהליך יקר ומסובך .עבור המשתנה התלוי זה יותר קל ולכן למצות אותו בכמה הגדרות אופרציונליות זה הכרחי יותר. איומים הנוגעת לאישיות הנסיין והנבדקים :ציפיות הנסיין ,רצון הנבדקים לנחש את השערות הניסוי ,שאיפתם הכמוסה לזכות בהערכת הנסיין. אפשר לתפוס את המשתנה המסביר המקורי (הב"ת) ואת המשתנה המסביר החלופי (ציפיות הנסייןלמשל) כמשתנה תצפיתי מורכב אחד ,שיש לו שני מרכיבים :הראשון נובע מהמשתנה הב"ת והוא רלוונטי למשתנה התיאורטי הרצוי .השני ,נובע מציפיות הנסיין ואינו רלוונטי .לכן ,הוא פוגע בתוקף המבנה (בעיית הבלבדיות). אפשר גם לתפוס את זה כאיום על התוקף הפנימי ( :)artifactהמשתנה המסביר החדש (ציפיות הנסיין) שונה מהמשתנה הב"ת ,ומייצג משתנה תיאורטי אחר .הוא מהווה הסבר חלופי לתוצאות ,ומאיים על התוקף הפנימי. חידוד משמעות Artifactו Confound -וההבדל ביניהם: ארטיפקט :בעיה של תוקף פנימי (מסקנות הניסוי) .גורם "רעש" שאינו המשתנה הב"ת ומשפיע על המשתנה התלוי .יכול להיות חלק מהמשתנה הב"ת שלא תכננו (שגיאת אופרציונליזציה) או חלק אחר הנובע מאופי הניסוי כגון היסטוריה ובשילה. קונפאונד :בעיה של תוקף מבנה .מצב בו ללא כוונה מדדנו משתנה אחר מזה שהאמנו שאנו מודדים ,אשר מתווך בין המשתנה התלוי והב"ת. באופן זה האופרציונליזציה לא בוודאות הובילה לשינוי במשתנה שמדדנו וייתכן והיא השפיעה על משתנה אחר קשור וזה למעשה מה שמדדנו. לסיכום :הן ארטיפקט והן קונפאונד יכולים להיות הסברים אלטרנטיביים לתוצאות המשתנה התלוי .ארטיפקט הינו הסבר חיצוני למערך וקונפאונד נמצא בתוך הגדרת המשתנה הבלתי תלוי. השלכות של בעיות תוקף: אי אפשר לדאוג בצורה מושלמת לכל סוגי התוקף .הקפדה על ביסוס תוקף אחד עלולה לחבל בתוקף שני .למשל ,מניפולציה מדויקת של המשתנה הב"ת תעזור לתוקף המבנה ,אך עלולה לפגוע בתוקף המסקנה הסטטיסטית ,משום שלא תהיה לה השפעה מספקת והיא לא תבחין בין הקבוצות .ניתן להתגבר על רוב בעיות התוקף על ידי תכנון מוקדם וישנו אלמנט של צבירת ניסיון ומיומנות מחקרית. לפי קוק וקמפבל ,בכל מחקר יש לתת קדימות ראשונה לתוקף הפנימי ,משום שהוא בודק אם קיים בכלל קשר סיבתי כלשהו בין המשתנים .על תוקף זה קל יחסית להגן בניסוי מעבדה. דירוג בעיות תוקף בהן כדאי להתמקד ,לפי הסדר הבא :תוקף פנימי >-תוקף המסקנה הסטטיסטית >-תוקף מבנה >-תוקף חיצוני שילוב מידע ממספר מקורות – פרופ' בן שחר: אחד ההיבטים המרכזיים של תוקף הוא תוקף ניבוי (תוקף תלוי קריטריון) .במקרים רבים נדרשים לקבל החלטות (לאבחן או לנבא) לאור קשת רחבה של מקורות מידע ,ולא לאור משתנה מנבא יחיד .לדוג' ,אבחון קליני מתבסס על קורות חיים +מבחני אישיות אובייקטיביים +מבחנים השלכתיים +ראיונות אישיים .השאלה כיצד מבצעים ניבוי מושכל המשלב את כל מקורות המידע שברשותנו? שיטות לשילוב מידע ממספר מקורות: ניבוי קליני :שילוב מידע המתקבל ממדדים שונים באופן אינטואיטיבי ,איננו בהכרח מודע ואיננו מתוקנן .הקלינאי מייחס חשיבות דיפרנציאלית למדדים השונים ,on-lineללא אלגוריתם שנקבע מראש. ניבוי אקטוארי (סטטיסטי) עם תיקוף צולב :שילוב המידע המתקבל ממדדים שונים באמצעות הליך אחיד שנקבע מראש ומבוסס על קשר מוכח בין המנבאים לבין הקריטריון .המילה אקטוארי מגיעה מהביטוח (ביטוח חיים) .אחד מהחישובים החשובים בתחום הביטוח הינו חישוב תוחלת החיים של אדם ,המתבצע ע"י שילוב משתנים רבים תוך שימוש בניתוח סטטיסטי. מה עדיף? נתייחס למאמר משנת 1979אשר לדעת פרופ' בן שחר סוגר את המחלוקת בנושא זה. כלים לניבוי סטטיסטי: .1רגרסיה מרובה :ניבוי משתנה ע"י חיבור ליניארי של מספר מנבאים (בד"כ בציוני תקן) .בדוגמת הבגרות והפסיכומטרי ,ברגרסיה מרובה יינתן משקל מסוים לבגרות ולפסיכומטרי (יש נוסחה על פיה נחליט על המשקולות ,לא חייבות להיות שוות) .המשקלות נקבעים אמפירית כך שהמתאם בין הציון המנבא וקריטריון הניבוי יהיה מקסימלי .המתאם בין הציון המנבא וקריטריון הניבוי נקרא מתאם מרובה. כשיש 2חזאים בעלי מתאם גבוה (הציונים מאוד דומים) ,נצטרך לתת לאחד משקל גבוה ולשני נמוך .לעומת זאת ,בניבוי קליני הקלינאי יתרשם מאוד ויתן להם משקל יתר .זו דוג' למצב בו הניבוי הקליני נופל מזה הסטטיסטי. .2קביעת ציוני מעבר (נקודת חתך) :במקרה הזה לא נשקלל את הגורמים אלא נדרוש ציון מינימום מסוים של מס' מנבאים ,כאשר ניתן לקחת בחשבון או את שני הגורמים או להחליט שמספיק לעמוד בחתך באחד מן החזאים על מנת להתקבל .במקרה הזה יש בעיה מאחר ואין שקלול של פיצוי בין החזאים (לדוג' בגרות נמוכה ופסיכומטרי גבוה) מאחר ומתייחסים אליהם בנפרד. שימושים של ניבוי סטטיסטי תוך שילוב מידע ממספר מקורות: ניבוי סטטיסטי לצורך חיזוי של :הצלחה אקדמית/פשיטת רגל בעסקים/הערכת תוחלת חיים/הצלחה בקורסים צבאיים ניבוי קליני :אבחון פסיכיאטרי/אבחון נוירו-פסיכולוגי/בעיות לב/הפרות חנינה/אלימות. דוגמא – אבחון פסיכיאטרי: – X1 מבחן רורשך - X2 מבחן TAT – X3 ראיון קליני שימוש בניבוי קליני :מומחה מנתח את כל המידע וקובע אבחון בהתאם לניסיונו הקליני ובהתאם להבנתו את המקרה. שימוש בניבוי סטטיסטי :ניצור משוואת רגרסיה מרובה המבוססת על שלושת המנבאים ,ולכל אחד משקל מסוים .כך נראית משוואה ליניארית של רגרסיה מרובה: צריך מדגם (רצוי גדול ומייצג) של כל החזאים הללו +אינפורמציה על הקריטריון .משקלות הרגרסיה ( )a1, a2, a3יחושבו כך שהמתאם בין המיון המנובא ( )’Yלבין הקריטריון הוא הגבוה ביותר במדגם .המשוואה מעניקה ציון רציף המשקף דרגת חומרה של הפרעה פסיכיאטרית כלשהיא (למשל אובססיבית קומפולסיבית) .הציון מתוקף ע"י קריטריון של מעקב פסיכיאטרי לאורך זמן שמודד את חומרת ההפרעה הלכה למעשה. * ככל שיש יותר משתנים צריך מדגם גדול יותר על מנת לפצות על טעויות הדגימה .יחס מינימאלי יהיה של 20:1בין מספר המנבאים למספר הנבדקים ,למשל 100נבדקים עבור 5חזאים. תיקוף צולב: ל אחר שמצאנו משוואת רגרסיה במדגם מסוים יש לחשוד (אלא אם המדגם ענק ומייצג) שייתכן וכלי הניבוי שלנו איננו תקף .כדי לבחון את יכולת ההכללה של מכשיר הניבוי (משוואת רגרסיה) מעבר למדגם המקורי ,יש לבדוק את משוואת הניבוי באמצעות תיקוף צולב :יישום משוואת הניבוי שחושבה על סמך מדגם אחד במדגם חדש ,שונה מזה ששימש לחישוב משוואת הניבוי המקורית ,ובדיקת תוקף הניבוי במדגם החדש. בד"כ המתאם שיחושב בתיקוף הצולב יהיה נמוך יותר מזה שחושב עבור המדגם הראשון ,מכיוון שהמשקולות חושבו כך שיביאו למתאם המקסימאלי במדגם שעליו אנו מתבססים .ברור שגובה המתאם לא משקף את המתאם "האמיתי" בין המנבאים ומשקולותיהם לבין המשתנה שאנו מבקשים לנבא ,אלא הוא נותן הערכת יתר .הסטייה תהיה משמעותית ביותר במדגמים קטנים! לתופעה הזו קוראים "כיווץ" (.)shrinking התיקוף הצולב מאפשר לבקר טעויות דגימה שעלולות להוביל לחישוב קשרים בין המנבאים לקריטריון ,ספציפיים למדגם נתון .המתאם שמתקבל ממדגם ב' הוא האומד המדויק יותר לתוקף הניבוי. הוויכוח על ניבוי קליני מול ניבוי סטטיסטי: טענות בעד הניבוי הקליני :ניבוי סטטיסטי מתעלם מקשרים לא ליניאריים ומאינטראקציות מורכבות בין המנבאים לקריטריון .לקלינאי המנוסה יש את הידע המאפשר לו להתחשב בגורמים כאלה .המומחה הקליני מכניס גמישות להערכותיו. טענות בעד הניבוי הסטטיסטי :הקלינאי מושפע מגורמים לא רלוונטיים העלולים ליצור הטיות ,החמורה מביניהן היא "הטיית האישוש". הקלינאי נותן משקל יתר למנבאים שונים דווקא כשהוא מבחין שהם מעניקים ציון דומה .המנבא השני "מאושש" את ההשערה של הקלינאי שנוצרה לאור המנבא הראשון .אבל במרבית המקרים המנבאים נותנים ציון דומה פשוט כי יש ביניהם מתאם גבוה ואז השימוש בשניהם מטה את השיפוט כי הוא מעניק להם משקל כפול .בנוסף ,הקלינאי לא תמיד עקבי ועלול לתת ניבוי שונה לפרופילים זהים בהתאם לקונטקסט. מחקרים אמפיריים משנת 56ואילך מראים שוב ושוב שהניבוי הסטטיסטי טוב בהרבה, ועדיין הניבוי הקליני נפוץ הרבה יותר. המאמר מ '79 -של :Robin Dawes במאמרו הקלאסי בדק רובין דוז מתוך רשומות של נתונים את מתאמי תוקף הניבוי של: אבחנות פסיכיאטריות -נוירוזה לעומת פסיכוזה ,נתוני הצלחה אקדמית בשתי אוניברסיטאות ,ודירוגי סגל אקדמי באוניברסיטה. מה ניתן להסיק? תופעת הכיווץ :ההבדלים בין עמודה 5ו 6-פרט למקרה הראשון (בגלל גודל המדגם). מודל שיפוטי :המתאמים בעמודה 2גבוהים מעמודה – 1מודל שיפוטי משפר את ניבוי השופטים :מבצעים רגרסיה מרובה ומחשבים משקולות אופטימליים עבור החזאים (יש תוצאות של דגימת החזאים) כנגד ציוני הקריטריון שהתקבלו ע"י השיפוטים הקליניים .באמצעות הרגרסיה יתקבלו משקולות שניתן ליישם במודל סטטיסטי לצורך ניבוי הקריטריון .ממצאים אלה מעידים על כך שמתחת לשיפוטי השופטים מסתתרות משקולות עבור החזאים שנמצאות בראשם של השופטים ,אך השופטים נכשלים בישומם באופן עקבי וזאת עקב השיפוט האנושי (שאיננו סיסטמתי) בהשוואה למודל סטטיסטי עקבי .הרגרסיה למעשה מבטלת את גורם הטעות הנובע מחוסר העקביות של השיפוט האנושי .זוהי הוכחה מצוינת לכך שמודלים סטטיסטיים טובים יותר מניבוי אנושי אפילו אם ציון הקריטריון נובע מתוך שיפוט אנושי עבור מדגם. מודל רנדומאלי :טוב יותר ממודל ניבוי שופטים ,וטוב לפחות באותה מידה כמו מודל השופט. מודל משקולות שווים :המודל הזה פשוט מחלק משקולות שוות לכל החזאים ומתקבל ניבוי טוב יותר בצורה משמעותית בהשוואה למודל שופטים ,שיפוטי ורנדומלי .למעשה מדובר במודל הכי טוב שניתן ליישם במצב בו לא ניתן לבצע רגרסיה מרובה אופטימלית עבור מדגם גדול ולבצע תיקוף צולב .אם נשווה את עמודה 4ל 6נראה שעבור מדגמים קטנים שימוש במשקולות שווים עדיף על המודל האופטימלי +תיקוף צולב. מודל אופטימלי :במודל זה יחושבו מתאמים על סמך ציוני קריטריון אמיתיים בהליך של רגרסיה מרובה משקולות עבור החזאים השונים .זהו ההליך הטוב ביותר. מודל אופטימלי לאחר תיקוף צולב :תוצאת התיקוף הצולב מייצגות יותר את איכות המודל האופטימלי במציאות .ניתן לראות שבמקרה של מדגמים קטנים התיקוף הצולב למעשה הופך את המודל האופטימלי לפחות מדויק בהשוואה למודל משקולות שוות. מערכי ניסוי מערך הניסוי: כל פרטי מבנה הניסוי – המשתנים התלויים והב"ת ,מס' קבוצות הניסוי ,אופי הקצאת הנבדקים ,מספרם ,אופי העברת הניסוי וכו'. בכל בניית מערך ניסוי החוקר צריך לחשוב האם המערך שנבנה יענה על שאלת המחקר ואלו בעיות על התוקף צפויות לו. מערך המחקר הוא הכלי המרכזי להבטחת תוקף פנימי ,אולם לאו דווקא את היתר :כדי להבטיח את תוקף המסקנה הסטטיסטית אפשר לכלול במערך משתנים ב"ת ,שתפקידם להקטין את שונות הטעויות ,אך נחוצים גם מדדים מהימנים .כדי להבטיח את תוקף המבנה והתוקף חיצוני יש לעשות יותר מניסוי אחד ,כי אחד לא יכול להבטיח יכולת הכללה מעבר לכל ההגדרות האופרציונליות של כל המשתנים ומעבר לכל האוכלוסיות והמצבים. האם מערך הניסוי יכול באופן לוגי לענות על שאלות המחקר? לדוג' ,חוקר רוצה לדעת אם השיטה להוראת הקריאה שבחר יעילה .לכן לימד כיתה ב' עם שיטה זו ,ומצא שבסוף השנה רוב התלמידים שיפרו את רמת הקריאה שלהם ביחס לתחילת השנה ואף דיווחו בשאלון שאוהבים לקרוא .הבעיה היא שללא קבוצת ביקורת לא ניתן להסיק על סיבתיות .לא ניתן לדעת האם השיפור נובע משיטת ההוראה ,או היה מתרחש גם בשיטות הוראה אחרות .כלומר – לפנינו מערך ניסוי שגוי! חלוקה של מערכי מחקר: נהוג לחלק את מערכי הניסוי ל 3-סוגים: מערכי ניסוי שגויים (קדם -ניסויים) :מערכים שהשתמשו בהם בעבר ,תוקף ממצאיהם מוטל בספק .אין להשתמש בהם. .1 מערכי ניסוי אמיתיים. .2 .3מערכים דמויי ניסוי ( -)Quasi Experimental Designמשרתים מחקר שדה עם השערה סיבתית .מחקרים אלו שונים מניסויי מעבדה באחד מהבאים )1( :החוקר לא יכול לקבוע את סדר הזמנים -מתי להפעיל את המניפולציה )2( .אי אפשר לעשות הקצאה רנדומלית לקב' הניסוי והביקורת. סימנים לתיאור מערכים: -Xהפעלת המניפולציה או כל מאורע אחר שיש למדוד את השפעתו. -Oמציין תצפית /מדידה של המשתנה התלוי :On....O2 ,O1 .סדרת מדידות של המשתנה התלוי. -Rחלוקה רנדומלית. ( ----קו מרוסק) -חלוקה לא רנדומלית. מערכי ניסוי שגויים: .1ניתוח מקרה הפעלת מניפולציה ( )Xעל קבוצה ,ואז מדידת המשתנה התלוי ( )Oכדי לבדוק את השפעתה. O קידודX : דוגמא :מנהל רוצה לבדוק יעילות שיטת הוראה .הוא מלמד לפיה למשך תקופה ואז בוחן את הישגי התלמידים. בעייתיות :מחקר חסר ערך .מחקר מדעי דורש לפחות השוואה אחת ,ובמערך זה אין שום השוואה בין קבוצה לפני ואחרי המניפולציה או לפחות בין מדידה לפני המניפולציה ומדידה לאחריה .אין למה להשוות את הממצאים -התוצאות יכלו להתקבל גם ללא המניפולציה ,וללא השוואה אי אפשר לבדוק זאת .ישנו משתנה ב"ת קבוע -עם רמה אחת בלבד .לכן נקרא המערך "ניתוח מקרה" -הוא נוגע למקרה אחד בלבד ,ללא השוואה. .2מערך "לפני-אחרי" ללא קבוצת ביקורת O2שתי מדידות לפחות -לפני המניפולציה ואחריה. X קידודO1 : דוגמא :המנהל משווה את הישגי תלמידיו לפני שהחלו ללמוד לפי השיטה החדשה להישגיהם אחרי שלמדו .הוא לא משווה להישגי תלמידים שלא למדו לפי השיטה החדשה ,ולכן אין קבוצת ביקורת. יתרונות :עדיף על המערך הקודם ,משום שיש השוואה אחת לפחות. חסרונות :מערך זה לא עולה על קודמו מבחינת ההתגברות על איומי התוקף הפנימי ,שעשויים לשמש הסברים חלופיים: היסטוריה -הציונים עלו משום שהתלמידים החלו ללמוד לבחינות הבגרות. בשילה -התלמידים גדלו וחשיבתם הלוגית השתפרה. מדידה -המדידה הראשונה רמזה לתלמידים שמדובר במקצוע חשוב שכדאי להשקיע בו ,ולכן עלו ציוניהם במדידה השניה. מכשור -שינויים שחלו במכשור (מבחן לא מהימן ,למשל) או בבוחנים בין מדידה למדידה. רגרסיה לממוצע -אם קבוצת הניסוי נבחרה על סמך ציוניה הקיצוניים. .3מערך "אחרי" +קב' ביקורת ללא רנדומיזציה היפוכו של המערך הקודם ,יתרונותיו של המערך הקודם הם מגרעותיו של מערך זה ולהפך. ---קב' ניסוי המקבלת מניפולציה וקב' ביקורת שלא מקבלת את המניפולציה .שתיהן נמדדות רק לאחר קידודO1 X : המניפולציה ולא לפניה .אין הקצאה מקרית. ----O2 דוגמא :מלמדים שיטה חדשה על כיתה אחת ,בעוד השנייה ממשיכה ללמוד כרגיל .לאחר תקופה ,נמדדים הישגי שתיהן. בעייתיות )1( :הנבדקים לא הוקצו לקבוצות בצורה מקרית )2( .הקבוצות לא נבדקו לפני הפעלת המניפולציה ,כך שאין דרך לוודא שהן היו שוות מלכתחילה. בעיות אלו יוצרות איומים על התוקף הפנימי: ברירה -ההבדל בין 2הכיתות אולי נבע מהבדל ברמה ההתחלתית של שתי הקבוצות. בשילה -כמו במחקר הקודם. נשירה -בד"כ התלמידים הנושרים מביה"ס הם הפחות טובים. אינטראקציה בין ברירה ונשירה או בין ברירה ובשילה -אם הקבוצות היו שונות מלכתחילה ,עלולה להיות נשירה גדולה יותר בקב' אחת ולא בשנייה ,וכן בשילה גדולה בקב' אחת ולא בשנייה. חוקרים רבים סבורים שאפשר להתגבר על מגבלות מערך זה ע"י התאמה :מתאימים לכל נבדק מקב' הניסוי נבדק מקביל מקב' הביקורת ,הזהה לו במשתנים רבים ככל האפשר (גיל ,מין ,מוצא וכו') .אולם ,אי אפשר ליצור שוויון באינסוף משתנים .כמו כן אין כל ערך להתאמה אם היא לא נעשתה גם לפי המשתנה התלוי ולפני הטיפול הניסויי. מערך דמוי ניסויי: מחקר דמוי ניסויי הוא מחקר בו הנבדקים לא נדגמים ע"י החוקר ,אלא נלקחים כיחידה אחת .בד"כ מדובר במחקרי שדה. לדוג' ,מנהלת בי"ס רוצה לבדוק האם הוראת חשבון בצורה כלשהי טובה יותר מזו הפרונטלית .היא קובעת שבשנה מסוימת כיתה ד' 1תלמד בצורה הזו ו-ד' 2תלמד פרונטלית ,ובסוף השנה מעבירה מבחן זהה לשתי הקבוצות. זהו מחקר דמוי ניסויי כי הנבדקים לא נדגמו לניסוי אלא נעשה שימוש בקבוצה קיימת .מחקר כזה הוא בעייתי כי לא ניתן לדעת האם ההבדלים בין הקבוצות היו מלכתחילה או שהם נבעו מהמניפולציה הניסויית .מחקר ניסויי אמיתי תמיד עולה על דמוי ניסויי כי יכולת ההסקה אודות סיבתיות תמיד גבוהה יותר. עם זאת ,לעיתים קרובות לא ניתן לערוך בשדה מחקרים ניסויים אמיתיים ואין ברירה אלא להסתמך על מערך מחקר דמוי ניסויי( .לדוג' ,חוקר שבודק צמחונים מול לא צמחונים) .במצבים כאלו על החוקר לנסות ולבקר כמיטב יכולתו את ההתאמה בין קב' הניסוי והביקורת .מערכים דמויי ניסוי נועדו לאפשר הסקה סיבתית במצבים בהם: החוקר לא שולט בסדר הזמנים -זמן מתן המניפולציה. החוקר לא שולט במדגמים -לא יכול לבצע הקצאה רנדומלית. .1סדרת בדיקות "לפני ואחרי" ללא קב' ביקורת כל אדם העומד בראש ארגון מעוניין לעתים לשנות את שיטות העבודה .אם אין לו קב' ביקורת הדבר היחיד שהוא יכול לעשות זה שימוש בקב' ניסוי אחת ומדידתה מספר פעמים לפני המניפולציה ומספר פעמים אחריה. O8 O7 O6 O5 X O4 O3 O2 O1 קידוד: אם לא יימצא הבדל בין המדידות O4 ,O3 ,O2 ,O1וגם לא בין המדידות ,O8 ,O7 ,O6 ,O5אבל כן יתקבל הבדל מובהק בין 2קבוצות המדידות -משמע שהוא נובע מהמניפולציה. חסרון: היסטוריה :ייתכן שאירוע שהתרחש במקביל ל X -גרם להבדל .איום זה חמור כשהנבדקים חשופים לגירויים רבים .אם רוצים לבדוק השפעת ת כנית לימודים על עמדות ,יש לדעת שהנבדקים חשופים יום יום להשפעות נוספות חוץ מהשפעת התוכנית .בבדיקת השפעת תרופה על זיכרון איום זה לא מרכזי ,כי זיכרון לא נתון כ"כ להשפעות חיצוניות .אבל יש פתרון :שימוש במדידות החוזרות לאורך זמן לפני הטיפול ואחריו ,מאפשרות לשלוט באיום זה. מכשור :שינוי בכיול כלי המדידה מבדיקה אחת לשנייה עלול להיות הסבר חלופי .אם למשל הבוחנים מודעים להשערות המחקר ,זה עלול לסלף את שיפוטם .בכל מקרה ,לעולם אין להחליף את כלי המדידה במקביל להפעלת המניפולציה .אין להחליף את מדדי הערכת העמדות לאחר סיום הוראת התוכנית ( )Xלצורך הבדיקות שלאחר הטיפול ,גם אם החוקר לא מרוצה מהמדדים בהם השתמש לפני ההוראה. איומים על התוקף החיצוני: אינטראקציה בין ברירה לטיפול. א. אינטראקציה בין מדידה לטיפול. ב. הערה :למרות הבעיות ,מערך זה מומלץ כאשר אין קבוצת ביקורת. .2מערך "לפני -אחרי" +קב' ביקורת לא זהה במערך זה החוקר יכול להשיג קבוצת ביקורת ,אך לא יכול לבצע הקצאה מקרית. ( O2קב' ניסוי -לפני אחרי עם מניפולציה) X O1 קידוד: --------------------( O4קב' ביקורת -לפני אחרי בלי מניפולציה) O3 מערך זה זהה למערך האמיתי "לפני -אחרי" +קב' ביקורת ,עם הבדל אחד :פה אין הקצאה מקרית. במערך "לפני -אחרי" עם קב' ביקורת אפשר להניח ש 2-הקבוצות זהות ,משום שהנבדקים נדגמו מאותה אוכלוסיה ורק אז הוקצו מקרית לקבוצות .במערך הנוכחי אין אפשרות לעשות זאת .לדוגמא ,אם מורה מעוניין להשוות בין שיטת לימוד שנלמדת בת"א לבין שיטה אחרת הנלמדת באילת ,אין לו אפשרות לחלק את הנבדקים מקרית. יתרונות: היסטוריה ,בשילה ומדידה -כל אלו מבוקרים היטב במערך זה .אם ההבדל בין המדידה לפני למדידה אחרי בקב' הניסוי גדול מאותו הבדל בקב' הביקורת -האחראי לכך הוא הטיפול הניסויי. מערך זה אפילו עשוי להיות עדיף על המערך האמיתי המקביל לו בכך שאפשר לבצע אותו מבלי שהנבדקים ידעו שהם משתתפים במחקר. במערך האמיתי הרנדומיזציה בד"כ אומרת לנבדקים שהם משתתפים בניסוי. חסרונות: סכנה של אינטראקציה בין בשילה וברירה ,היסטוריה וברירה או מדידה וברירה -אם נבדקי קב' הניסוי הם חולי נפש וקב' הביקורת היא נורמלית ,כל שינוי בקב' הניסוי עלול להתפרש כהחלמה ספונטנית. רגרסיה לממוצע :אם 2הקבוצות או אחת מהן נבחרו לפי ציוניהן הקיצוניים ,כל הבדל ביניהן עלול להתפרש כרגרסיה לממוצע .אפקט זה גדל במחקרים בהם נעשתה טעות בהתאמה -הניסיון להשוות את ציוני שתי הקבוצות לפני הפעלת המניפולציה. במערך אמיתי ניתן להשתמש בהתאמה כהשלמה לרנדומיזציה ,אולם בדמוי ניסויי אי אפשר (כי אין רנדומ') וזה מעוות את התוצאות :יש מחקרים בהם כדי להשוות בין הקבוצות יש לבחור קב' קיצוניות מאוד. לדוג' ,אם החוקר רוצה להתאים את ציוני כיתה ג' לציוני כיתה ה' ,עליו לבחור מכיתה ה' רק את התלמידים הנחשלים ביותר .סביר כי הרגרסיה לממוצע בכיתה ה' תהיה שונה מהרגרסיה בכיתה ג' ,ותהווה הסבר חלופי. לעתים הרגרסיה גורמת להבדל מלאכותי ,ולעתים היא מטשטשת הבדל אמיתי- דוג' אחרת :במחקר בדקו השפעת טיפול נפשי על דימוי עצמי של מטופלים .בקב' הניסוי היו אנשים עם בעיות נפשיות ,בקב' הביקורת אנשים רגילים .לפני המניפולציה ציוני קב' הביקורת בדימוי עצמי הותאמו לציוני קב' הניסוי .כך יצא שבקבוצת הבריאים היו אנשים שהדימוי העצמי שלהם נמוך בצורה קיצונית .במדידה לאחר המניפולציה ,הרגרסיה גרמה לציוני קב' הביקורת להתקרב לממוצע -כלומר ,ציוניה עלו ונוצר אצלה פער בין המדידה שלפני לבין המדידה שאחרי .פער זה דמה לפער שבקב' הניסוי ,וכך לא התקבל הבדל בין 2הקבוצות ,למרות שהוא קיים במציאות. יש לשים לב -אם בכל זאת יימצא הבדל ,הרי שהרגרסיה חיזקה את תוקף הממצאים ,משום שהוא התקבל למרות הרגרסיה. פתרון אפשרי לבעיית הרגרסיה :ניתן לנסות ולנבא מראש את כיוונה ,ובהתאם לכך לשפוט את התוצאות. מערך ניסוי אמיתי: מערכים אלה מומלצים משום שהם עונים על כל איום אפשרי על התוקף הפנימי .בעקרון הם מושתתים על 2עקרונות: הקצאה מקרית. שליטה בעיתוי הפעלת המניפולציה ,בבחירת ממדי המשתנה התלוי ,בזמן המדידה ובאופייה. מערך בין-נבדקי או תוך-נבדקי: מערך בין-נבדקי -לקבוצות הניסוי השונות נדגמים נבדקים שונים .נבחר לעיתים קרובות כי הוא היחיד שיכול לענות על שאלת המחקר. דוגמאות: א .כששאלת המחקר נוגעת לאוכלוסיות שונות .לדוג' :מחקר נבדקים אקסטרוברטים ואינטרוברטים שונים בביצוע מטלות מוטוריות .אי אפשר להפוך את אותו אדם פעם לאקס' ופעם לאינ' (כמו גבר ואישה) ,ויש לקחת נבדקים שונים לכל קבוצה. ב .כשההשתתפות בתנאי ניסוי אחד משפיעה על ביצועי הנבדקים בתנאי ניסוי אחר .לדוג' :כשנבדקים שונים מקבלים הוראות שונות והניסוי כרוך בהולכת שולל. ג .במצבים בהם אסור שקבוצת הביקורת תקבל טיפול בעוד קבוצת הניסוי מקבלת אותו .לדוג' :בניסויים רפואיים בהם קבוצת ביקורת מקבלת רק פלסבו. היתרון :כל נבדק נכנס לניסוי כלוח חלק. החסרונות )1( :דרוש מספר רב של נבדקים ,עלות ניסוי גבוהה .כשיש בניסוי Kקבוצות ,זקוקים לפי Kנבדקים ,וכשהנבדקים הם נדירים מאוד קשה להשיג אותם )2( .ההבדלים בין הקבוצות יכולים לנבוע מהבדלים בין נבדקים ,ולכן יש מקור עשיר יותר לשונות טעותית ← הסתברות גבוהה לטעות מסוג שני (בתוקף המסקנה הסטטיסטית). כיצד יוצרים קבוצות זהות במערך בין נבדקי? א .הקצאה מקרית לחלוטין :כלומר ,ההסתברות להשתייך לקב' הניסו י או הביקורת זהה ,הנבדק מוגרל לתוך הניסוי ולא נבחר .ב N-מספיק גדול הרנדומיזציה אפקטיבית יותר ,ולכן הסיכוי שלא י היו הבדלים מהותיים בין הקבוצות גדל ,הסיכוי לאינטרקציה בין משתני נבדק כלשהם לבין המשתנה התלוי הנמדד קטנים. ב .התאמה :כאשר מספר הנבדקים מצומצם (למשל במחקרי דימות מוח) ולא ניתן להבטיח כי דגימה רנדומלית תטשטש את ההבדלים ותיצור קבוצות זהות -החוקר מתערב בדגימה ומתאם את נבדקיו בקבוצות השונות לאור משתני רקע רלוונטיים או לאור מדידת ביצועים במטלות רלוונטיות. לדוג' ,חוקר בודק ב fMRIאקטיבציה סמנטית אצל ילדים עם ליקויי קריאה ,כדי לבחון קשר בין בעיות בפענוח אותיות לצלילים לבין אקטיבציה במח .לרשות החוקר מדגם של 12ילדים הסובלים מבעיות פענוח בגיל ממוצע .8.4איך ידגום את קב' הביקורת? אפשרות א' -התאמה לפי גיל :ילדים שלא סובלים מבעיות קריאה וממוצע גילם הינו 8.4גם כן .היתרון :זהות במשתנה הרקע הרלוונטי לקריאה -גיל .החסרון :יתכן ואקטיבציה סמנטית קשורה בהיסטוריה של קריאה ,ולפיכך בהינתן גיל זהה הנבדקים הדיסלקטים קראו פחות מקבוצת הביקורת ,ודפוס עיבודם הסמנטי במח יהיה שונה ללא קשר לדיסלקציה. אפשרות ב' -התאמה לפי יכולת קריאה :החוקר יערוך מבחן פענוח לקבוצת הניסוי (לקויי קריאה) ,ולנבדקים פוטנציאלים מקבוצת הביקורת ,ויתאם בין שתי הקבוצות לפי ביצועיהן במבחן הפענוח .יתרון :ייווצר מצב בו ההבדל בין שתי הקבוצות יתמקד רק בהיות נבדקי קב' הניסוי דיסלקטים .החיסרון :במצב זה לא תהיה התאמה בגיל ,ואם המערכת הסמנטית מתפתחת גם לפי הגיל ,לאור נסיון שאיננו מוגבל רק לקריאה ,תיווצר בעיה. * לעיתים קרובות לא ניתן להגיע להתאמה ללא חסרונות ,והחוקר מתאם לקבוצת הניסוי יותר מקבוצת ביקורת אחת. מערך תוך-נבדקי -כל הנבדקים עוברים את הטיפולים כולם .נקרא גם מערך מדידות חוזרות .Repeated Measures - יתרונות: .1הקטנת השונות הטעותית :כל נבדק משמש כקבוצת ביקורת לעצמו -מודדים את ההפרש אצל אותו אדם .ההבדלים בקבוצת הניסוי לא נובעים מהבדלים מקריים שמקורם בין -אישי .מערך תוך -נבדקי חשוב במיוחד כשנמדדים ביצועי נבדקים במטלות בהן יש מלכתחילה הבדלים בין -אישיים גדולים ,למשל בהקרנת גירויים בזמני חשיפה קצרים .במערך תוך -נבדקי עוצמת המבחן עולה ,כלומר מערך זה משפר את יכולתנו לגלות את האפקט. .2חסכון במספר הנבדקים. איומים על מערך תוך נבדקי :דוגמא להמחשה :חוקר רוצה לבחון את המרחק שכדורי גולף שונים עוברים בחבטה .במערך בין נבדקי הוא דוגם שתי קבוצות חובטים ,כשאחת חובטת בכדור מסוג 1והשנייה בכדור מסוג .2נמצא שהקבוצה עם כדור מסוג 2הגיעה למרחק רב יותר .האיומים על תוקף מסקנות המחקר )1( :ההבדל נובע מטעות מסוג ראשון ( )2אולי החובטים בקבוצה זו היו טובים יותר ולא הכדור .במערך תוך נבדקי כל נבדק חובט עם שני הכדורים ,ונמדד ממוצע ההפרשים אצל כל נבדק. א .אפקט סדר ( :)sequence effectתנאי הניסוי ישפיע על תוצאות הנבדק .ייתכן שבחבטה השנייה החובט מתעייף ומבצע פחות טוב ,או לחילופין שהוא "התחמם" ומבצע יותר טוב. ב .אפקט העברה ( :)carry over effectתנאי הניסוי הראשון גרם ללמידה שהשפיעה על תנאי הניסוי השני" .למידה" יכולה להיות כל שינוי התנהגותי (הגברת רגישות תפיסתית ,הגברת קשב ,עומס זיכרון וכו'). דרכים להתגבר על אפקט הסדר: א 2 .תנאי ניסוי -איזון סדר תנאי הניסוי :בדוגמא -מחצית מהחובטים יחבטו קודם בכדור מסוג 1ולאחר מכן בכדור מסוג ,2בעוד מחציתם יחבטו בסדר הפוך. ב 3 .תנאי ניסוי -איזון מוחלט ( :)counter balancingכל הסדרים הקומבינטורים האפשריים נבחנים ,וכל נבדק מוקצה לסדר אחד .בשלושה תנאים ניצור 6קבוצות ( -)!3קבוצה לכל סדר אפשרי ,שבכל אחת מס' נבדקים שווה. ג .יותר מ 3תנאי ניסוי -איזון חלקי /ריבוע לטיני :בהינתן 4תנאי ניסוי ,ABCDידגמו 4סדרים מתוך 4!=24סדרים אפשריים. כל תנאי ניסוי יופיע פעם אחת בכל מיקום אפשרי -ראשון ,שני ,שלישי או רביעי .התנאים הם תמיד באותו סדר ,אך בכל פעם האות הראשונה עוברת לסוף .מתאים רק כשלחוקר לא משנה איזה תנאי היה לפני או אחרי התנאי הנוכחי. מערכי ניסוי אמיתיים עם מספר צעדים רב :לעיתים צריך להגיב לגירויים רבים במערך הניסוי .לדוגמא ,ניסויים פסיכופיזיים או ניסויי תפיסה בהם יש מאות צעדים ,וכל צעד שייך לתנאי ניסוי אחר .גורמים כמו עייפות הנבדק ,הסתגלות הדרגתית לאור וכו' משנים את התגובות לאורך זמן .הפתרון :הקצאה רנדומלית של סדר גירויים אחר לכל נבדק .המחשב בוחר בכל צעד גירוי באופן מקרי. מערכי ניסוי אמיתיים עם חזרה על גירויים – מערך משולב :לעיתים מתבקש הנבדק להגיב לגירויים זהים בתנאי ניסוי שונים .לדוגמא ,ניסוי זיהוי מילים :בודק האם אנשים שרואים מילה מגיבים יותר מהר למילה עם קשר מבני (משקל) /עם קשר סמאנטי /קשר צלילי של חריזה /חוסר קשר (ביקורת) .הבעיה :תגובה שנייה לאותה מילה תמיד מהירה יותר ,ולכן אסור לנבדק לראות את אותה מילה פעמיים .בנוסף ,יש שונות בזיהוי של המילים -יש מילים יותר מוכרות שקל יותר לזהות ויש כאלה שפחות .לכן חשוב שאותן מילים מסוימות יחזרו על עצמן בתנאים השונים. פתרון :מערך משולב .יוצרים מספר רשימות -כל נבדק יבצע רשימה אחת .בכל רשימה מחלקים את המילים כך שכל קבוצת מילים תוקצה לתנאי אחר .ברשימה הבאה ,אותן קבוצות מילים יוקצו לתנאים שונים .לבסוף נוצרות 4רשימות מילים ,כשבכל רשימה קבוצת מילים מסוימת הוקצתה לתנאי שונה! זהו בעצם ריבוע לטיני גם לנבדקים וגם למילים ,כדי שנוכל להכליל גם מהנבדקים לאוכלוסייה כולה ,וגם מהמילים שבחרנו למילים כולן. יתרונות: כל נבדק נחשף לכל תנאי הניסוי (מערך תוך נבדקי). כל מילה הוצגה בכל תנאי הניסוי (מערך תוך גירויי). -אין נבדק ספציפי שראה אותה מילה פעמיים. . . . . . . . . מערכים מעורבים ומשולבים :בעלי לפחות שני גורמים בלתי תלויים: מערך מעורב :מכיל לפחות משתנה ב"ת אחד בין נבדקי ולפחות משתנה ב"ת אחד תוך נבדקי. מערך משולב :מכיל לפחות משתנה ב"ת אחד נמדד (מתאמי) ולפחות משתנה ב"ת אחד מתופעל (ניסויי). .1מערך "לפני -אחרי" +קב' ביקורת במערך זה יש 2יתרונות מרכזיים על הקודמים )1( :הקצאה רנדומלית )2( .הקבוצות נמדדו במשתנה התלוי לפני המניפולציה ,כך שנוצר בסיס להשוואה ביניהן. O2 X O1 R קידוד: O4 O3 R הנבדקים הוקצו רנדומלית לקבוצות (ולכן יש להניח שהן שוות). .1 ניתן לבדוק באופן מעשי ,אם אכן היו שוות במשתנה התלוי לפני הניסוי – בגלל המדידות לפני (במדגם מאוד גדול אין צורך). .2 יעילות המניפולציה נמדדת ביתר דיוק בעזרת השוואה בין הפער O2 -O1לעומת .O4 -O3 .3 מערך זה מאפשר להתגבר על כל האיומים על התוקף הפנימי: היסטוריה :שתי הקבוצות נמדדות בו זמנית במשתנה התלוי לפני הפעלת המניפולציה וגם אחריה .כל מאורע שיתרחש בין המדידה שלפני לבין המדידה שאחרי ,ישפיע באותה מידה על שתיהן .לכן ,אין בו הסבר חלופי להבדלים שנמצאו .הבעיה היא לגבי ההיסטוריה המקומית: כשאי אפשר לבצע את המדידות בקרב 2הקבוצות בו זמנית ,כל מאורע שקורה בקב' אחת ולא בשנייה עלול לשמש הסבר חלופי .מצד שני ,כשהניסוי נערך בו זמנית אך ל 2-הקבוצות בנפרד ,חייבים להשתמש ב 2-נסיינים ,ואז מסתכנים בהשפעת הנסיין הפוגעת בתוקף המבנה. פתרון :רנדומיזציה של תנאי הניסוי שהופכת את גורמי הטעות השיטתית לגורמי טעות מקרית ,ב 2-דרכים אפשריות: א .ריכוז כל הנחקרים בחדר אחד ,אך מתן דפי הוראות שונים .דרך זו מוגבלת כמובן רק לניסויים שבהם המניפולציה נעשית ע"י דפים כתובים. ב .לערוך את הבדיקה המוקדמת (המדידה שלפני) לכל נבדק בנפרד ,ואז להקצותו רנדומלית לקב' הניסוי או הביקורת .אם הניסוי מחייב בדיקה בקבוצות ,יש להתייחס לכל קב' כאל נבדק אחד ,היות שלכל קבוצה יש היסטוריה פנימית משלה. במקרה זה ,הקבוצות יוקצו בסדר רנדומלי לניסוי וביקורת. בשילה ומדידה :מבוקרות ע"י הקצאה הרנדומלית לקבוצות .הבדיקה שלפני הטיפול נערכת בשתיהן באותו זמן ,כך שלשתיהן ניתנת הזדמנות שווה "להבשיל" ,ובאותה מידה. מכשור :פותרים בעיה זו כמו בעיית ההיסטוריה המקומית :אם משתמשים במבחנים כתובים ,המחולקים רנדומלית בין נבדקי קב' הניסוי והביקורת ,הרי שכל הנבדקים נבחנים באותו זמן ובאותו אופן .אם כל נבדק או קב' נבדקים נחקרים בנפרד הרנדומיזציה של סדר הבדיקה בין קב' הניסוי והביקורת מבטיחה שוויון בין שתיהן. שימוש בכמה מעריכים :אפשר לחלקם רנדומלית בין הקבוצות ,אך המעריך חייב להיות עיוור לתנאי הניסוי ,כלומר אסור לו לדעת לאיזה תנאי ניסויי שייכים הנבדקים. רגרסיה :אם 2הקבוצות נדגמו מאותה אוכ' קיצונית ,וההקצאה הייתה רנדומלית -אז הרגרסיה תשפיע באותו אופן על שתיהן. ברירה :הדרך היחידה להבטיח שוויון בין הקבוצות היא ע"י הקצאה אקראית לקבוצות .יש לזכור שהתאמה אינה תחליף להקצאה רנדומלית .אפשר להשתמש בה רק כאמצעי עזר להשוואת 2הקבוצות או להקטנת שונות הטעויות :אפשר להתאים את הנבדקים לפי כמה ממדים ,ואח"כ להקצות חברי זוגות תואמים באופן רנדומלי לקבוצות .אפשר לבחור את המשתנה שבו רוצים להשוות בין הנבדקים ב2- הקבוצות ,ולהשתמש בו כמשתנה ב"ת נוסף .בדרך זו ,הופכים את השונות המקרית שיצר משתנה זה לשונות שיטתית. נשירה :השאלה המרכזית היא האם הנשירה מקרית או שיטתית .נשירה מקרית איננה בעייתית אך במידה ויש לנו נשירה המאפיינת את אחת הקבוצות ניתן לשער שייתכן ומאפיין הקבוצה הוא זה שהוביל לנשירה ולכן זה יהיה בלתי הולם להתחשב רק בתוצאות של הנבדקים שנותרו בעת ההשוואה .ניתן להתגבר על בעיה זו בעזרת הכללת המדידות הראשונות של הנושרים במדידה השנייה במהלך הניתוח .כלומר ,לנושרים יהיה אותו ציון ב 2-המדידות .כך מחלישים את האפקט הניסויי ,אך לפחות נמנעים מטעות הדגימה. הבעיה העיקרית במערך זה :פגיעה בתוקף החיצוני (להכליל את הממצאים) -שנובעת מן האינטראקציה בין המדידה למשתנה הב"ת (בין המדידה למניפולציה) .כל הנבדקים במערך עברו בדיקה מוקדמת ,ולכן ייתכן שאי אפשר להכליל את הממצאים על נבדקים שלא עברו בדיקה כזו .ברור ,שההבדלים בין הקבוצות לא נגרמו רק מהבדיקה המוקדמת ,משום שגם קב' הביקורת עברה בדיקה זו .אולם ,אי אפשר להיות בטוחים שההבדלים נגרמו רק בידי המשתנה הב"ת .ייתכן שהמניפולציה יחד עם הבדיקה המוקדמת השפיעו יחד על המשתנה התלוי .הבדיקה המוקדמת יכולה להשפיע בכמה דרכים: היא גרמה לנבדקים להיות מודעים לעמדותיהם. א. היא עוררה בנבדקים התגוננות ביחס לעמדותיהם. ב. היא הבהירה להם את משמעות הניסוי או את מטרתו. ג. כל אלה יכולים להשפיע על המדידה השנייה באופן שאיננו קשור למניפולציה. מחקרים מצאו שהבדיקה המוקדמת בד"כ מקטינה את אפקט הניסוי ,כלומר ,עלולה לגרום לחוקר לדחות השערה נכונה .הדרך הטובה ביותר לפתור זאת היא לכלול קב' ביקורת שבה לא תיעשה המדידה שלפני. .2מערך 4הקבוצות של סולומון: O1 קידוד :קבוצה א'R : R קבוצה ב': קבוצה ג'R : קבוצה ד'R: X O3 X ( O2מניפולציה עם בדיקה לפני) ( O4ביקורת – בלי מניפולציה – עם בדיקה לפני) ( O5מניפולציה ללא בדיקה לפני) ( O6ביקורת – בלי מניפולציה – ללא בדיקה לפני) ניתן לראות שמערך 4הקבוצות כולל את המערך הקודם ב 2-השורות הראשונות -קב' ניסוי וקב' ביקורת ששתיהן עברו בדיקה לפני ואחרי ,אך בנוסף יש עוד קב' ניסוי וקב' ביקורת שלא עברו בדיקה לפני ,אלא רק בדיקה אחרי. מערך זה מאפשר לבדוק את השפעת האינטראקציה בין המדידה למניפולציה ,ואם אפשר להכליל את הממצאים על אוכלוסיות שלא עברו מדידה מוקדמת( .בתרגול התייחסו לזה גם כמערך דו גורמי – שני משתנים ב"ת :אחד -הטיפול ,שני – המדידה הראשונה). 4מקורות יכולים להשפיע על ציוני נבדקי 4הקבוצות בבדיקה "שאחרי"- א' -ניסוי עם ב' -ביקורת עם ג' -ניסוי ללא ד' -ביקורת ללא בדיקה לפני בדיקה לפני בדיקה לפני בדיקה לפני √ √ )1הבדיקה שלפני √ √ √ √ )2השפעות הזמן √ √ )3המניפולציה √ )4האינטראקציה בין המניפולציה למדידה ההבדלים בין קב' א' לקב' ב' במדידה שאחרי ( )O2 -O4מבטאים 3דברים: השפעת המניפולציה. .1 השפעת האינטראקציה בין הבדיקה המוקדמת לבין הטיפול. .2 השפעת הזמן. .3 אלו למעשה התוצאות של מערך המחקר הקודם. ציוני קב' ג' במדידה שאחרי ( )O5משקפים רק את: השפעת המניפולציה. .1 השפעת הזמן (השפעות חיצוניות כמו היסטוריה ,בשילה וכו'). .2 לכן ,אם נפחית את ציוני קבוצות ב' ו-ג' ( O4ו )O5-מציוני קבוצה א' ( ,)O2נקבל את גודל השפעת האינטראקציה. ציוני קב' ד' ( )O6משקפים רק את השפעת הזמן שחלף: אם נפחית את ציוני קבוצה ד' מציוני קב' ג' ( ,)O5 -O6נקבל אומדן להשפעת המניפולציה בלבד. אם ההפרשים O2 -O5ו O4 -O6 -שווים לאפס ,אפשר לומר שהבדיקה המוקדמת והאינטראקציה בין הבדיקה לטיפול לא משפיעות על התוצאות ולכן ניתן להכליל את ממצאי המחקר. מערך זה הוא מצוין ,אך מסובך ויקר .מכיוון שהוא לא מוסיף לתוקף הפנימי ,מומלץ להשתמש בו רק במקרים בהם חשוב במיוחד להכליל את הממצאים. .3מערך "אחרי" +קב' ביקורת: זהו המערך היחיד במערכים האמיתיים שלא נערכות בו מדידות לפני המניפולציה .הבטחת השוויון בין הקב' מבוססת רק על רנדומיזציה .יש חוקרים שמתקשים לתת אמון בעקרון הרנדומיזציה בלבד ,אולם הבדיקה המוקדמת היא לעתים מיותרת כי היא עלולה לגרום לשינויים עוד לפני הפעלת המניפולציה ולעתים לא ניתנת לביצוע .לכן במקרים רבים אפשר לוותר עליה .למשל ,אם רוצים לשמור על אלמוניות הנבדקים ,ביצוע בדיקה אחת אחרי הטיפול היא הפתרון ,כי בדיקה חוזרת מחייבת ויתור מסוים על אלמוניות. O1 X R קידוד: O2 R המערך זהה ל 2-הקבוצות האחרונות במערך 4הקבוצות של סלומון .לכן ,גם מערך זה מטפל בבעיית האינטראקציה ,אולם אינו מאפשר למדוד את השפעתה. תיאוריה של גילוי אותות: גילוי אותות -מצב ניסויי שכיח: לעיתים קרובות אנו נדרשים לזהות סיגנל /אות /אירוע במצבים שבהם הזיהוי אינו ברור ,כי קשה לנו להבחין בין מצב שבו האות או הסיגנל מופיעים לבין מצב שאינם מופיעים. רעש: קושי בזיהוי האות ,מצב בסיסי שמפריע לזהות את הסיגנל .המצב הרגיל בעולם הוא של "רעש" רנדומלי במערכת .כלומר ,תמיד יהיה רעש ,אך לפעמים יתווסף אליו גם סיגנל .לכן שני המצבים הקיימים הם: המצב בו אין סיגנל = רעש ()n המצב בו יש סיגנל = רעש +אות ()s + n הרעש גורם לחוקר או לנבדק לקלוט משהו תמיד .השאלה -האם מה שאנו קולטים הוא רק רעש או גם סיגנל? דוגמאות: גילוי מטוס במסך הרדאר – המסך תמיד מלא ריצודים ונקודות ,וכשמופיע משהו לא ברור אם זה מטוס או ציפור ,ואם זה מטוס האם אזרחי או צבאי .בדומה ,קשה לזהות שבר בצילום רנטגן ,סוללת טילים בתצלום אויר ועוד. ניסויים פסיכו -פיזיים :מצבים של זיהוי קרוב לסף היכולת (זיהוי צליל בתדירויות גבוהות או נמוכות מאד ,או זיהוי הבדלים זעירים במיוחד). גילוי "סימנים חברתיים" :האם אנו מזהים רגש ,מסר בין-אישי רלוונטי ועוד. איתור מצוינות ,למי מגיע פרס הצטיינות ,מיהו דוקטורנט מצטיין ,מי יהיה רופא טוב ,קלינאי טוב ,וכו'. סיגנל ורעש – מודל כללי: מודל הסיגנל והרעש מהווה מודל כללי של מערכת העצבים :הרעש -תאי עצב יורים תמיד ,גם ללא גרייה חיצונית .תוספת ה"סיגנל" על ה"רעש" -גירוי בעוצמה נמוכה שיגביר את קצב הירי ברמה מסוימת .תפיסת הגירוי תתבסס על אבחנה לגבי השינוי היחסי בקצב הירי .מערכת העצבים עוסקת תדיר ב"גילוי אותות" ,אך מודל הסיגנל והרעש רחב יותר :הוא מייצג את רוב המצבים בעולם בהם אנו נדרשים לזהות ,לאתר, להבין ,לקלוט ,להסיק ולהחליט בנוגע לאינפורמציה שבהירותה אינה מושלמת. טעויות אבחון: מקרים בהם נחשוב שאירוע התרחש או שזיהינו אות ,על אף שבמציאות הוא לא התרחש והיה רק רעש -טעות מסוג ראשון. מקרים בהם נחשוב ששום דבר לא קרה ,על אף שהתרחש אירוע והיה אות -מקביל לטעות מסוג שני. הטעויות לא משקפות רק את רגישות המערכת הקוגניטיבית או את הרזולוציה שלה ,אלא גם שיקולים כלליים של קונטקסט .תיאורית גילוי אותות אינה עוסקת רק בתפיסה ישירה של האות ,אלא באינטראקציה בין התפיסה הראשונית לבין מערכת של קבלת החלטות לאור ציפיות/עלויות/הטיות ,ומכאן חשיבותה .למשל: סבירות -האם יש סבירות גבוהה או נמוכה לקיום הסיגנל? הציפייה או האי ציפייה שלנו לקיום האות תשפיע על ההחלטה .למשל :כשאדם מול רדאר צריך לקבוע אם סימן הוא חייזר או מטוס ,הוא לא ייטה לקבוע שזה חייזר כי ההסתברות האפריורית לכך נמוכה. עלות של כל סוג טעות -מחיר איתור מוטעה של סיגנל מול המחיר של אי איתור .למשל :במקרה מטוס הנוסעים הלובי שיורט ,העלות האפשרית במידה וזה אויב שיפגע בכור הייתה גבוהה מידי. דוגמא להמחשה: 3קוביות :שתי קוביות רגילות ( + )1....6קובייה שלישית בה על 3דפנות מופיע המספר ,0ועל 3דפנות מופיע המספר .3מישהו זורק את הקוביות ומחבר את המספרים .המטרה :להחליט על סמך הסכום שנמסר לנו האם הקובייה השלישית נפלה על – 3זה הסיגנל .ז"א ,להחליט האם היה סיגנל או לא ,כשהאינפורמציה שיש לנו היא רק סכום המספרים. בטבלה מוצג מספר הצירופים שיכול להוביל לכל סכום תחת שתי האפשרויות. אם אבחון שיצא 3הוא ה"סיגנל": א .באזור מסוים של ההתפלגות ברור לנו שאין סיגנל ( ,)3אלא רק רעש. ב .באזור מסוים של ההתפלגות ברור שיש סיגנל. ג .באזור החפיפה בין ההתפלגויות איננו יכולים לדעת בוודאות איזו משתי ההתפלגויות הוליכה לתוצאה שקיבלנו ,כלומר זה מצב שבו יש סיגנל מעורב ברעש. עם זאת -ניתן לקבוע קריטריון החלטה אופטימאלי: אם הסכום 9ומעלה נחליט שהיה סיגנל ומספר 3התרחש .אם הסכום 8ומטה נחליט שלא היה סיגנל ומספר 0התרחש .זוהי מקסימיזציה של ההסתברות לתשובה נכונה ,אך טעויות עדיין יכולות להתרחש. קריטריון אינו בהכרח קבוע :הקריטריון האופטימאלי יכול לזוז ימינה או שמאלה בהשפעת גורמים כמו כדאיות ,סבירות וכו'. • נניח שזיהוי נכון של 3מזכה בבונוס=>החלטה ליברלית • נניח שטעות באיתור 3מובילה לקנס=> קונסרבטיביות מאחר ויש תמיד חפיפה כלשהי בין התפלגות הסיגנל והרעש ,הצופה קובע קריטריון לתגובה ,ולפיו: • אם הקליטה של הצופה היא מעל לקריטריון – ההחלטה היא שהאירוע אכן התרחש. • אם קליטת הצופה מתחת לקריטריון – ההחלטה היא שהאירוע לא התרחש. הנחות: עצמת ה"רעש" הסובייקטיבית מתפלגת נורמלית. אם נוסף אות על הרעש הוא יוסיף ערך קבוע להתפלגות (תזוז ימינה) תוחלת הסיגנל+רעש תהיה תמיד גבוהה מתוחלת הרעש. עוצמת האות קובעת את המרחק בין שתי ההתפלגויות ציר ה :X -הסקאלה על-פיה מחליטים האם היה אות או לא .בד"כ זוהי סקלה של תחושה פנימית של המחליט. ציר ה :Y-צפיפות/שכיחות יחסית של ערכי .X מהם הסיכויים להחלטה נכונה? הרצוי :מקסימום hitsו Correct rejectionsומינימום missesו.false alarms אירוע כן לא HIT FALSE ALARM כן החלטה MISS CORECT REJECTION לא Hit ו miss -הם מצבים משלימים ,ההסתברות ל"פגיעה" ו"החמצה" כאשר האירוע אכן התרחש שווה .1 FA ו CRהם מצבים משלימים ,ההסתברות ל"אזעקת שווא" ו"דחייה נכונה" כאשר האירוע לא התרחש שווה :1 הרגישות באיתור סיגנל: אינדיקציה ליכולת שלנו לאתר את הסיגנל מבוטאת ביחס בין שטח ה hits-לשטח ה false alarms-בהתפלגות .הגדלת ה hitsמקטינה אוטומטית את ה ,missesוהקטנת ה false alarmsמגדילה את ה .correct rejections המרחק בין התפלגות הסיגנל והתפלגות הרעש קובע את הרגישות באיתור הסיגנל .זהו מדד הרגישות:d’ - (רעש( ( - µרעש+אות) µ (רעש( ’ dהוא "גודל האפקט" של הסיגנל בציוני תקן – הפרש התוחלות של התפלגות הרעש והסיגנל ביחידות של ס"ת של התפלגות הרעש. הבעיה :אין לנו יכולת למדוד באופן ישיר את תוחלות הסיגנל והרעש ואת סטיית התקן של התפלגות הרעש .מה שכן אפשר לעשות זה למדוד את פרופורציית ה hits-ופרופורציית ה false alarms-לכל נבדק ,ומהם לחשב את המרחק בין שתי ההתפלגויות שלו. מודדים באופן אמפירי את פרופורציית ה hits-ה false alarm -של הנבדק .באמצעות ) P(false alarmנמצא את המרחק בין רעש µובין , β ובאמצעות ) P(hitנמצא את המרחק בין רעש+אות µובין .βבטבלאות התפלגות נורמלית ניתן למצוא את ציוני התקן של כל שטח ולחשב = 'd ).Z(hit rate) - Z(false alarm rate לדוג' ,בניסוי של רם פרוסט שצריך לזהות מתי יש במילה סיכול אותות ומתי אין (חלק באנגלית חלק בעברית) התקבלו התוצאות: נע מ 0עד אינסוף .מצב d'=0יתקבל כשאין שום הבדל בין התפלגות הסיגנל והרעש ,אין שום רגישות לסיגנל .ככה שיעלה מעל 0זה יעיד על רגישות גבוהה יותר לסיגנל (הסתברות זיהויו עולה על הסתברות החמצתו). במצב בו לנבדק יש hit 100%ועל כן FA 0%נהוג לחשב הסתברות של 0.99ושל ( 0.01בהתאמה) כדי להימנע מערכי אינסוף. היכן לקבוע את הקריטריון? aהיא הנקודה בה היחס בין ה hits-ל f.a-הוא מקסימאלי ,בהינתן רגישות מסוימת של הנבדק ,אבל כפי שראינו קודם שיקולים אחרים יכולים לגרום לו להזיז את הקריטריון. מצבים בהם הקריטריון לא ממוקם בנקודה האופטימאלית = מצבים של הטיית תגובה: תשלום טוב ל hits-הזזת הקריטריון שמאלה הסתברות גבוהה יותר ל hits-ו.false alarms- קנס כבד ל false alarms-הזזת הקריטריון ימינה הסתברות נמוכה יותר ל hits-וfalse alarms- דוג' לכך היא מערכת המשפט בישראל ,שרואה בחומרה רבה יותר FAלעומת .miss מיקומים שונים של הקריטריון מעבר לנקודה האופטימאלית מעידים על הטיית יתר של הנבדק להחליט האם היה או לא היה אות – הטיה זו כונה .βבפסיכולוגיה אנו מעוניינים פעמים רבות למדוד את רגישות הנבדק ,ו β -מאפשרת לנו למדוד את מיקום הקריטריון של כל נבדק β .היא פונקציה מתמטית של יחס תגובות ה"כן" ( )hits+FAויחס תגובות ה"לא" ( .)miss+CRכשאין שום הטיה β -שווה לאחד .בהינתן שני נבדקים עם אותו מדד רגישות ,אצל הנבדק בלי הטיית התגובה מספר תגובות ה'כן' ומספר תגובות ה'לא' יהיה זהה ,ואצל הנבדק עם הטיית התגובה מספר תגובות ה'כן' יהיה שונה ממספר תגובות ה'לא'. אבחנה בין 2השפעות בלתי-תלויות על התגובה: o o רגישות ’ -dעד כמה ההתפלגויות שונות זו מזו (כמה קל להבחין בין התרחשות אירוע לאי התרחשות אירוע). הטיית תגובה - βהאם קריטריון התגובה הוא אופטימאלי או מוטה. עקומת :Receiver Operating Characteristics -ROC העקומה נותנת מידע על שינוי תגובת הצופה ע"י שינוי מטריצת התשלומים (בהינתן רגישות מסוימת) ,מתארת את השפעת שינוי הקריטריון על ) P(hitsועל ) .P(FAכל עקומה כזו נבנית עבור ’ dנתון. כשאין רגישות -עקומת ROCהיא האלכסון. :a תשלום טוב ל -hitsיגיד הרבה כן ולכן יהיה לו הרבה Hitוהרבה .FA :b מצב של רגישות אופטימאלית -כמות ה hits-גדולה ביחס לכמות ה.f.a - :C קנס כבד ל -FAיגיד הרבה לא ולכן כמעט לא יהיה לו Hitוגם לא .FA ככל שהרגישות להבדל בין 2ההתפלגויות גדולה יותר העקומה הולכת יותר מעלה .רגישות 0היא בדיוק האלכסון ,והיא הפוכה) .ז"א ,כמות ה Hitsגדולה ביחס לכמות ה .FA יכולה לגדול עד רגישות =( 1ר של בדיקות שונות לאבחן במדויק נכון ( )true positiveוזיהוי מוטעה עקומות ROCנמצאות בשימוש רחב ברפואה לתיאור יכולות מחלה ,פגמים גנטיים ,וכו' .לכל בדיקה יש הסתברות של זיהוי (.)false positive לדוג' :התפלגות ערכי הורמון T4אצל אנשים בריאים וחולים עם חוסר תפקוד של בלוטת התריס .הקריטריון ערך של 5.5הוא המקובל לאבחון של אדם כ"חולה" .כחול – התפלגות האנשים הבריאים ,ורוד – התפלגות האנשים החולים. קופת החולים מעדיפה FAמאשר .miss דוגמא ממבחן: תיאור מקרה :בעת תכנון ההשתלטות על הספינה "מרמרה" התלבט אגף המבצעים במטכ"ל האם נוסעי הספינה הם "פעילי שלום" פסיביים כמקובל במשטים כגון אלה ,או לחילופין כי מדובר דווקא באקטיביסטים איסלמיים שפניהם לעימות .בעת התכנון נבחנו ההשתמעויות האפשריות של הפעולה לאור שתי האופציות הללו .בסופו של דבר תוכננה הפעולה לאור ההנחה כי מדובר ב"פעילי שלום" פסיביים ,מה שהסתבר כטעות. שאלה :הצג את השתלשלות האירועים הללו במונחים של תיאוריית גילוי אותות .השתמש בתיאורך במונחים של התפלגות סיגנל ורעש ,התייחס לסוג הטעות שהתרחשה ,הסבר כיצד טעות זו יכלה להתרחש במונחי הזזת קריטריון. תשובה :רעש=ספינת פעילי שלום ,רעש+סיגנל=ספינת אקטיביסטים איסלמיים =False alarm .התייחסות לפעילי שלום כאל אקטיביסטים איסלמיים =Miss .זיהוי אקטיביסטים איסלמיים כפעילי שלום .אגף המבצעים פחד מ( false alarm-קנס גבוה) ולכן נוצרה הטיית תגובה ,בה הקריטריון זז ימינה על ציר ה .X-למעשה מה שקרה להם זה .miss הטיות ואיומיהן הטיות במהלך הניסוי נגרמות מכיוון שבמקרים רבים המחקר מבוסס על נבדקים כבני אדם ,ותמיד המחקר מבוצע ע"י חוקרים שהם בני אדם. הנבדק או החוקר הם בני אדם לא ניטרליים ויש להם השפעה אקטיבית על מהלך הניסוי ותוצאותיו. שני סוגי הטיות: הטיות נסיין ( :)Invested Interestמעבר לעובדה שיש לחוקר אינטרס ברור להצליח במחקרו ,הדיון בהטיות נסיין לא עוסק בהטיות מכוונות ומודעות ,אלא בהטיות לא מכוונות – עד כמה הנסיין שיש לו ציפיות ,הנחות והשערות יכול להשפיע על תוצאות המחקר גם כשאין לו כוונה לעשות כן ,וכיצד ניתן למנוע זאת. הטיית הנבדק :כפי שהנסיין אינו מכונה ,גם הנבדק בעל ציפיות ואמונות בנוגע לניסוי. הטיות נסיין: הנס החכם :המקרה הראשון המפורסם בו תועדה הטיית נסיין .סוס מפורסם מגרמניה שהיה יכול לבצע פעולות חשבון מורכבות .בעליו היה מציג לו בעיות חישוב ,והסוס היה רוקע ברגליו בהתאם לתשובה .לאחר מחקר ממושך נמצא כי הנס היה מגיב לתנועות הראש והעיניים הבלתי מודעות של בעליו (וון אוסטן). הניסויים של :Rosenthal ( )1שתי קבוצות של נסיינים הציגו תצלומים לנבדקים וביקשו מהם הערכות לגבי הצלחה צפויה של האנשים המופיעים בתצלומים. המניפולציה הניסויית :המשתנה הב"ת -עיצוב ציפיות הנסיינים בנוגע להערכות הנבדקים .קבוצה א' -נאמר לנסיינים כי הנבדקים ,לאור מבחן אישיות ,נוטים לתת הערכות נמוכות לגבי אחרים .קבוצה ב' -נוטים לתת הערכות גבוהות לאחרים. תוצאות :ציפיות הנסיין הגשימו את עצמן .הנסיינים שציפו לקבל הערכות נמוכות אכן קיבלו כאלו ולהפך .כלומר ,אמונת הנסיין קבעה את תוצאות הניסוי .בדומה להנס החכם ,הנסיין "העביר" לנבדק את ציפיותיו (חיוך ,גבות ,מצח וכו'). ( )2נתנו לנסיינים להאמין כי חולדות הניסוי שלהם לומדות מהר או לאט לאור סלקציה גנטית .חולדות של נסיינים שחשבו שהחולדות שלהם מהירות למידה אכן למדו מהר יותר מחולדות שהנסיינים שלהן האמינו שהן איטיות. הפתרון – בקרה ניסויית: מאחר והטיות נסיין אינן מודעות ,יש למנוע אותן באמצעות ניתוק הנסיין מן היכולת להשפיע על הנבדק: .1מכניזציה ואוטומטיזציה של אופן הבדיקה :הכנת הוראות כתובות ,אימון במתן הוראות ,מכניזציה של רישום ותוצאות. .2הפרדה בין הנסיין והנבדק :הפרדה מבחינת יכולת הנסיין לראות את תגובת הנבדק. .3מכניזציה של הטיפול בחיות מעבדה :מתן מזון ,חיזוק ורישום תגובות באמצעות מיכון ולא באמצעות נסיין אנושי. .4פרוצדורת :Double Blindכשישנם תנאי ניסוי שונים ,הנסיין (כמו הנבדק) לא יודע לאיזו קבוצה כל נבדק משתייך .פרוצדורה זו סטנדרטית בכל ניסוי רפואי כיום ,ומונעת הטיות סיסטמתיות. דוגמא -פרשת הדילול האינסופי :ב 1988-מחקר בפריז הראה תוצאות מדהימות של אפקטיביות תרופות הומאופטיות :לאחר שהחומר האקטיבי בתמיסה דולל עד אינסוף (עד רמה של פחות ממולקולה בודדת) היא עדיין הייתה אפקטיבית .טענתם הייתה שהתמיסה "זוכרת" את החומר הפעיל ,כפי שטוענת התיאוריה ההומיאופטית .תנאי לפרסום המחקר היה שהעיתון יקים וועדת חקירה לבדיקת המחקר ,בראשות עורך העיתון ,שני מדענים בכירים והקוסם המפורסם ג'יימס רנדי .לא נמצאה עדות לשום הונאה (הניסוי נשען על ספירות מדויקות ,הערכת טעות דגימה וכו') .עם זאת ,בכל פעם שהקוסם רנדי סידר את המבחנות בפרוצדורת דבל-בליינד האפקט נעלם .בין השאר נמצא כי החוקרת הראשית קשורה בחוזי מחקר עם חברת תרופות הומיאופתיות. ( When prophecy failsכשהנבואה לא מתגשמת) /ליאון פסטינגר: הגורו קיצ' סיפרה למאמיניה שקיבלה מסר מכוכב קלריון לפיו בחצות ב 2בדצמבר יתרחש מבול שיוביל לקץ העולם .אנשים עזבו את ביתם, מכרו את רכושם ,נפרדו מבני זוג שסירבו להצטרף וכו' .קב' המחקר של פסטינגר הסתננה לקבוצת המאמינים שתיעדו מה התרחש לאחר חצות, כשהמבול לא התרחש ...בתחילה העלו השערות שהשעות בקלריון שונות ,ולקראת לפנות בוקר קיצ' הודיעה שקיבלה מסר כי בזכות מאמיניה החליטו להסיר את הגזירה .בסופו של אותו ערב ,המאמינים נעשו אדוקים עוד יותר. על כך ביסס פסטינגר את המושג דיסוננס קוגניטיבי: אמונה עמוקה מאד בתיאוריה. נקיטת צעדים משמעותיים הנגזרים מהתיאוריה (המאמינים וויתרו על רכושם ומשפחתם). כעומק הצעד ,כך תגבר עוצמת הדיסוננס שיתרחש. סביבה חברתית תומכת. דיסוננס קוגניטיבי עמיד בפני הוכחות מפריכות .המדען מזוהה עם התיאוריה שלו ויתקשה לקבל את הפרכתה ,ולכן הדיסוננס הקוגניטיבי לגביה יגבר .זה דומה למה שראינו בסרט על אוטיזם >-אנשי מדע שהעמיקו את אמונתם אחרי הכישלון. מהספר סכנת ההטיה של תוצאות המחקר בידי החוקר מאיימת על 2משלבי המחקר )1( :בעת איסוף הנתונים למחקר -החוקר עלול להטות ישירות את תגובות הנחקרים )2( .בעת רישום הנתונים וסיכומם -החוקר משפיע על ייצוגן של תגובות הנבדקים במחקר. החוקר כצופה וכמפרש: החוקר כצופה :הטעויות ברישום ותיאור התופעות לעתים קרובות אינן מקריות ומושפעות מהשערות החוקר על הנתונים .נהוג להבחין בין# : טעות :התצפיות מתפלגות באקראי סביב הערך האמיתי # .הטיה :התצפיות גבוהות/נמוכות בעקביות מהערך האמיתי ,או שהן נמצאות במתאם עם מאפייני הצופה ,המצב או שניהם. שיטות לגילוי טעויות והטיות :רפליקציה (חזרה) -רישום התוצאות ע"י כמה צופים; שימוש בעזרים מכניים (רשמקול ,וידאו וכו'). החוקר כמפרש :עלול לשגות במתן המשמעות לתופעות בהן צפה .פירוש התופעות הוא משימה מורכבת וסובייקטיבית יותר מתיאורן ,ולכן קורה שחוקרים שונים מפרשים אחרת את אותן התצפיות .גם בפירוש התופעות יש טעויות והטיות # :בהטית פירוש -ניתן לחזות את כיוון הטעות של החוקר; #בטעות פירוש -כיוון הטעות לא ניתן לחיזוי. פירוש מוטה חמור פחות מתצפית מוטה משום שהפירוש הוא "ידוע בציבור" ואילו התצפית היא נסתרת. החוקר כאדם: תכונות ביולוגיות וחברתיות: מין ,גיל ,גזע החוקר וכו' עשויים להשפיע על תוצאות המחקר .נמצא למשל( :א) נסיינים חברותיים יותר כלפי הנבדקים מנסייניות( .ב) איסוף הנתונים מצריך זמן רב יותר כאשר החוקר והנבדק הם בני מינים מנוגדים( .ג) השפעת הגזע -שחורים רואיינו ע"י לבנים ושחורים לגבי אפליה גזעית .כשהחוקר היה לבן ,רק 11%טענו שיש אפליה .כשהחוקר היה שחור 35% -טענו לאפליה. תכונות פסיכולוגיות: חוקרים הנבדלים בתכונות אישיות וחברתיות כמו חרדה ,צורך באישור וסמכותיות ,נוטים לקבל מנבדקיהם תגובות שונות .המסקנה הכללית: כשחוזרים על מחקר באמצעות איסוף נתונים דומים בידי חוקר אחר ,סיכויי ההצלחה של החזרה תלויים במידת הדמיון שבין שני החוקרים בתכונות הפסיכולוגיות והחברתיות. השפעות המצב: התנהגות החוקר במחקר תלויה גם בגורמי מצב .רוזנטל מנה את גורמי המצב הבאים: א .היכרות קודמת בין החוקר לנחקר :כשמוטלת על הנבדק משימה קשה ההיכרות משפרת את הביצוע; כשהמשימה פשוטה -ההיכרות עלולה לגרוע מהביצוע. ב .ניסיון קודם של החוקר :למשל ,לאחר ניסיון ממושך החוקר רגוע אך גם משועמם יותר. ג .התנהגות הנבדק :התנהגות הנבדק והחוקר משפיעות הדדית זו על זו .נבדק←חוקר←נבדק .ההשפעה החוזרת על הנבדק יכולה להיות ישירה -כאשר הנבדק מודע לתגובה שביצע ,ומודעות זו משפיעה על תגובותיו הבאות ,או עקיפה -כאשר תגובת הנבדק משפיעה על החוקר ,והתנהגות החוקר שהשתנתה משפיעה על הנבדק. ד .אפיוני סביבת המחקר :עלולה להשפיע על הנבדק בשתי דרכים :שינוי ישיר של תגובת הנבדק עקב הסביבה השונה; שינוי עקיף של תגובות הנבדק בהשפעת ההתנהגות המשתנה של החוקר בסביבה השונה. ה .החוקר הבכיר :מחקרים רבים נערכים בקבוצות בהן חוקרים זוטרים אוספים נתונים עבור חוקר בכיר .תגובת הנבדק לאוסף הנתונים תלויה בתכונות החוקר הבכיר ובפעולת הגומלין שבינו לבין החוקר הזוטר. שינויים בהתנהגות עלולים להשפיע על תוצאות המחקר: בסקרים -תכונות החוקר עלולות להשפיע על התוצאות ,משום שהם מתמקדים בפרמטרים באוכלוסיה ומסתמכים על מדגם ועל סטנדרטיזציה של המבחנים. בניסוי -השפעת תכונות החוקר פחותה ,משום שהמסקנות מבוססות על השוואת ממוצעים .תכונות החוקר ומצב הניסוי משפיעים על הממוצעים- אך לא בהכרח על ההבדלים בין הממוצעים .אם אותו נסיין מעביר ניסוי ל 2-קבוצות ,השפעתו עליהן תהיה דומה ,ולכן ההבדל בין הממוצעים יושפע רק מהמשתנה הב"ת. ציפיות החוקר: נבואה שמגשימה את עצמה במחקר :הטיה שמקורה בציפיות חמורה מכמה סיבות- אי-אפשר לצפות בהשפעת ציפיות החוקר על תגובות הנבדקים. החוקר עצמו אינו יודע בד"כ אם השפעות סמויות שכאלו פעלו על נבדקיו. תכונות אחרות של החוקר (ביולוג יות/פסיכולוגיות) משפיעות באופן דומה על כל הקבוצות ,ולכן לא משנות את הפרש הממוצעים ,אך ציפיות החוקר תלויות בהשערות לגבי הבדלים בין הקבוצות ,ולכן ישפיעו אחרת על נבדקי הקבוצות השונות. נמצא שלפחות חלק מהמנגנונים להעברת הציפיות הינם לא-מילוליים ,כגון טון הדיבור והטיית הראש. הטיות נבדק: כבר בניסויים שנערכו בשנות העשרים בנוגע להשפעת תנאי עבודה על כושר ייצור של עובדים נמצא כי עובדים שהשתתפו במחקר ייצרו יותר בממוצע מאשר אלה שלא השתתפו בו ,ללא קשר לתנאי העבודה .כלומר ,עצם קבלת תפקיד הנבדק שפרה את הביצוע. -)1962( ORNEתפקיד הנבדק: הנחת היסוד היא כי נבדק שמשתתף בניסוי לוקח על עצמו תפקיד של "נבדק טוב" .כלומר ,הוא מבקש "להצליח" בניסוי .הוא מנסה לעמוד על השערות הניסוי ולאושש אותן .הנבדק אינו פאסיבי ,אלא משתתף אקטיבי ושותף סמוי לנסיין .הוא מנסה לנחש את מטרת הניסוי כדי להצליח, במודע או שלא במודע. הנבדק הממושמע: .i המניע העיקרי שמייחסים לנבדקים בפסיכולוגיה הוא המניע לציית לדרישות הנסיין ולציפיותיו .אנשים מוכנים לבלות שעות במשימות חסרות תכלית בניסוי .לכן ,כל הגירויים הרומזים לנבדק על השערות המחקר משפיעים על התנהגותו. הגירויים הללו מכונים מאפייני דרישות הניסוי -Demand Characteristicsלכל ניסוי אפיונים שמאפשרים לנבדק לעמוד על מטרותיו. אפיוני הניסוי מעצבים את התנהגות הנבדק והופכים אותו למשתתף פעיל באישוש התיאוריה .ציפיות הנבדק בנוגע למאפייני הניסוי וביצועיו בו משפיעים על ביצועיו האמיתיים ומטים אותם .מערך הניסוי למשל עשוי לרמוז לנבדקים גם כן -אם מעבירים את אותו שאלון פעמיים ,חלק מהנבדקים ישערו שמצפים שיחול שינוי בתגובותיהם ,וחלק אחר ישערו שהמחקר בודק את עקיבותם לאורך זמן. הנבדק קולט את מאפייני הניסוי גם ללא מודעות אליהם ,למשל – כשהיחס תגובות כן/לא בניסוי אינו ,50%זמני התגובה לנכון/לא נכון ישתנו כפונקציה של היחס בניסוי ,מבלי שהנבדק בהכרח יוכל לדווח על כך .כלומר ,הניסוי מאופיין בהתפלגות סמויה של שכיחות תנאי הניסוי. קשה לבטל את מאפייני מצב הניסוי .אך ניתן לחקור מתי יש לדרישות המצב משקל המעמיד בספק את תוצאות המחקר .אפשר גם לפקח על חלק מהגורמים ,אך פיקוח כזה אפשרי רק לגבי גורמים שהנסיין מכיר בהם מראש. הנבדק המשתדל להרשים: .ii החשש מההערכה :הנבדק מתייחס לניסוי כאל מבחן בו החוקר מעריך את תכונותיו ,מצבו הנפשי ,הסתגלותו ,האינטליגנציה שלו ועמדותיו .לכן הוא שואף לזכות בהערכת החוקר ע"י תשובות שנראות לו נכונות ,ו יחפש רמזים בהוראות ובתגובות החוקר .מניע זה עלול לגרום להטיה שיטתית. ניסוי (רוזנברג) :החשש מהערכה הופחת בקבוצה אחת ,ובקבוצה השנייה הוגבר כשנאמר להם שתגובותיהם ילמדו על בריאות נפשם .משתנה ב"ת נוסף ,בעל 3ערכים ,רמז לנבדקים מהי ההתנהגות המקובלת במצב הניסוי (מה אחרים נוהגים לעשות במצבם). תוצאות :בשתי הקבוצות המידע על תגובת הרוב המקובלת השפיע על התנהגותם ,אך מידע זה השפיע יותר על קב' החשש הגבוה .מסקנה: החשש מהערכה הוא ארטיפקט. בנוסף ,שני המניעים (ממושמע ומשתדל להרשים) עשויים להשתלב: בניסוי עוררו בחלק מהנבדקים שני מניעים מנוגדים :הם נתבקשו להעתיק מספרי טלפון .בהפסקה שעשו באמצע ,חילקו אותם ל 4-קבוצות ,ולכל קב' נמסר משוב שונה לגבי קצב ההעתקה -1 :ביקורת (ללא משוב); -2משוב שלילי (איטיים); -3משוב חיובי (מהירים); -4משוב חיובי + כפייתי (מהירים וזה מעיד על כפייתיות). תוצאות :קב' 2הגבירה את הקצב .בכך התבטאו 2המניעים -הם התאימו את עצמם לציפיות הנסיין (הנבדק הממושמע) ,והעלו את דימויים (הרצון להרשים) .קב' 4האטה את הקצב .בכך התבטאו 2המניעים -הם התאימו עצמם לציפיות ,ונמנעו מדימוי של כפייתיות .בקב' 3המניעים סתרו -ציפיות הנסיין (להאט) היו מנוגדות לצורך הנבדק להרשים (למהר) .במקרה זה גבר הצורך להרשים ,והנבדקים הגבירו את קצבם. הנבדק הממושמע מעוניין לתרום למדע ולעשות מה שלדעתו נדרש ממנו .הנבדק המרשים רוצה לזכות בהערכת החוקר ולהעלות את דימויו העצמי .המניעים הסותרים הללו עלולים להשפיע על המחקר. הנבדק המתנדב: .iii יש הבדלים משמעותיים בין נבדקים מתנדבים לכאלה שאינם מתנדבים .זה עלול לפגוע בתוקף החיצוני -יכולת הכללת תוצאות המחקר שנעשה במתנדבים לכלל האוכלוסייה; ובתוקפו הפנימי -ההסבר הסיבתי שניתן לתוצאות ניסוי שנערך במתנדבים בלבד. תוקף חיצוני: אפיוני מתנדבים לפי שלוש קבוצות- .1קביעות בעלות בסיס אמפירי מוצק :המתנדבים סיימו יותר שנות לימוד; הם בעלי מעמד מקצועי גבוה יותר; הם מקבלים ציונים גבוהים במבחני אינטליגנציה; הם פחות סמכותיים. .2קביעות בעלות ביסוס אמפירי חלקי :המתנדבים חברותיים יותר; יוצאי דופן יחסית ללא-מתנדבים; צעירים יותר. .3קביעות שאינן מבוססות דיין :גברים מתנדבים הם פחות קונפורמיים; יש יותר יהודים מתנדבים; יש יותר כפריים מתנדבים במשימות רגילות ויותר עירוניים במשימות שאינן רגילות. שימוש במתנדבים עלול לפגוע בתוקף החיצוני בעיקר בסקרים ,שנועדו לאמוד פרמטרים (ממוצע ,שונות וכו') .היכולת להכליל מהאומדן במדגם לפרמטר באוכלוסיה מוטלת בספק. תוקף פנימי: האם תכונה מסוימת של המתנדבים היא המסבירה את הקשר שנמצא בין שני המשתנים ,ולא המשתנה הב"ת .הסבר חלופי זה מתחזק כשנמצא קשר בין המשתנה הב"ת לתלוי בניסוי מתנדבים ,אך קשר זה נעלם כשהניסוי נערך על לא-מתנדבים. דוגמאות: .1ישנם ממצאים סותרים לגבי הקשר בין שינוי עמדה לבין מידת האיום במסר שנועד לשנותה ("אם לא תשנה את עמדתך ,יישרפו ילדיך בלבה רותחת!") .במרבית הניסויים שגילו יחס ישר בין מידת החרדה לשינוי העמדה היו נבדקים מתנדבים .בניסויים שמצאו יחס הפוך בין שני המשתנים הללו – היו נבדקים שאינם מתנדבים. -”Zeigarnik effect" .2נבדקים התבקשו לבצע משימות בדרגות קושי שונות ולזכור אותן .נמצא שמתנדבים זוכרים יותר את המשימות בהן נכשלו ,ולא-מתנדבים זוכרים יותר את המשימות בהן הצליחו. דרכים להתגבר על הטיות הנבדק: חוקר טוב מנסה לברר את השאלות הבאות עוד בשלב תכנון המחקר( :א) אילו ממניעי הנבדק שמנינו רלוונטיים במחקר המתוכנן? (ב) איזו התנהגות יכול הנבדק לאמץ כדי לספק מניעים אלו וכיצד היא עלולה להטות את תוצאות המחקר? (ג) מה אפשר לעשות במערך המחקר, במשתנים הנבדקים ובהוראות הניתנות לנבדקים כדי למנוע התנהגות כזו? דרכי התמודדות: .1הצגת השערה כוזבת לנבדק: מציגים לנבדקים השערה כוזבת באשר למטרת הניסוי .גם אם הנבדק ינסה להתנהג בהתאם להשערה שהוצגה ,לא תהיה לכך השפעה על הניסוי. כדי לבחון אילו השערות היו לנבדק במהלך הניסוי ,אפשר לשאול זאת בתום המחקר .בעייתיות – אתיקה :השגת מידע מהנבדק שהוא לא התכוון למסור ,פגיעה באמון הנבדק בחוקר. .2הרחקת המשתנה התלוי ממערך הניסוי: משכנעים את הנבדקים שהם משתתפים ב 2-ניסויים בלתי תלויים ,כאשר למעשה בניסוי אחד בו נמדד המשתנה הב"ת ,ובשני -התלוי .כך נמדד המשתנה התלוי ללא קשר לניסוי בו נעשתה המניפולציה .יתרונות: א .הקטנת הסיכוי שהנבדקים יקשרו בין שני המשתנים ,וכך הקטנת הסיכוי שהשערותיהם ישפיעו על תגובותיהם. ב .הקטנת השפעת רצון הנבדק להרשים את הנסיין ,משום שהתגובות למשתנה התלוי ניתנות לחוקר אחר שלא נתפס כמעורב. .3גיוס הנבדק כעוזר: משכנעים את הנבדק שאין הוא נבדק אלא נבחר כעוזר לנסיין .דוגמא :ניסוי בו הנבדקת בטוחה שהיא עוזרת לחוקר .כחלק מהניסוי" ,נבדקת" שהיא משת" פית נותנת לה פידבקים .נמצא שהנחקרות (שחשבו שהן עוזרות) חיבבו יותר את המשת"פית שפתחה בהערכות שליליות וסיימה בחיוביות מאשר את המשת"פית שהתמידה בהערכות חיוביות. .4ניסוי מוסווה: מניעת הידיעה של הנבדק כי הוא שותף למחקר .קל יותר להסוות ניסוי בתנאי שדה ,אך אין בכך הבטחה שההסוואה תצליח .במחקר שיערו שתפוקה תלויה בתנאי סביבה .המחקר נעשה במפעל ,אך הפועלים הגבירו את התפוקה ללא קשר לתנאי הסביבה .הסיבה -הם ידעו כי הם נבדקים במחקר ,ותחושת ה"נבחרות" העלתה את רגשות האחווה ביניהם ,וגרמה להם להגביר את תפוקתם. .5השערות שאינן מובנות מאליהן: כך הנבדק יתקשה לזהותן ולא יתנהג לפיהן .כדי לבחון אם השערתו עומדת בדרישה זו ,על החוקר לשתף קבוצת ביקורת שבה יתבקשו הנבדקים לנחש מהי השערת החוקר ומהו כיוון התוצאות הצפוי .הבעייתיות :השערות שאינן אינטואטיביות לא נתפסות בהכרח כבעלות ערך רב יותר מהשערות הנתפסות כמובנות מאליהן; אנשים נבדלים במידה בה השערה מסוימת נתפסת בעיניהם כמובנת מאליה. .6פנייה למצפון הנבדק: לאמץ גישה כנה ולפנות אל מצפונו של הנבדק .פשוט לשכנע נבדקים שהדרך הטובה ביותר לשתף פעולה היא לתת תגובות כנות לחלוטין. הצלחת שיטה זו תלויה באיכות המשתנים המעורבים במחקר ,וגם באופי החוקר ויכולתו להעביר את המסר באופן משכנע. .7שימוש במדדים לא-תגובתיים: שיטות חקירה שבכולן המדדים אינם "מזוהמים" בגלל מודעות החוקר או הנחקר ,מאחר שבמחקר המבוסס על מדדים כאלו אין שום קשר חברתי בין החוקר לנחקר .השיטות מתגברות על הטיות חוקר ונחקר יחד. .8איזון מוחלט של תנאי הניסוי :של הסתברות להופעת תנאי הניסוי השונים על מנת של ייקלטו על ידי הנבדק וייעצבו את תגובותיו (הנבדק קולט את אפיוני הניסוי גם ללא מודעות אליהם לעיתים כאשר הם מופיעים בשכיחות שונה). דברים שיש בספר ולא מופיעים בסיכום* :אני מצאתי שהם פחות חשובים בשביל הסיכום... שיטות לא תגובתיות דגימה איסוף נתונים מדידה תכנון ניסוי והרצתו נספח 3