פותחת חזית מול מגדל השן- והפעם: מהיכן מגיעים הנתונים שנאספים במחקרים?

בהמשך לפרק הקודם, שהתמקד בהחלטת מכוני המחקר האקדמיים אילו נושאים לחקור, הפעם נתמקד בכמה בורות בדרך לאיסוף הנתונים במחקרים הללו. חשוב להבין את התהליך, כי הוא מספק עוד רובד של בעיות אפשריות שעולות מהשיטה האקדמית של ניהול ידע.

האקו צ'מבר של מאגרי המידע

ארגונים בין לאומיים עובדים עם מאגרי מידע משל עצמם. הם אוספים מידע בכדי לקבוע מדיניות משל עצמם, ולעזור בקביעת מדיניות של מדינות שונות, בהסתמך על נתונים מהימנים ומעודכנים. אך אם לא יצא לכם לראות סוקרים של UNESCO מתהלכים ברחובות, זה פשוט בגלל שמכוני מחקר בינלאומיים שולחים סוקרים מקומיים לאסוף מידע. כלומר- דו"ח של האו"ם למשל, כולל נתונים שנאספו ממכוני מחקר מקומיים בכל מדינות העולם, שעברו הרמוניזציה.

הרמוניזציה של דאטה, היא המרה של דאטה שנאסף ממקומות שונים ועל ידי אנשים שונים ושיטות שונות לכדי תבנית משותפת. המטרה היא כמובן לאפשר ניתוחים ברורים ופשוטים של מידע שמגיע ממקורות שונים לאותם ארגונים בינלאומיים (OECD, UN, WHO, וכו). מינימום השקעה במקסימום רווח. שום בעיה עם זה, וזה גם הדבר ההגיוני ביותר לעשות כשאתה ארגון בינלאומי. למרבה האירונה, הם לא תמיד מדברים באותן תבניות אחד עם השני (למרות שניתן להם את הקרדיט לכך שהם עובדים על זה).

עם זאת, הנתונים של אותם ארגונים בינלאומיים משמשים פעמים רבות בדוחות של מכוני מחקר מקומיים. נוצר מצב של אקו צ'מבר: מכוני מחקר מקומיים מזרימים נתונים לארגונים בינלאומיים שמזרימים את אותם נתונים בחזרה לאותם מכוני מחקר מקומיים. אותם רעיונות ומסקנות מהדהדים מקיר לקיר, ומועצמים עם כל מחקר נוסף שעושה בהן שימוש. כמו שמי שפירסם אי פעם מאמר אקדמי יודע- זה לא התוכן, אלא כמה מצטטים אותו, שהופך אותו למשמעותי.

 בנוסף, קביעת ערכי ההרמוניזציה של המידע שנקבעים על ידי הארגונים הבינלאומיים מתקבעים על המכנה המשותף של הגדרות המשתנים, מה שיכול לגרום לאיבוד מידע שלא ניתן לתרגום תרבותי בהגדרת המשתנים.

בעיית הדגימה

דיברתי על כך בעבר– נשים בגיל הפוריות כמעט ולא נלקחות כמדגמים במחקרים קליניים של תרופות גנריות. בשני משפטים: השינויים שמלווים את המחזור החודשי יכולים לשבש או לעוות את האופן בו משפיעות תרופות ומכשירים רפואיים על הגוף, ומצריכים התארגנות מראש והקצאת משאבים גבוהה יותר שמסבכת את המחקרים. בנוסף, קיים חשש אתי לפגיעה בפוריות של נשים או בעובריהן.

אבל זאת אפילו לא כל התמונה. מחקרים שנעשים על ידי חוקרים אקדמיים שלומדים באוניברסיטה או מכללה או מה שלא יהיה, נערכים על סטודנטים. כן. זה הכי נוח לחוקרים, סטודנטים פשוט קיימים שם, והרבה פעמים מקבלים גם חיזוקים חיוביים להשתתפות בניסויים במוסד הלימודים שלהם, מה שעלול בעצמו להשפיע על התוצאות. וכאן אנחנו נכנסים למערבולת של הטיית מדגם הנוחות, בשילוב עם הטיה חביבה נוספת: הטיית ייצוג היתר. 

כדי להרחיב על ייצוג יתר, כדאי להסתכל על זה כך: מי הם האנשים שמהווים את אוכלוסיית הסטודנטים? אנשים ממעמדות בינוניים-גבוהים, בדרך כלל אנשים ממשפחות בעלות השכלה אקדמית, וממוצא אתני מאוד מסוים. זה לא מה שהיינו מצפים למצוא במחקר שמנסה להסיק מסקנות סטטיסטיות על בסיס מדגם רנדומלי, מאחר שהחברה האנושית מכילה גם אוכלוסיות אחרות שהנגישות שלהם להשכלה והסיכוי שלהם להיכלל באותם ניסויים הוא קטן. השפעת מסקנות המחקרים האלו עליהם לעומת זאת, אינה קטנה (ככה זה כש-67% מהמחקרים בפסיכולוגיה בארה"ב מתבצעים על סטודנטים).

מצד שני, כדי ליצור מדגם רנדומלי באמת, צריך לאסוף מספר גדול של אנשים לקבוצה מאוד הטרוגנית, שנבחרו באופן רנדומלי אך עדיין מהווים ייצוג טוב לקבוצות שונות באוכלוסייה, ולדאוג שהתמהיל הזה יהיה תואם מבחינת קנה מידה של אותה אוכלוסייה מתוך כלל האוכלוסייה הנחקרת. כן. כאב ראש.

משתנים שלא נלקחים בחשבון

קצת קשה להפנות אצבע מאשימה במקרה הזה, אבל העובדה שאנשים בדורנו אינם "אנשי אשכולות" שיכולים לג'נגל בין קריירה בפיזיקה, פילוסופיה, פוליטיקה, אסטרונומיה, ומיסטיקה- היא בעיה. כל אחד מהחוקרים האקדמיים עשה את מסלולו לתוך נישת התמחות צרה ונהדרת, וכל אחד מאיתנו הוא פתית שלג ייחודי וקסום. אבל החיים שלנו אינם מסודרים יפה בקטגוריות נפרדות.

כשאנחנו באים לערוך מחקר על מה משפיע על החלטות כלכליות של אנשים, לדוגמה, אנחנו צריכים לאגור את כל הידע שלנו בכלכלה, בפסיכולוגיה, באנתרופולוגיה, בסוציולוגיה, בסטטיסטיקה, ובהיסטוריה ולשלב אותו כדי לבנות מערך מחקר שיקח בחשבון את כל המשתנים שיכולים להתערב. אבל הידע שיש לנו לא תמיד מספיק כדי לכסות את כל השטח.  

אי אפשר באמת להגיע למחקר שלוקח בחשבון את *כל* המשתנים. אבל מולטידיסצפלינריות היא משהו שיכול לעודד אותנו לשאוף לכך, או לפחות למיקסום המשתנים שכן יש בידנו לבחון.

מודלים תיאורטיים שמתבססים על מחקרים קודמים בעייתיים

אם קראתם כבר פוסטים באתר הזה, ייתכן ונתקלתם באחד הזה– שמדבר על האופן בו תיאוריה פסיכולוגיה שאינה מבוססת על אף מחקר, התברגה לתוך הפרקטיקה הטיפולית והמשפטית. זה לא מקרה יחיד, וכפי שהזכרתי: זה לא משנה מה אתה כותב ואיך אתה כותב, זה משנה כמה מצטטים אותך. אבל לפעמים אפילו לא צריך לצטט בדיוק את מה שאמרת. 

כשמחקר שבא להסביר לנו למה G5 הוא מאוד מסוכן מתפרסם, הוא יכול בכיף להתבסס על מאמרים קודמים בתחום שמספיק שטענו בהערת שוליים משפט על משהו שיכול להיות קשור לקרינה סולארית אם ממצמצים מספיק חזק ומטים את הראש ימינה. או מאמר שמקשר בין חיסונים לאוטיזם על סמך מחקר שלא עומד בתנאי הסף המדעיים ומצוטט בכל מאמר שיוצא אחריו ומנסה לחזק את הקשר הזה- אנחנו בבעיה.

והאמת היא שזה קורה די הרבה. לא בהכרח בזדון, אבל ברגע שמשפט כלשהוא מופיע במאמר כלשהוא, ואני יכולה לקחת אותו למסמך חדש, ולפרש אותו איך שמתחשק לי, ליצירה של איזו מסקנה שבא לי וכדי לחזק איזו תיאוריה שבניתי, ואז לאסוף ציטוטים נוספים שמחזקים את הטענה הזאת ממאמרים אחרים שאולי אפילו לא מדברים על אותו דבר: אני בעצם מייצרת מאמר חדש, מקור מידע מהימן שניתן לצטט במאמרים עתידיים בנושא.

וככה השיטה האקדמית עובדת

אם מספיק אנשים ציטטו מאמר מסוים- סביר להניח שלפחות כמה מהם פירשו את המאמר הזה באופן שנוח להם ולעיתים אפילו כדי להגיע למסקנה סותרת לחלוטין מהמאמר המקורי.

וזה לא שאין ביקורת עמיתים (למרות שלא תמיד יש), שהמטרה שלה היא לבדוק בדיוק את זה. אלא שביקורות עמיתים לא בהכרח כל כך יעילות במציאת טעויות שכאלה. כולנו בני אדם, כולם יכולים לפספס דברים, להבליג על דברים, או פשוט לעשות עבודה בינונית בזיהוי פרשנויות שניתן לצפות את הבעיות שיגרמו.

הפתרון שמשתמשים בו היום הוא תיווך של מגזינים אקדמיים שמדורגים על פי קריטריונים של מהימנות ורמה מקצועית. הרעיון הוא לאפשר לחוקרים לסנן את המאמרים שהם מסתמכים עליהם לכאלו שהופיעו במגזין בדרגה A או B, וככה להבטיח את האיכות שלו. אבל א- מעט אנשים באמת יסננו את המאמרים שהם משתמשים בהם רק לכאלו שהופיעו במגזינים נחשבים במיוחד, וב- מי אמר שאפשר לבטוח בשיטה הזאת? אבל עוד על זה בפרק הבא.