עושר העמים במבחן

בפוסט הקודם הזכרתי את תזת עושר העמים של ריצ'ארד לין. לפיה עושרן של אומות נקבע על ידי ציון האייקיו של בניהן. לין הותקף על כך שהנתונים שלו לא מדוייקים ומניפולטיביים. אבל כיום יש לנו נתונים מדויקים מאוד על הישגים לימודיים של אומות – מבחני פיז"ה הבינלאומיים. אמנם מבחני אייקיו מתיימרים למדוד משהו גולמי וראשוני יותר מאשר מבחנים לתלמידי בית ספר כמו מבחני פיז"ה, אבל האמת היא שכל המבחנים מהסוג הזה נותנים תוצאות מאוד דומות כשמעבירים אותם לאוכלוסיות גדולות, ואין זה משנה כל כך עם איזה מבחן בדיוק מתעסקים.

הלכתי לבדוק את המתאמים בין תוצר מקומי גולמי של מדינה לבין ציוניה בפיז"ה. סילקתי מהנתונים מדינות שבעליל חיות על נפט ולא על שכל: קטאר, איחוד האמירויות וטרינידד.

בראשי היו השאלות הבאות:

1. מתמטיקה או קריאה – מה מנבא טוב יותר את התמ"ג?
2. האם אכן יש משהו שונה באסייתים, ואצלם ההצלחה הלימודית אינה מנבאת את התמ"ג באותה צורה שבה היא מנבאת אותו אצל אירופים? כנראה בשל קושי מסוים לעשות שימוש יצירתי ביכולות לימודיות.
3. התמ"ג הנומינלי או זה המותאם ליוקר המחיה – מה משקף יותר את ההישגים הלימודיים?
4. האם התמ"ג מנובא טוב יותר על ידי הממוצע של ההישגים במדינה או על ידי רמת ההישגים של העשירון העליון של התלמידים? חשבתי לעצמי שהתלמידים המוצלחים ביותר בוודאי חשובים יותר לתמ"ג.
5. וכמובן השורה התחתונה והעיקרית: האם אכן התזה של לין תוכיח עצמה ויתקבל מתאם גבוה מאוד בין הישגים לימודיים לתמ"ג? לין נקב במתאם 0.8.

ולהלן התשובות שהניבו החישובים הסטטיסטיים:

1. מתמטיקה או קריאה – מה מנבא טוב יותר את התמ"ג? מתמטיקה. מבאס בשבילנו כי תלמידי ישראל טובים יותר בקריאה. צריך להגיד שההבדל הוא די קטן, ותזת עושר האומות יכולה לעמוד גם אם מסתמכים על מבחני קריאה בלבד. העובדה שקריאה ומתמטיקה כישורים שונים מאוד ובכל אופן המתאם שכל אחד מהם נותן הוא קרוב מלמדת גם על כך שמבחנים של יכולות שכליות מניבים תוצאות דומות. דבר זה תואם לתיאוריית הג'י בפסיכולוגיה, שלפיה יש במוח רכיב מרכזי אחד שמשפיע על הצלחה במבחנים כאלו.
2. אין צורך להידרש לטענה שמפרידה בין אסייתים לשאר העולם. הוצאת המדינות המזרח אסייתיות מהנתונים משפרת את המתאם בצורה זניחה מאוד.
3. באופן לא מפתיע, התמ"ג שמותאם ליוקר המחיה הוא זה שקשור יותר להצטיינות בלימודים. כנראה כי הוא זה שמעיד באופן אמיתי יותר על מצב הכלכלה. גם זו בשורה מבאסת בשביל הישראלים שהתמ"ג הנומינלי שלהם מעל בריטניה וצרפת, אך התמ"ג המותאם ליוקר המחיה נמוך בהרבה.
4. כאן הופתעתי. נראה שהקשר החזק ביותר הוא בין ממוצע האוכלוסיה לבין התמ"ג. לא צריך להסתכל דווקא על המצטיינים. האם יש טעם להסתכל דווקא על הנמוכים ביותר? הקורלציה בין הישגיהם לתמ"ג גם היא גבוהה, אבל עדיין הממוצע הלאומי הוא הנבאי הטוב ביותר. עוד מכה שאנחנו חוטפים. בקרב תלמידי ישראל התלמידים המצטיינים הם עוד במצב טוב, אבל הממוצע על הפנים. דרך אגב, הממוצע הישראלי הוא עוד פחות טוב משמוצג בנתונים. משרד החינוך פשוט מוליך שולל בלי בושה כשמשקלל ציוני הבנים החרדים לפי ההנחה המופרכת והשקרית שאם הבנים החרדים היו נבחנים, היו ציוניהם דומים לציוני החינוך הממלכתי דתי. בפועל כמובן הם היו צפויים להיות נמוכים בהרבה.
5. המתאם שמתקבל אצלי בין ציוני מתמטיקה לבין תמ"ג לאומי (מותאם ליוקר המחיה) הוא באזור 0.73. זהו מתאם גבוה מאוד ומכובד, גם אם נמוך מזה שלין עצמו ציין. ממוצע מתמטיקה וקריאה נותן מתאם 0.71. תיאוריית עושר האומות שלו עמדה במבחן אמפירי ויצאה ממנו יפה.  הערה במחשבה מאוחרת: בגלל בעיית קיצוץ תחום, השמטת המדינות הנחשלות שבכלל לא משתתפות בפיז"ה, נראה לי שנדרשת התאמה לשם השוואת הנתונים לאלו של לין,  והמתאם אחרי התאמה צפוי להיות קרוב ממש לזה המקורי של לין.

יהיו שיאמרו שיש מתאם, אבל אין קשר סיבתי. זה לא שמדינות עשירות כי התלמידים חכמים. חוכמת התלמידים נובעת מכך שמדינותיהם עשירות. למי שטוען טענה זו הייתי מציע להסתכל על שתי מדינות שהוצאתי מלכתחילה מהנתונים, קטאר ואיחוד האמירויות. כולם יודעים למה הן עשירות – בגלל הנפט, לא בגלל הראש. האם עושרן הפך את תלמידיהן למוצלחים? ובכן תושבי מולדובה הענייה המרודה, המדינה האירופית הנחשלת ביותר, מוצלחים באותה מידה או אף יותר. אם מסתכלים רק על התושבים הערבים המקוריים במדינות אלו ולא על העובדים הזרים שהביאו ושממלאים את כיתותיהם, היתרון של מולדובה גדול ממש.