זהירות: סקרים

שוב התברר שאין להסתמך על סקרים ו"מומחים" שחוזים תוצאות בחירות. אז מדוע אנחנו מאמינים להם כשזה נוגע לעיצוב מדיניות?

הסקר האמיתי היחיד. מצביעים בבחירות. צילום: אמיר לוי /פלאש90

אחת התופעות המרתקות שהתרחשו מסביב לבחירות הנוכחיות בארה"ב, היא ההצפה בניתוחי סקרים חכמים, המתבססים על אגרגציה חכמה של כל הסקרים שנעשו ברחבי ארה"ב, יחד עם פרמטרים נוספים לעתים. ניתוחים ומודלים אלו התיימרו לנבא את סיכויי הזכייה בבחירות של המועמדים, וסיפקו לכאורה מודל "מדעי" המספק תחזית לתוצאות.

אך לא היה צורך להגיע לרגע האמת כדי להבין עד כמה המחשבה הזו יומרנית. כל מודל "חכם" שכזה הציג תוצאות אחרות שונות ומשונות, והמבוכה רבתה.

המודל שהעניק את הסיכויים הגבוהים ביותר לזכייה של טראמפ הוא המודל של האתר "FiveThirtyEight", כאשר בימים האחרונים הוא העניק סיכויי זכייה בגובה של כ-35%. עורכו של אתר "FiveThirtyEight"  הוא נייט סילבר, שנחשב ל"כהן הגדול" של הסטטיסטיקה בארה"ב, אחד החוזים של זכיית אובמה ב2012.

לעומת זאת, מודלים רבים נוספים ומוערכים, העניקו לטראמפ סיכויי זכייה נמוכים בהרבה. המודל של THE UPSHOT, אתר הניוז-דאטא המוערך של הניו יורק טיימס, העניק לטראמפ רק 16% סיכויי זכייה. המודל של ה"האפינגטון פוסט" העניק לטראמפ, לעומת זאת, רק 1.6% סיכויי זכיה, או בפועל, אפס. שלושת המודלים האלו הם אולי הכי מפורסמים בארה"ב, אך הם נוספים על עשרות ניבויים אחרים, תחזיות המבוססות על שווקי ההימורים של הבחירות, תחזיות המבוססות על פרמטרים דמוגרפיים, פוליטיים וכלכליים, ניתוחים פנימיים של המפלגות, וגם ממוצע הסקרים הפשוט של RealClearPolitics, אותו פרסמנו ב"מידה" לאורך המירוץ.

בקיצור, הבלגן חגג. כשהדמוקרטים הסתכלו על המודל של נייט סילבר בFiveThirtyEight, הם נכנסו ללחץ והתחילו להזיע; כשהם הסתכלו על התחזית של ההאפינגטון פוסט, הם כבר תכננו את החגיגות של "היום שאחרי". הקמפיינים עצמם, כאמור, לא התבססו רק על הסקרים הפומביים, וביצעו ניתוחים משל עצמם – אך בכל מקרה, אין שום ספק שההשפעה החיובית של תחזית נייט סילבר על מורל הרפובליקנים, האנדרדוג של המירוץ הזה, היתה עצומה; ומצד שני, התחזית שלו אף הכניסה את הקמפיין של הדמוקרטים ללחץ, והם מבחינתם לא קפאו על השמרים, וניסו לתזז בכל המדינות אותן דונאלד טראמפ היה עשוי לכבוש.

ההבדלים הענקיים בין התחזיות הציתו מלחמות בין המומחים שפרסמו אותם, והעניקו צוהר מעניין לפרמטרים והשיקולים העומדים מאחורי תחזיות סטטיסטיות. ראיין גרים, אחד מבכירי ה'האפינגטון פוסט', השתלח בנייט סילבר ואמר שהמודל שלו הוא הבלים, בטענה שהוא מעוות את הסקרים על בסיס פרמטרים לא ממשיים שסילבר "שלף מהמותן". גרים טען, כי המודל של ה'האפינגטון פוסט' נאמן יותר למידע הגולמי של הסקרים, מנסה לנטרל רעשי רקע (למשל, סקרים חריגים שבבירור אינם חלק ממגמה), ועל כן הוא חכם יותר מאשר חישוב ממוצע "טיפש" ופשוט, אך יחד עם זאת הוא נמנע מהכנסת פרמטרים מעורפלים אל החיזוי, כפי שהמודל של נייט סילבר עושה.

סילבר לא נותר פראייר, ויצא במתקפה חזיתית וחריפה על גרים. קודם כל, הוא קרא למאמר של גרים "אדיוטי ולא אחראי" ויצא בסערה של 14 ציוצים נגדו. סילבר אמר שהמודל שלו מבוסס על עובדות אמפיריות, והמודל שלו גם מצליח לנתח טוב יותר את המגמות ברמת המדינה, לנטרל שגיאות, ואף ללמוד משגיאות הסקרים בעבר על מנת לשפר את החיזוי בהווה.

אישית, הטיעונים של סילבר נשמעו לנו יותר משכנעים, למרות שגם הוא טעה בתחילת הדרך בניבוי זכיית טראמפ במועמדות מטעם המפלגה הרפובליקנית. בסופו של דבר סילבר ניצח את מלחמת הסטטיסטיקאים גם בסיבוב הזה, אם כי בנקודות בלבד – גם הוא העניק לטראמפ סיכויי זכייה נמוכים למדי, וביממה שלפני הבחירות הוא אפילו עדכן את התחזית שלו לסיכויי זכייה של מתחת ל30%.

ומה למדנו מכל זה

כשלון הסטטיסטיקאים האמריקניים הוא צוהר לכך שהאזרח המודרני צריך להיות מאוד סקפטי כאשר הוא שומע שה"מידע מוכיח כך", וה"תחזית מראה שזה מה שהולך לקרות", וה"גרף מעיד על עלייה".

הספקנות והביקורתיות נדרשת באופן כללי, והיא נדרשת עוד יותר כאשר עוסקים בסקרים המתבססים על התנהגות אנושית, או בנושאים הנגועים פוליטית באופן מובהק. המידע הזמין אמנם התרבה, הדיוק שלו השתפר, וכלי הניתוח טובים לאין ערוך מאלו שהיו בעבר; אך כל אלו גם מאפשרים גמישות רבה לאנשי ניתוח המידע, אשר יכולים להציג תחזיות סותרות ומבוססות, כאשר למרות שכולן "נכונות" במובן הזה שהן מתבססות על מידע סביר ועל כלי ניתוח חכמים, ברור שלמרות זאת, בסופו של דבר, לכל היותר רק אחת מהן צודקת. הגיוון הרב בעיבודי המידע הזמינים, גם מאפשר לקדם אג'נדות שונות וסותרות, שהרי "יש גרף".

אם נזקי הסוקרים היו מסתכמים במבוכות בחיזוי בחירות, ניחא. אך הדבר המדאיג הוא שבכל יום ויום נבחרי ציבור, מוסדות כלכליים, וגופים רבים אחרים מקבלים החלטות על בסיס ניתוחי מידע המתווך אליהם על ידי מומחים; פעמים רבות מדובר במידע באיכות נמוכה בהרבה מזה שהיה זמין למומחי הסקרים האמריקניים. כשלון המומחים בניבוי תוצאות הבחירות צריך להדליק נורות אדומים אצל כולנו, בכל פעם שאנחנו נתקלים בטענות המתבססות על ניתוחי מידע. אנחנו כאזרחים, חייבים להיות הרבה יותר סקפטיים.

עם זאת, הצד השלילי של הספקנות הזו הוא שגם אם יוצג ניתוח מידע אמין ומבוסס, שכדאי לפעול לפיו, ישנו סיכון שידחו אותו בגלל שאנשים יחשבו ש"המומחים אף פעם לא צודקים גם ככה". העובדה הפשוטה היא שלעתים המומחים מספקים מידע שנכון רק בהסתברות מסוימת, והוא מאפשר לקבל את ההחלטה הטובה ביותר האפשרית על בסיסו, גם אם לא בטוח שהיא תוביל לתוצאות חיוביות בסופו של דבר. ספקנות מוגזמת במחקרים ונתונים היא תופעה מדאיגה מאוד, ובאופן אירוני משהו היא גם מהווה אחד מהגורמים שאפשרו לטראמפ להבטיח תכניות כלכליות פופוליסטיות, למרות מחאות המומחים.

דוגמא נאה לבעיית ההסתמכות על נתונים ומומחים גם בשיח הישראלי, היא ההתעקשות של שר האוצר כחלון לפרסם רק את נתוני הלמ"ס המראים ירידה במחירי הדירות, ולא את נתוני השמאי הממשלתי המעידים דווקא על עלייה. ואולי דווקא השמאי הממשלתי צודק? איך הציבור יכול לדעת?

דוגמאות נוספות הן המשחקים בנתונים על מנת להציג נתוני עוני ואי שוויון המתאימים לאג'נדה; או עדכון בלתי פוסק של נתוני הצמיחה בעקבות שינויים בשיטות החישוב ושאלות אחרות המשפיעות על עיצוב המדיניות.

האם הסוקרים וה"מומחים" יפיקו את הלקחים ויהיו שמרנים ויסודיים יותר? האם התקשורת וקובעי המדיניות ינקטו במשנה זהירות לפני אימוץ ופרסום נתונים המוצגים להם? קשה להאמין. הציבור, על כל פנים, צריך להיות ערני וביקורתי.

מאמרים נוספים

כתיבת תגובה

האימייל לא יוצג באתר.

9 תגובות למאמר

  1. השימוש בנתונים לגיבוי רעיונות חביב גם על אתר "מידה".
    אשמח להתייחסות

  2. זאת כתבה ממש ממש ממש לא רצינית.
    סקר של אנשים אינו סקר מדעי, בטח לא בבחירות ועוד בחירות לעומתיות (אם הוא יבחר ככה – אני אבחר אחרת)
    הסקר נעשה בצורה מדעית אלא שתוצאתו אינה מדעית ורק משום שלהבדיל מנושאי סקר אחרים – התוצאות כאן משתנות בצורה מתמדת. תוצאת הבחירות הן "סנאפשוט" של מה שקורה ברגע הבחירה וזהו.
    הנה כמה גורמים נוספים שיכולים להשפיע:
    1. בחירת המדגם (צריך להגדיר מה זה מדגם מייצג – לפי מוצא? לפי הכנסה?)
    2. אי אמירת אמת
    3. מדיום הסקר. פעם בישראל התקשרו לעריכת סקר. האוכלוסיה שאין להם טלפון הושמטה מהסקר. סקר באינטרנט יכול לעשות את ההטייה הזו
    3. ניסוח שאלות הסקר
    4. קשה לייצג את דעת הבוחר הפוטנציאלי בסקר (למשל קול צף או קול שנוטה לטראמפ)
    5. האם נלקחים בחשבון גם כאלה שלא מתכוונים להצביע?
    6. האלגוריתם (כלומר טיוב הנתונים)
    7. הטייה לכיוון מזמין הדוח (אם הדוח מוזמן על ידי הילרי הוא יהיה מוטה מעט לזכותה)
    8. שימוש בתוצאות סקרים כדי להשפיע על הבוחרים. תוצאות הסקרים עצמם יכולות לגרום לבוחרים לשנות את דעתם ובעצם להפוך את הסקר ללא נכון. ראה מה שקרה בבחירות האחרונות בארץ

    1. סקר של אנשים אינו מדעי ומסוכן להסתמך עליו, נכון מאוד. אבל הרי זה בדיוק מה שנטען בכתבה הממש ממש ממש ממש לא רצינית הזאת.

    2. לא ברור מהתגובה אם אתה חולק על המאמר או מסכים איתו. מצד אחד אתה כותב "כתבה ממש ממש ממש לא רצינית", ומצד שני אתה מסכים שסקרים הם בעייתיים (אותן בעיות שהצגת קיימות בסקרים בכלל, לא רק בסקרים לקראת בחירות).

    3. אותה מסקנה, רק האשמים שונים
      "האם הסוקרים וה"מומחים" יפיקו את הלקחים ויהיו שמרנים ויסודיים יותר" – זאת לא הבעיה. פירטתי רשימה של בעיות להראות שיש הרבה חלקים נעים במכונה הזאת.

    4. האשמים, לפי המאמר, הם אלו שסומכים על הסקרים כדי לקבוע מדיניות. הם צריכים לזכור שהסקרים לא מדויקים.
      מי האשמים לפי התגובה שלך? ציבור הנסקרים שמרמה או משנה את דעתו?

  3. צא ולמד מה המשמעות של הטענה "ישנה תמיכה של 70% בקרב הציבור לפתרון שתי המדינות".

  4. אין שום טעויות בסקרים.

    הסקרים היו בסה"כ עוד אמצעי תעמולה לעודד את תומכי הילארי ולייאש את תומכי טראמפ.

    הסקרים האמיתיים לא פורסמו לציבור – רק הצוות של הילארי ושל אובמה נחשף להם.

    השתמשו במידע חלקי מתוך הסקרים האמיתיים (לדוגמא השמיטו את המידע שתומכי טראמפ הרבה יותר מתלהבים להצביע).

  5. זהו עקרון נכון המגלם את הבעיתיות של המתודולוגיה של "מדעי" החברה, לרבות תחומים פסבדו-מדעיים כגון פסיכולוגיה במיוחד שטויות כמו מדידת אינטיליגנציה, ניבוי הצלחה בלימודים/ עבודה. הקריטיריונים גמישים מדי מסתמכים על הכללות רבות מדי ועל פרדיגמות קלושות מדי.