זהירות: סקרים

אחת התופעות המרתקות שהתרחשו מסביב לבחירות הנוכחיות בארה"ב, היא ההצפה בניתוחי סקרים חכמים, המתבססים על אגרגציה חכמה של כל הסקרים שנעשו ברחבי ארה"ב, יחד עם פרמטרים נוספים לעתים. ניתוחים ומודלים אלו התיימרו לנבא את סיכויי הזכייה בבחירות של המועמדים, וסיפקו לכאורה מודל "מדעי" המספק תחזית לתוצאות.

אך לא היה צורך להגיע לרגע האמת כדי להבין עד כמה המחשבה הזו יומרנית. כל מודל "חכם" שכזה הציג תוצאות אחרות שונות ומשונות, והמבוכה רבתה.

המודל שהעניק את הסיכויים הגבוהים ביותר לזכייה של טראמפ הוא המודל של האתר "FiveThirtyEight", כאשר בימים האחרונים הוא העניק סיכויי זכייה בגובה של כ-35%. עורכו של אתר "FiveThirtyEight"  הוא נייט סילבר, שנחשב ל"כהן הגדול" של הסטטיסטיקה בארה"ב, אחד החוזים של זכיית אובמה ב2012.

לעומת זאת, מודלים רבים נוספים ומוערכים, העניקו לטראמפ סיכויי זכייה נמוכים בהרבה. המודל של THE UPSHOT, אתר הניוז-דאטא המוערך של הניו יורק טיימס, העניק לטראמפ רק 16% סיכויי זכייה. המודל של ה"האפינגטון פוסט" העניק לטראמפ, לעומת זאת, רק 1.6% סיכויי זכיה, או בפועל, אפס. שלושת המודלים האלו הם אולי הכי מפורסמים בארה"ב, אך הם נוספים על עשרות ניבויים אחרים, תחזיות המבוססות על שווקי ההימורים של הבחירות, תחזיות המבוססות על פרמטרים דמוגרפיים, פוליטיים וכלכליים, ניתוחים פנימיים של המפלגות, וגם ממוצע הסקרים הפשוט של RealClearPolitics, אותו פרסמנו ב"מידה" לאורך המירוץ.

בקיצור, הבלגן חגג. כשהדמוקרטים הסתכלו על המודל של נייט סילבר בFiveThirtyEight, הם נכנסו ללחץ והתחילו להזיע; כשהם הסתכלו על התחזית של ההאפינגטון פוסט, הם כבר תכננו את החגיגות של "היום שאחרי". הקמפיינים עצמם, כאמור, לא התבססו רק על הסקרים הפומביים, וביצעו ניתוחים משל עצמם – אך בכל מקרה, אין שום ספק שההשפעה החיובית של תחזית נייט סילבר על מורל הרפובליקנים, האנדרדוג של המירוץ הזה, היתה עצומה; ומצד שני, התחזית שלו אף הכניסה את הקמפיין של הדמוקרטים ללחץ, והם מבחינתם לא קפאו על השמרים, וניסו לתזז בכל המדינות אותן דונאלד טראמפ היה עשוי לכבוש.

ההבדלים הענקיים בין התחזיות הציתו מלחמות בין המומחים שפרסמו אותם, והעניקו צוהר מעניין לפרמטרים והשיקולים העומדים מאחורי תחזיות סטטיסטיות. ראיין גרים, אחד מבכירי ה'האפינגטון פוסט', השתלח בנייט סילבר ואמר שהמודל שלו הוא הבלים, בטענה שהוא מעוות את הסקרים על בסיס פרמטרים לא ממשיים שסילבר "שלף מהמותן". גרים טען, כי המודל של ה'האפינגטון פוסט' נאמן יותר למידע הגולמי של הסקרים, מנסה לנטרל רעשי רקע (למשל, סקרים חריגים שבבירור אינם חלק ממגמה), ועל כן הוא חכם יותר מאשר חישוב ממוצע "טיפש" ופשוט, אך יחד עם זאת הוא נמנע מהכנסת פרמטרים מעורפלים אל החיזוי, כפי שהמודל של נייט סילבר עושה.

סילבר לא נותר פראייר, ויצא במתקפה חזיתית וחריפה על גרים. קודם כל, הוא קרא למאמר של גרים "אדיוטי ולא אחראי" ויצא בסערה של 14 ציוצים נגדו. סילבר אמר שהמודל שלו מבוסס על עובדות אמפיריות, והמודל שלו גם מצליח לנתח טוב יותר את המגמות ברמת המדינה, לנטרל שגיאות, ואף ללמוד משגיאות הסקרים בעבר על מנת לשפר את החיזוי בהווה.

אישית, הטיעונים של סילבר נשמעו לנו יותר משכנעים, למרות שגם הוא טעה בתחילת הדרך בניבוי זכיית טראמפ במועמדות מטעם המפלגה הרפובליקנית. בסופו של דבר סילבר ניצח את מלחמת הסטטיסטיקאים גם בסיבוב הזה, אם כי בנקודות בלבד – גם הוא העניק לטראמפ סיכויי זכייה נמוכים למדי, וביממה שלפני הבחירות הוא אפילו עדכן את התחזית שלו לסיכויי זכייה של מתחת ל30%.

ומה למדנו מכל זה

כשלון הסטטיסטיקאים האמריקניים הוא צוהר לכך שהאזרח המודרני צריך להיות מאוד סקפטי כאשר הוא שומע שה"מידע מוכיח כך", וה"תחזית מראה שזה מה שהולך לקרות", וה"גרף מעיד על עלייה".

הספקנות והביקורתיות נדרשת באופן כללי, והיא נדרשת עוד יותר כאשר עוסקים בסקרים המתבססים על התנהגות אנושית, או בנושאים הנגועים פוליטית באופן מובהק. המידע הזמין אמנם התרבה, הדיוק שלו השתפר, וכלי הניתוח טובים לאין ערוך מאלו שהיו בעבר; אך כל אלו גם מאפשרים גמישות רבה לאנשי ניתוח המידע, אשר יכולים להציג תחזיות סותרות ומבוססות, כאשר למרות שכולן "נכונות" במובן הזה שהן מתבססות על מידע סביר ועל כלי ניתוח חכמים, ברור שלמרות זאת, בסופו של דבר, לכל היותר רק אחת מהן צודקת. הגיוון הרב בעיבודי המידע הזמינים, גם מאפשר לקדם אג'נדות שונות וסותרות, שהרי "יש גרף".

אם נזקי הסוקרים היו מסתכמים במבוכות בחיזוי בחירות, ניחא. אך הדבר המדאיג הוא שבכל יום ויום נבחרי ציבור, מוסדות כלכליים, וגופים רבים אחרים מקבלים החלטות על בסיס ניתוחי מידע המתווך אליהם על ידי מומחים; פעמים רבות מדובר במידע באיכות נמוכה בהרבה מזה שהיה זמין למומחי הסקרים האמריקניים. כשלון המומחים בניבוי תוצאות הבחירות צריך להדליק נורות אדומים אצל כולנו, בכל פעם שאנחנו נתקלים בטענות המתבססות על ניתוחי מידע. אנחנו כאזרחים, חייבים להיות הרבה יותר סקפטיים.

עם זאת, הצד השלילי של הספקנות הזו הוא שגם אם יוצג ניתוח מידע אמין ומבוסס, שכדאי לפעול לפיו, ישנו סיכון שידחו אותו בגלל שאנשים יחשבו ש"המומחים אף פעם לא צודקים גם ככה". העובדה הפשוטה היא שלעתים המומחים מספקים מידע שנכון רק בהסתברות מסוימת, והוא מאפשר לקבל את ההחלטה הטובה ביותר האפשרית על בסיסו, גם אם לא בטוח שהיא תוביל לתוצאות חיוביות בסופו של דבר. ספקנות מוגזמת במחקרים ונתונים היא תופעה מדאיגה מאוד, ובאופן אירוני משהו היא גם מהווה אחד מהגורמים שאפשרו לטראמפ להבטיח תכניות כלכליות פופוליסטיות, למרות מחאות המומחים.

דוגמא נאה לבעיית ההסתמכות על נתונים ומומחים גם בשיח הישראלי, היא ההתעקשות של שר האוצר כחלון לפרסם רק את נתוני הלמ"ס המראים ירידה במחירי הדירות, ולא את נתוני השמאי הממשלתי המעידים דווקא על עלייה. ואולי דווקא השמאי הממשלתי צודק? איך הציבור יכול לדעת?

דוגמאות נוספות הן המשחקים בנתונים על מנת להציג נתוני עוני ואי שוויון המתאימים לאג'נדה; או עדכון בלתי פוסק של נתוני הצמיחה בעקבות שינויים בשיטות החישוב ושאלות אחרות המשפיעות על עיצוב המדיניות.

האם הסוקרים וה"מומחים" יפיקו את הלקחים ויהיו שמרנים ויסודיים יותר? האם התקשורת וקובעי המדיניות ינקטו במשנה זהירות לפני אימוץ ופרסום נתונים המוצגים להם? קשה להאמין. הציבור, על כל פנים, צריך להיות ערני וביקורתי.