טימס 2011: מקרה של יתר-התכוננות

פרסום התוצאות המרשימות של מבחן טימס 2011 לכיתות ח' במתמטיקה ומדעים הוביל לדיון תקשורתי סוער. אלא שמן הדיון הער נשמט בכל זאת פן אחד חשוב: הבנה דקדקנית של הדו"ח ומדיניות משרד החינוך

פרסום תוצאות מבחן טימס 2011 לכיתות ח' במתמטיקה ומדעים הביא את התקשורת ומשרד החינוך לחגוג את הזינוק המטאורי של תלמידי ישראל, בעיקר בתחום המתמטיקה. מסיבת עיתונאים של שר החינוך וראש הממשלה, הודעות לעיתונות, ודיון תקשורתי סוער של מסנגרים ומקטרגים. מן הדיון הער נשמטו בכל זאת כמה עניינים חשובים: עיסוק דקדקני בפרטי הדו"ח, ניתוח סיבות השינוי ונסיון להבין את התוצאות לעומקן.

חוגגים את התוצאות מוקדם מדי; צילום: משה מילנר, לע"מ

לכאורה, החגיגה של משרד החינוך מוצדקת: במבחן טימס 2007 סיימה ישראל במקום ה-24 בלבד במתמטיקה ואילו עתה קפצה למקום ה-7 (מתוך 42), כשבמקביל גם במדעים עלינו מהמקום ה-25 למקום ה-13. השיפור כמובן ניכר גם בציון עצמו: שיפור של 51 נקודות במתמטיקה מ-465 עד ל-516, ושיפור של 48 נקודות במדעים, מ-468 עד ל-516. אלא שאם לפני כחודש הבהרנו מדוע נתוני הישגי ישראל במבחנים הבינלאומיים במהלך השנים אינם כה גרועים כפי שנהוג היה להציג, הרי שעתה עלינו להבהיר מדוע, למרבה הצער, הקפיצה האחרונה אינה באמת מלמדת על שיפור מטאורי בהישגי התלמידים בישראל.

הצלחה מרשימה, מדי

השוואה של הישגי תלמידי ישראל במבחן טימס 2001 עם הישגיהם במבחני הערכה אחרים שנערכו בתקופה האחרונה מספקת הפתעה. רק בשנת 2009 נבחנו תלמידי ישראל בגיל 15 במבחני פיז"ה הבינלאומיים במתמטיקה ובמדעים, והגיעו למקומות נמוכים בהרבה: הן במתמטיקה והן במדעים ישראל סיימה במקום ה-41 מתוך 64, כשהממוצע של התלמידים הישראלים נמצא הרחק מאחורי הישגי מדינות ה-OECD. כמו כן, רק לפני מספר חודשים פורסמו ציוני המיצ"ב שהראו צניחה משמעותית בהישגי תלמידי כיתות ח' במתמטיקה, כשגם בתחום המדעים נרשמה ירידה.

התנודתיות הגדולה הזו מעלה חשד ביחס לאותנטיות הממצאים. גם המבחנים הבינלאומיים מוכיחים זאת: השינוי הממוצע במיקום בין מבחן טימס אחד למשנהו הינו שינוי של 2 מקומות ו-18 נקודות, כשבמבחני פיז"ה נרשם שינוי ממוצע של 2 מקומות ו-15 נקודות. כדי להבין כיצד הנתונים הללו מתיישבים עם התוצאות האחרונות יש להעמיק מעט בנתונים שפורסמו.

טימס
שיפור קצת טוב מדי; מתוך מצגת משרד החינוך

להסביר את השינוי

ראשית, ישנם כמה היבטים טכניים שנעלמו מעיני רבים. בניגוד למבחן פיז"ה שהוא מבחן רשמי של מדינות ה-OECD, מבחן טימס הוא מבחן שרוב מדינות ה-OECD אינן משתתפות בו. לפיכך, במבחן פיז"ה האחרון עברו את ישראל בתחום המתמטיקה מדינות כמו בלגיה, צרפת, ספרד, דנמרק צ'כיה, ועוד רבות אחרות, שכלל לא נבחנות בטימס. למעשה, בתחום המדעים, מתוך 42 המדינות, ישראל עברה מעט מאוד מדינות מערביות סטנדרטיות. כמו כן, גם בתחום המתמטיקה המיקום מעט מטעה: ישראל אמנם מדורגת במקום ה-7, אך הפער בינה ובין רוסיה שבמקום ה-6 עומד על 23 נקודות, פער דומה לזה שבינה ובין קזחסטן שבמקום ה-17.

אך הסיפור האמיתי אינו טמון בהבדלים שבין סוגי המבחנים, אלא בשינוי מדיניות משרד החינוך בנוגע למבחנים הבינלאומיים. בדו"ח הרשמי של מבחן טימס נסקרת האפשרות להשוות בין הישגי כל מדינה ומדינה במבחן האחרון במתמטיקה ובין הישגיה במבחנים הקודמים. קטאר, מרוקו, טורקיה ערב-הסעודית וישראל הן המדינות היחידות שהדו"ח קובע לגביהן שלא ניתן להשוות את הישגיהן במבחן האחרון להישגיהן במבחנים של השנים הקודמות. הדו"ח אינו מסביר מה משותף למדינות הללו, אך הנתונים מעלים שקטאר וערב-הסעודית הן המדינות היחידות שביצעו קפיצה משמעותית יותר מישראל במבחן האחרון, כשגם טורקיה ביצעה קפיצה מרשימה ביותר. נראה שנתון זה גרם למחברי הדו"ח להגיע למסקנה שהבחינות במדינות הללו אינן בנות-השוואה למבחני העבר.

טימס
מתוך מצגת משרד החינוך

שאלה של מדיניות

למעשה, התנודות בציוני המבחנים במבחן טימס בישראל הינן גבוהות במיוחד. ציון התלמידים במתמטיקה עמד על 463 במבחן טימס ב-1999, עלה ל-496 ב-2003 וירד ב-2007 ל-466. פרופ' ענת זוהר מהמחלקה לחינוך באוניברסיטה העברית עסקה בתנודות אלה בספרה ציונים זה לא הכל שיצא בינואר. זוהר הראתה שלאחר ההישגים הנמוכים ב-1999 התקיימה הכנה ממוקדת לקראת מבחני 2003. פותחו חומרי-למידה, הוכנו חוברות עם תרגילים שחולקו חינם לתלמידים, הוקצה כסף רב להשתלמויות מורים, הוקצו שעות לימוד מיוחדות להכנה, נבנה מערך הטמעה לחומרי-הלמידה והועבר מסר ברור לבתי-הספר כי חייבים להצליח בבחינה. הפעולות בוצעו בעיקר בשנתוני התלמידים שניגשו לבחינה. המהלך בוצע בניגוד להנחיות הבחינה, הדורשות שלא יהיה לימוד מונחה.

לעומת זאת, לקראת המבחנים שהתקיימו ב-2007 השתרשה במשרד החינוך – בראשות השרה יולי תמיר ובעת שזוהר עצמה כיהנה כיו"ר המזכירות הפדגוגית – התפיסה שעל-אף שהלימוד הממוקד מציג שיפור בתוצאות המבחן, בסופו של דבר הוא מזיק למערכת החינוך ולידע הכולל של התלמידים בתחומי המתמטיקה והמדעים. לפיכך התקבלה החלטה מפורשת שלא להתכונן למבחן טימס 2007.

הירידה הדרסטית בהישגי ישראל באותו מבחן משקפת בעיקר את השינוי במדיניות משרד החינוך, ופחות את הידע האמתי של תלמידי ישראל בתחום המתמטיקה והמדעים. מבחני פיז"ה שנערכו בתחילת 2009 שיקפו עדיין את המדיניות של השרה תמיר, ולפיכך הישגיה של ישראל בהם היו עדיין נמוכים.

שר חדש, רוח חדשה

לעומת זאת, עם כניסתו של גדעון סער לתפקיד השר שונתה מחדש המדיניות. המשרד חזר לדרוש הכנה ממוקדת למבחן, כפי שהתבטא סער עצמו עם כניסתו לתפקיד ב-2009:

הצבנו למערכת יעדים כמותיים-מדידים בכל התחומים. לא חששתי להציב את המבחנים הבינלאומיים הבאים שיתקיימו בשנת 2011, כאבן בוחן לשיפור ההישגים בתחומי הליבה – שפה, מתמטיקה ומדעים… הפנינו משאבים לתגבור הלימודים בתחומי יסוד אלה בבתי-הספר היסודיים ובחטיבת הביניים.

לא לחינם השמיט סער את בתי-הספר התיכונים, שכן בגיל זה כבר לא מתקיימים המבחנים הבינלאומיים ומבחני המיצ"ב. יש הטוענים גם כי משרד החינוך לא הסתפק בהכנה ממוקדת למבחן, אלא אף התערב בתכניות הלימודים. כך, למשל, תכנית הלימודים במדעים שונתה ב-תשע"א במהלך שהוגדר על ידי יו"ר המזכירות הפדגוגית דאז, צבי צמרת, כ"שערורייה" שמטרתה התאמת החומר למבחנים הבינלאומיים.

טימס
התפלגות בעייתית של הידע; מתוך מצגת משרד החינוך

לפנינו, אם כן, ויכוח רעיוני עקרוני בין הסבורים שלמידה מכוונת למבחנים בינלאומיים תקדם את הידע של התלמידים לבין הסבורים שלמידה כזאת תזיק לו. על כל פנים, חשוב להבין שהשיפור שהשיגה ישראל במבחנים האחרונים לא מתאר, למרבה הצער, שיפור חד ביכולות ובידע של התלמידים. ייתכן שבפועל ישנו שיפור מהותי במתמטיקה ומדעים, אלא שכל עוד לא נבדקת באופן שיטתי הצורה בה כל מדינה ומדינה מכינה את תלמידיה לבחינות, וכל עוד לא נשמרת בישראל מדיניות אחת ארוכת טווח בנוגע להכנה לבחינות, לא ניתן להסיק מסקנות משמעותיות מהישגי ישראל במבחנים הבינלאומיים.

מאמרים נוספים

כתיבת תגובה

האימייל לא יוצג באתר.

11 תגובות למאמר

  1. ככלל, כאשר מדובר במבחנים סטנדטיים, ככל שהמבחן נערך יותר זמן כך עולה הסיכוי שניתן "לרמות אותו" בקלות. לדוגמה- הראשונים שעשו קורס הכנה לפסיכומטרי למעשה הצליחו "לרמות" את המבחן בכך שיצרו לעצמם יתרון, הסיבה היחידה לפיה אמינות הפסיכומטרי היום דומה לעבר היא שכולם עושים היום קורס פסיכומטרי (ובאותה מידה אם כולם לא היו עושים קורס התוצאות היו דומות), מרגע שמדינת ישראל ברמת המדיניות הציבורית וברמה המקומית החליטה "לרמות" את המבחן, הרי שהוא לא בר-השוואה ב-2 רמות: לא מול מבחנים ישראליים מהתקופה שבה לא ניסינו "לרמות" ולא מול מדינות אחרות שלא מנסות "לרמות" באותה מידה.

  2. זה ממש נשמע מצחיק – מה זו למידה מלבד שינון ? האם אתה טוען ששינון והתכוננות למבחנים היא דבר רע ?
    מבחן בינלאומי – פירושו התיישרות ללמידה לפי סטנדרטים בינלאומיים – וככל שישננו יותר זה יותר טוב והם ידעו את החומר יותר טוב – אז ללמוד למבחן זו שערורייה ?
    אתה חושב שתלמידים ידעו את החומר אם ישננו פחות ? אתה חושב שכדאי שהם לא ילמדו את החומר שבודקים במבחנים ?
    אתה חושב שתלמידינו יקבלו ציונים יותר טובים בבגרות במתמטיקה על ידי זה שישננו פחות ?
    הטיעונים האלו מצחיקים לגמרי

    1. המאמר מדבר על למידה (כולל שינון) ייעודית למבחן, במקום למידה (כולל שינון) לשם הבנת החומר באופן כללי.
      לכן התגובה שלך מצחיקה לגמרי.

  3. בהארץ יש הסבר להערה שאומרת שאי אפשר להשוות = לטענת הכותב שם, המבחן תורגם בידי חברה אחרת, כך שיתאים יותר לתלמידי, ושינוי התרגום לא מאפשר את ההשוואה. לא יודע לגבי קטאר וכו' י

    1. ההערה ב"הארץ" מתייחסת לא לטענה של החוקרים אלא להשערה שלהם שהקפיצה בציון היא בגלל השינוי בתרגום. אני דווקא מסכים עם אנשי משרד החינוך שטוענים שלא ניתן לייחס את הקפיצה העצומה הזאת בציון רק לתוצר של שינוי בתרגום. אנשי מבחן טימס פשוט לא מוכנים להודות שיש מדינות שבהן לומדים למבחן הזה בצורה מסודרת בניגוד להנחיות, ולכן הם חייבים לתת הסבר פרוצדראלי

  4. מאמר משונה. עד כה לא הצלחתי להבין מה רע בללמוד למבחנים ואז להצליח בהם. היות שאין רע בכך, השאלה הרלוונטית שצריך לשאול כדי להעריך נכונה את המדיניות של סער היא: האם החומר שלמדו לקראת המבחנים ראוי או לא. אם ראוי, טוב עשה סער. אם לא, חבל על ההשקעה. בהעדר תשובה (והשקפה) עקרונית של כותב המאמר על השאלה הזאת, אין טעם בביקורת.

    1. דודו
      שים לב שהמאמר לא מבקר את המדיניות של סער לגבי למידה למבחנים (וגם לא תומך בה). המאמר מראה שבין אם תומכים במדיניות שלו ובין אם לא, אי אפשר לומר שמדינת ישראל השתפרה פלאים בתחומים הללו כפי שהוצג על ידי משרד החינוך

  5. תודה, אריאל. שוב, השאלה "אם ישראל השפרה פלאים בתחומים אלה", תלויה בחומר שלומדים לקראת הבחינות האלה. אם לומדים חומר ראוי, אז ישראל כנראה השתפרה פלאים. אם לא, חבל על המאמץ. לדעתי, טוב היית עושה אם היית מברר מה לומדים, מחליט אם החומר ראוי, ורק לאור זאת מחליט אם אפשר או אי אפשר לקבוע שישראל השתפרה.