Докладний аналіз результатів PISA з математики
У 2018 році Україна вперше взяла участь в основному етапі міжнародного дослідження якості освіти PISA, яке координує Організація економічного розвитку та співробітництва (ОЕСР). Загалом, оприлюднені нещодавно в Національному звіті результати – очікувані, відповідають результатам інших порівняльних оцінок та досліджень і свідчать про серйозні проблеми з формуванням читацької, математичної та природничо-наукової компетентності учнів.
Результати українських учнів перебувають у середній частині загального рейтингу країн-учасниць, але суттєво відстають від результатів представників більшості країн ОЕСР. Утім, основне значення PISA-2018 для України – не в ще одному підтвердженні наявності проблем, а в отриманні величезного масиву даних, який дає змогу конкретизувати сутність проблем, аналізувати вплив різноманітних факторів на результати навчання і, у підсумку, формувати освітню політику на основі об’єктивних даних і доказів, а не припущень.
У дослідженні в усіх країнах брали участь переважно підлітки 2002 року народження, яким на час тестування було від 15 до 16,5 років. Більшість із них закінчують здобуття базової середньої освіти і можуть обирати (або нещодавно обрали) наступну гілку своєї освітньої траєкторії. Для України – це продовження навчання у профільній школі, закладах професійно-технічної освіти або в коледжах.
Для дослідження ОЕСР сформувала репрезентативну випадкову вибірку з 5 998 учнів, яка правильно відображала загальний розподіл учнів за типами закладів освіти, їх розташуванням, класом (курсом) навчання, статтю.
Фокус дослідження 2018 року – формування читацької грамотності. Але значна частина результатів звіту стосується також математичної та природничо-наукової грамотності. Основна мета дослідження математичної грамотності – оцінити, наскільки учні здатні використовувати математику для розв’язання типових повсякденних завдань. Водночас, PISA не оцінює рівень сформованості результатів навчання, визначених національними стандартами загальної середньої освіти.
Інше важливе завданням – визначити основні фактори, що можуть впливати на читацьку, математичну та природничо-наукову грамотність: соціально-економічні, мотиваційні, підтримка з боку батьків і вчителів, зацікавленість у навчанні, гендерна політика, кваліфікація вчителів, зміст освітніх програм, методики навчання тощо.
Для цього, крім тестування учнів, проводять їх анкетування, а також анкетування директорів шкіл. Вплив деяких із цих факторів у Національному звіті проаналізовано для всіх трьох компетентностей, вплив інших – тільки для читацької грамотності.
Генеральний секретар ОЕСР Анхель Гурріа зазначив: “PISA – це не лише найповніший у світі і найнадійніший показник можливостей учнів, це також потужний інструмент, який країни та економіки можуть використовувати для точного налаштування своєї освітньої політики … Саме тому ОЕСР розробляє цей трирічний звіт про стан освіти в усьому світі: поділитися доказами про найкращі політики та практики і запропонувати нашу своєчасну та цілеспрямовану підтримку, щоб допомогти країнам забезпечити найкращу освіту для всіх їхніх учнів”.
Для України критично важливо сформувати таку державну політику, яка б через якісну освіту і, зокрема, через підвищення математичної грамотності громадян, забезпечувала стійкий розвиток держави, успішність і конкурентоздатність наших громадян та українського суспільства загалом.
PISA встановлює 6 рівнів математичної грамотності. На найвищому, шостому, рівні учні здатні узагальнювати інформацію на основі власних досліджень, моделювати складні ситуації, розробляти нові підходи для розв’язування нестандартних задач. Вони можуть точно формулювати свої висновки та аргументи, обґрунтовувати власні дії.
На найнижчому, першому, рівні учні відповідають на чітко сформульовані завдання, в яких наведено всю необхідну інформацію і які стосуються добре відомих їм контекстів. Вони також можуть виконувати дії, які є очевидними або передбачені чіткими інструкціями. У середньому по країнах ОЕСР такого рівня, за даними Міжнародного звіту, досягають 2,4% учнів.
Середні результати учнів чотирьох країн та особливих районів КНР за математичною грамотністю відповідають четвертому рівню. Це Китай (591 бал), Сінгапур (569 балів), Макау (558 балів) та Гонконг (551 бал). Результати ще 29-ти країн відповідають третьому рівню (від 482 до 544 балів) – більшість країн ОЕСР.
Для 23-х країн, зокрема й Греції, Ізраїлю, США, Туреччини, Хорватії, середні результати відповідають другому рівню (420-481 бал). Учні ще 19-ти країн, зокрема Аргентини, Бразилії, Грузії, Перу, Саудівської Аравії, у середньому продемонстрували результати першого рівня (358-419 балів), а математична грамотність більшості учнів Панами, Філіппін та Домініканської Республіки не досягла навіть першого рівня. З результатами всіх країн можна ознайомитись за цим посиланням.
Середній рівень математичної грамотності українських учнів відповідає другому рівню (453 бали). Такі учні здатні розв’язувати задачі в ситуаціях, що допускають прямі умовиводи, можуть використовувати інформацію з одного джерела, представлену в одній формі. ОЕСР називає другий рівень базовим, який дає змогу брати ефективну і продуктивну участь у житті суспільства, зокрема як студенти, працівники та громадяни.
36% українських учнів не змогли продемонструвати такий рівень, з них 15,6% не досягли навіть першого рівня математичної грамотності. За даними Міжнародного звіту, у країнах ОЕСР таких учнів у середньому, відповідно, 24% та 9,1%.
Водночас близько 38% українських учасників показали результати 3-6 рівнів, утім лише одиниці з них потрапили до шостого рівня. У країнах ОЕСР таких учнів значно більше – 53,8%.
Результати українських учнів у Національному звіті окремо порівнюються із середніми даними по ОЕСР, а також із результатами референтних країн (Білорусь, Грузія, Естонія, Молдова, Польща та Словацька Республіка). Останні обирали, виходячи з близьких показників соціально-економічного розвитку, а також культурної та історичної спорідненості з Україною.
Найкращі серед референтних країн результати з математики продемонструвала Естонія – 8-ме місце за загальним рейтингом (523 бали). Найнижчі результати – у Грузії, 66-те місце (398 балів). Найближчими до України були результати Білорусі (472 бали).
З країн ОЕСР лише три (Греція, Мексика і Чилі) мають нижчі за Україну результати. Але варто зазначити, що за ВВП на душу населення (за паритетом купівельної спроможності) навіть вони в 2-3 рази випереджають нашу країну і, відповідно, мають значно кращі фінансові можливості для розвитку освіти. Україна випередила понад чверть країн Європи, більшість з яких також мають істотно кращі фінансові можливості, а також 4 з 9-ти інших країн колишнього СРСР, які брали участь у дослідженні.
Порівняно з референтними країнами та більшістю інших країн, де загальні результати з усіх блоків приблизно рівноцінні, для України результати з математики значно гірші, ніж із читацької та природничо-наукової грамотності. Так, середній бал із математики українських учасників на 16 нижчий за аналогічний показник із природничо-наукового блоку і на 13 – за середній бал із читання.
Утім, у деяких інших країн розрив ще більший. Наприклад, у США аналогічні різниці дорівнюють 24 та 26 балам відповідно. А в Китаю максимальна відмінність результатів між блоками сягає 36 балів. Найгірший у цієї країни – результат із читання. Проте це не завадило Китаю посісти перше місце за всіма трьома компетентностями.
Загалом тест містив чотири блоки завдань, на виконання кожного з яких надавали 30 хвилин. Усі завдання було поділено на чотири домени – читацька, математична, природничо-наукова і глобальна грамотність. Два блоки тестового зошиту були сформовані як завдання на поєднання читацької грамотності, яка у 2018 році була основним предметом дослідження, з одним із інших предметів. Два інші блоки завдань формувалися на основі одного з неосновних доменів.
Особливістю тестів PISA-2018 із математики є те, що значна частина завдань – відкритого типу. Учню не надавали набір варіантів відповідей, з яких треба обрати один чи кілька правильних на його думку. Він мав самостійно виконати розрахунки чи міркування і записати свій варіант відповіді, який іноді може бути числовим, а іноді – словесним і передбачає аргументацію. Такі завдання – найскладніші.
За цим посиланням можна подивитися повний набір завдань із математики дослідження PISA-2012, фокусом якого була математична грамотність (завдання 2018 року PISA не оприлюднювала).
За математичним змістом завдання тесту перевіряли:
здатність аналізувати та інтерпретувати дані різного типу, подані в різних форматах, використовувати їх для обґрунтування висновків і прогнозування; здатність працювати з геометричними фігурами і тілами, відсотками, одиницями вимірювання; вміння та навички працювати з елементарними функціями, інтерпретувати та перетворювати алгебраїчні вирази; здатність здійснювати наближені обчислення.Частина завдань передбачала виконання певних стандартних дій та розв’язування математичних задач із використанням відомих понять і методів. Деякі з них добре підготовлені учні могли виконати за кілька секунд, потрібних на те, щоб прочитати завдання.
Але в більшій частці завдань учню треба було самостійно перейти від проблемної ситуації до математичного формулювання задачі та/або інтерпретувати математичний розв’язок у контексті такої ситуації та аргументувати відповідь. Це вимагало значно більшого часу.
В умовах, коли загальний час виконання тесту було обмежено, результати тесту залежали не лише від складності завдань і здатності учнів їх виконувати, але і від швидкості їх роботи. Тобто в підсумку результати дослідження характеризують не абсолютну здатність учнів виконати те чи інше завдання, а і від їхньої здатності виконати максимальну кількість завдань різної складності за обмежений час.
Найбільш типові помилки під час виконання тестів PISA з математики:
помилкові міркування – зокрема під час переходу до математичного формулювання задачі, формулювання висновків, аргументації відповідей; обчислювальні помилки; ігнорування окремих суттєвих умов задачі; неповнота відповіді або відповідь не на те запитання, що було поставлено перед учнями; відсутність аргументації там, де умови передбачали обґрунтування відповіді.Для українських учнів складними були завдання, що передбачають побудову і аналіз навіть простих моделей і використання певних стратегій розв’язування задач, аргументування своїх дій, оперування відсотками і дробами, символьне подання інформації, використання інформації в нових ситуаціях. Водночас, на відміну від тестів ЗНО, де більшість учнів навіть не намагаються шукати відповіді на завдання відкритого типу, учасники PISA-2018 були сміливішими, що привело до кращих результатів.
Один із найважливіших факторів впливу на результати – комплексний Індекс соціально-економічного статусу. Він враховує найвищий рівень освіти батьків, їхній найвищий професійний статус, а також родинний добробут. Шанси подолати рівень 2 з математики для учнів із середнім значенням цього індексу в 2,25 разів вищі, ніж для 25% учнів із найнижчими значеннями індексу, але у 2,6 разів нижчі, ніж для учнів із найвищими значеннями статусу.
Тим не менш, в Україні, як і в інших країнах, певна частка учнів із низьким соціально-економічним статусом демонструє високі результати навчання. 17,8% учнів із низьким соціально-економічним статусом з України отримали з математики результати вищі, ніж 75% усіх (з усіх країн) учасників дослідження (у країнах ОЕСР таких учнів 24%).
Утім, на національному рівні учнів із низьким соціально-економічним статусом, які отримали високі результати, – 12% (для країн ОЕСР – 10,9%).
Результати учасників істотно залежать від типу і місця розташування закладів, де вони навчаються. Так, для учнів із середніми значенням індексу соціально-економічного статусу середній бал із математики дорівнює 459. Водночас, для таких учнів із великих міст (понад 1 мільйон мешканців) він дорівнює 491, а для учнів із невеликих міст (менш ніж 100 тисяч мешканців), містечок, селищ і сіл – 451.
Для учнів ліцеїв, гімназій та спеціалізованих шкіл середній бал дорівнює 496, а для учнів і студентів коледжів, технікумів та ПТНЗ – 436. Утім, навіть серед учнів ліцеїв, гімназій та спеціалізованих шкіл близько 20% не досягли базового рівня математичної грамотності. Найгірші в розрізі закладів освіти результати продемонстрували учні ПТНЗ, де базового рівня не досягли близько 40% учнів.
Неоднозначним є вплив кількості навчальних годин із предмету на рівень сформованості математичної грамотності. З одного боку, найкращі результати (переважно в діапазоні 500-600 балів) показали учні, що мають понад 9 годин математики на тиждень, а найгірші (350-430 балів) – ті, в кого цей показник дорівнює 0-2.
З іншого боку, зміна навантаження в діапазоні 3-6 годин майже не впливає на результати, які в цьому випадку переважно відповідають другому рівню математичної грамотності. Утім, дослідження не враховує, що в 15-річних учнів формування математичної грамотності відбувається протягом усього часу навчання, а не лише в рік проведення дослідження.
Слід зазначити, що кількість годин визначали за результатами анкетування учнів, а не за офіційною документацією. Тому окремі відповіді дають підстави поставити запитання, чи викладають у відповідних закладах математику взагалі, і наскільки обсяг її викладання відповідає державним вимогам до змісту освіти.
На відміну від читацької грамотності, тест не виявив статистично значимих відмінностей результатів із математики та природничо-наукової грамотності між юнаками і дівчатами. Це узгоджується з результатами по країнах ОЕСР.
Дослідження також не виявило істотних відмінностей між результатами з математики між учнями, які спілкуються вдома мовою навчання, та тими, хто спілкується іншими мовами. В Україні до другої групи належали 42% учасників. Це істотно відрізняє Україну від більшості країн ОЕСР, де вплив такого фактора є істотним. Очевидно, причина впливу в цих країнах – його пов’язаність з іншими чинниками, зокрема, із матеріальним станом родини, соціально-економічним статусом, імміграційним походженням тощо.
Також немає істотного впливу рівня задоволення учнів своїм життям, їхнього самопочуття, ставлення до власного закладу освіти, що відповідає результатам для більшості інших країн.
У висновках Національного звіту зазначається: “Результати PISA не просто показали проблеми, які є на сьогодні в освітній системі України, але й підтвердили правильність реформ, які зараз відбуваються в галузі вітчизняної загальної середньої освіти. Більшість політичних рішень, які пропонуються за результатами PISA і які в різних країнах на певних етапах показали свою ефективність, нині вже реалізуються в Україні у вигляді низки реформ, однак це лише початок. Ці реформи варто продовжувати, спираючись на об’єктивні дані”.
Результати дослідження свідчать про необхідність істотно збільшити фінансування загальної середньої освіти, зокрема й позабюджетного, укріпити її матеріальну базу, вжити заходи, спрямовані на підтримку учнів із малозабезпечених сімей, підвищити соціальний статус педагогів, істотно переосмислити зміст освіти і методи навчання.
Без цього важко сподіватися не лише на те, що Україна зможе наблизитися в наступних дослідженнях до середніх за ОЕСР показників PISA, але й на те, що ми поступово почнемо наближатися до середньоєвропейських показників соціального і економічного розвитку держави.
Володимир Бахрушин, доктор фізико-математичних наук, професор, член Національної команди експертів з реформування вищої освіти