В отличие от предметно ориентированных тестов умственного развития (ТУР), описанных в предыдущей главе, в настоящей главе излагаются принципы создания Теста Общеобразовательных Знаний (ТОЗ), Если в различных вариантах ТУРа шкалы отражают прежде всего уровень сформированности определенных логических операций мышления, реализованных на материале понятий из школьных учебников (аналогии, обобщение и т. п.) то любые версии ТОЗ отражают в показателях по субшкалам достижения ученика по самим пред метам школьной программы (математика, финика и т. п.).
Разработка ТОЗ дли российской школы означает создание российского аналога SAT , который, как известно, является в США определенным стандартом федерального масштаба. Только наличие общефодораль-ного стандарта позволит обеспечить в России реальную эквивалентность аттестатов зрелости, ВЫЯСНИТЬ, в частности, объективную цену невиданному количеству «медалистов», которые вдруг начинают появляться в какой-нибудь рядовой и мало чем знаменитой школе где-нибудь в городе N - oice .
Программа создания и распространения российского ТОЗ должна, безусловно, учитывать как мировой опыт, так и специфику современной ситуации в России. Критики справедливо возражают: организационные решения, что стандартны для Запада в России могут не сработать из-за невиданного уровня «групповой сплоченности» (а попросту коррупции), имеющей место во всех слоях общества, в том числе среди чиновников и учителей, занятых в системе образования.
Но и технологические возможности разработчиков тестовых методик не стоят на месте. Новые возможности, и прежде всего в плане обеспечения информационной безопасности, дает компьютеризация.
Опишем здесь опыт решения проблемы создания ТОЗ, который накоплен в {центре компьютерной психо диагностики «Гуманитарные технологии при факультете психологии МГУ (руководитель центра —
А. Г. Шмелев). Данный материал поможет читателям не только сориентироваться в самой проблеме создания ТОЗ, но и получить опыт знакомства с кратким и типичным научным отчетом о проведении экспериментальной апробации некоторого теста в процессе его разработки, а также с перспективами использования компьютеров в процессе тестирования.
В отличие от Стэнфордского теста ТОЗ в своих субшкалах буквально повторяет названия учебных предметов и в этом смысле является формализованным компьютеризированным аналогом школьных выпускных и вузовских вступительных экзаменов.
С самого начала ТОЗ разрабатывается как принципиально компьютерный тест. Важнейшие его особенности таковы: наличие очень широкого компьютерного БАНКА ЗАДАНИЙ (длинного перечня) по каждому предмету и наличие особой программы ТЕСТОВОГО ДИАЛОГА, которая позволяет предъявлять каждому испытуемому по сути дела уникальную выборку заданий (вариант) из этого банка заданий- Далее сами авторы ТОЗ не знают, какие именно задания предъявит компьютер данному конкретному испытуемому. Если же кто-то получит доступ к тексту заданий ТОЗ, и расшифрует их кодировку, то для того, чтобы «обмануть» ТОЗ необходимо выучить не только правильные ответы к сотням заданий, но и научиться их отличать от ложных формулировок. Легче выучить стройно и логично написанный учебник, чем заниматься этой работой.
Реальная трудность задания проверялась в пилотажном эксперименте и после этого корректировалась. В число легких попадали задания, с которыми справлялись более 70 процентов испытуемых, в числе трудных — с которыми справлялись менее 30 процентов испытуемых, остальные причислялись к средним по уровню трудности.
Схема начисления очков в ТОЗ-1 при расчете суммарного балла такова:
за правильный ответ — 4 очка,
за пропуск задания — 1 очко,
за ошибочный ответ — 0 очков.
Такая схема вносит необходимую поправку на вероятность случайных правильных ответов, которые по теории вероятности возможны с вероятностью 0,25.
После завершения такого нелегкого испытания испытуемые могли вспомнить только 10, максимум 25 процентов из предъявленных им заданий, но, конечно, не могли пересказать своим друзьям точные формулировки фальш-альтернатив (ложных ответов, или так называемых «дистракторов»). И если теоретическая вероятность повторения одного и того же задания у двух испытуемых равнялась 0,33-15 ~ 5 заданиям, то практически крайне редко два испытуемых могли вспомнить больше одного одинакового задания. Даже после интенсивного обсуждения впечатлений от теста между собой у испытуемых оставалось полное впечатление, что тест включает сотни заданий по одному предмету. Естественно, что при дальнейшем наращивании банка заданий в ТОЗ-2 такое впечатление будет еще более усиливаться.
ТОЗ-1 имеет ряд модификаций для специальных групп абитуриентов- Например, версия ТОЗ-ПСИ (для абитуриентов психологического факультета) включала по 90 заданий всего по 3 предметам, входящим в состав вступительных экзаменов на факультет психологии МГУ: математика, русский и литература, биология. Каждый абитуриент отвечал за 50 минут на 90 заданий (по 30 на каждый предмет).
На этих абитуриентах факультета психологии проверялась, в частности, прогностическая валидность ТОЗ в отношении успешности сдачи вступительных экзаменов. Общая корреляция суммарного балла ТОЗ с суммарным баллом по вступительным экзаменам оказалась равной 0,61. При этом почти такое же значение достигла эта корреляция для субтеста «математика» (0,57). А вот с оценкой по сочинению балл по субтесту «словесность» коррелировал просто плохо. Сказалось, видимо, два обстоятельства: слабые представления абитуриентов о том, что такое «раскрыть тему», и высокая степень лотерейности в вариантах формулировок этих тем (вполне грамотным и в целом начитанным абитуриентам приходилось писать сочинения по авторам и произведениям, которых они либо никогда не читали, либо забывали и не успели повторить). Таким образом, невысокую суммарную корреляцию можно интерпретировать, в частности, как следствие низкой надежности не столько ТОЗ, сколько самого критерия — ведь элемент случайности на вступительных экзаменах выражен даже сильнее, чем в ТОЗ. За это говорит и факт резкого возрастания корреляции с результатами экзаменов для крайних групп по ТОЗ (самых успешных и самых неуспешных). Так, например, НИ ОДИН испытуемый с баллом ниже 50 процентов правильных ответов по ТОЗ не смог пройти на факультет психологии МГУ по конкурсу (конкурс был, как всегда, высоким — выше 7 человек на место). А самые лучшие абитуриенты по ТОЗ практически все успешно прошли конкурс.
Таким образом, на шкале ТОЗ можно найти граничные точки для «высшей» и «низшей» группы, позволяющие прогнозировать успешность при сдаче экзаменов с высокой степенью надежности — близкой к 0,95. Можно сказать, что для заведомо сильных и заведомо слабых учащихся будущие экзамены не оказываются «лотереей»: одни надежно их сдают, другие — надежно «проваливают». «Лотереей» с элементом везения-невезения экзамен становится для «середнячков», которые освоили учебную программу выборочно, частично.
Вопрос о «конкурентной валидности» ТОЗ по сравнению с вступительными экзаменами (т. е. позволяет ли ТОЗ лучше или хуже прогнозировать успешность обучения в вузе) может быть разрешен только после многолетнего, так называемого «лонги-тюдного» наблюдения за тем, как будут учиться в вузе студенты, прошедшие ТОЗ в 1995 году.
Конечно, версия ТОЗ-1 есть только первый шаг к созданию эталонной методики такого типа. Она нуждается в существенной модернизации, масштабной апробации и накоплению репрезентативных норм, чтобы занять место федерального стандарта в данной области.
■
Главная страница --> 