"Система оценивания на основе критериев"... Основано ли это на критериях?

В 42-м номере газеты «Марифат» от 16 октября 2024 года была опубликована статья под названием «Нам нужна была система оценок, основанная на четких критериях!». Дилрабо Давидова, директор Научно-практического центра педагогического мастерства и международной оценки при Агентстве специализированных учебных заведений, который внедряет «критериальную» систему оценивания, перечисляет несколько «преимуществ» этой системы. Прежде чем мы рассмотрим эти «преимущества», давайте поищем ответ на вопрос «что такое критериальная оценка?».

Оценивание с точки зрения тестологии – это измерение определенной характеристики (знаний, навыков) оценивающего (студентов, студентов) и формулирование выводов по результатам измерения. И эти выводы служат основанием для принятия тех или иных решений (например, помочь ученику восполнить пробелы в обучении, перевести его в следующий класс или остаться в его классе, выдавать или не выдавать ему школьный аттестат и т.д.).

Чтобы сделать выводы, результаты измерений сравнивают с чем. Что можно сделать с результатами измерений

Исходя из сравнения, оценка может быть трех видов:

Исходя из нормы. При этом результаты оценщика сравниваются с результатами той категории, к которой он относится (например, другими студентами того же возраста) и на этой основе определяется позиция оценщика относительно других оценщиков данной категории.

На основе критерия. При этом результаты оценщика сравниваются с заранее заданными критериями, а не с результатами других оценщиков. Этими критериями могут быть, например, уровни знаний в той или иной области науки (в тестологии это называется «доменом»).

Ипсативное оценивание. При этом результаты оценщика сравниваются с его предыдущими результатами и на этой основе делается вывод о степени роста его знаний или навыков.

Чтобы сделать его еще более понятным, давайте рассмотрим три вышеупомянутых вида оценивания на примере соревнования по бегу. Допустим, вы проводите соревнование, и его условие заключается в том, что участники должны пробежать определенную дистанцию. Если вы используете оценку, основанную на нормах, то будете обращать внимание на то, кто пересек финишную черту, кто финиширует первым, вторым и т.д., то есть вы сравниваете результаты участников соревнования друг с другом. Если вы хотите использовать критериальную оценку, вы заранее определяете и объявляете определенные критерии: например, чтобы выиграть соревнование, вам нужно пройти эту дистанцию за определенное время. Тогда все, кто соответствует установленным вами критериям, будут победителями, а если никто не сможет выполнить это требование, никто не будет объявлен победителем. Если за основу взять качественную оценку, то вам будет интересно, какой участник улучшил свои результаты больше всего, сравнивая свои результаты с результатами на предыдущих соревнованиях. Конечно, приведенный выше пример является очень упрощенным, в котором не учитываются некоторые процессы и принципы, необходимые для того, чтобы оценка выполняла свои функции правильно с научной точки зрения. Чтобы понять эти процессы и принципы, необходимо углубиться в тестологию, что невозможно в рамках той же статьи.

Также следует учитывать, что не существует понятия о том, какой вид оценки лучше, а какой хуже. Все три типа оценки одинаково действительны, какой именно тип оценки, зависит от цели, для которой используются выводы, сделанные на основе оценки. Теперь давайте посмотрим, какие требования должны быть соблюдены, чтобы критериальная оценка работала должным образом. Первым шагом в этом процессе является разработка критериев для сравнения результатов оценщиков. Для этого определяются границы области науки (предметной области), подлежащей оценке, характеристики, которые должны продемонстрировать оценщики, то есть поведение, которое они должны выполнять (в тестологии они называются «конструктами») и критерии их оценки.

Возьмем, к примеру, предмет по литературе в 7-м классе. Если литература здесь является областью, нам нужно будет определить границы этой области для класса 7. Допустим, ученики в 7 классе знакомятся с такими понятиями, как аналогия, прилагательное, символ. Это значит, что читатели должны уметь находить аналогии, прилагательные, символы в художественном тексте, анализировать, чему они служат в произведении. Это конструкты. Теперь нужно определить критерии оценки этих конструктов: на каком уровне ученик выполняет это действие, можно сказать, что он освоил литературу 7 класса на «отлично», а какой уровень считается «удовлетворительным» или «неудовлетворительным» – те должны быть определены. И конечно, это предметная область, установлены конструкции, критерии, документ должен быть открытым, оценщики должны об этом знать. Прозрачность – один из важнейших принципов оценки. Итак, первый вопрос: создал ли Научно-практический центр педагогического мастерства и международной оценки такой документ, опубликовал ли его в каком-либо открытом источнике?

Следующим шагом после разработки документа, определяющего предметную область, конструкции и критерии их оценки в разрезе каждого предмета и класса, является установление стандартов. В тестологии установление стандартов относится к определению количества тестовых заданий, которые продемонстрировали оценщики, и уровня мастерства. Например, ученикам 7 класса был предоставлен вариант теста, состоящий из 10 тестовых заданий по литературе. За сколько из этих заданий мы получаем оценку «отлично»? Для скольких из них мы бы поставили «удовлетворительно» или «неудовлетворительно»? Этот процесс происходит не просто так, когда кто-то диктует: «Давайте поставим 5 в тесте на такой-то процент, или 4 или 3 на такой-то». Существуют методы стандартизации, принятые в тестологии, которые обеспечивают глубокий анализ конструкции, с помощью которой измеряется каждая тестовая задача. Важно отметить, что процесс нормотворчества должен проводиться отдельно для каждого варианта теста, потому что, например, пометка всех вариантов теста как общего «5 баллов в 80% случаев» приведет к невыполнению критериев. Итак, второй вопрос: проводит ли Научно-практический центр педагогического мастерства и международной оценки процесс нормотворчества для каждого варианта теста, следуя научным требованиям тестирования?

Если ответить «да» на два вышеуказанных вопроса не представляется возможным, то систему, которую внедряет Центр, нельзя назвать «критериальной». О других научных требованиях по внедрению критериальной системы грейдинга мы еще не говорили. Например, проверяет ли центр достоверность тестовых заданий? Ведь валидность – это главный критерий определения валидности любого теста! Следит ли центр за тем, чтобы эти тестовые задания обрабатывались в одинаковых условиях оценщиками, то есть учащимися, во всех школах, где внедрена система? Есть ли протоколы сдачи теста, инструкции, которые должны соблюдаться руководителями (преподавателями) и оценщиками (студентами) во время тестирования, контролируются ли они? Обеспечивается ли безопасность испытуемых материалов до, во время испытания и после испытания (во время обработки результатов испытаний)? Без них невозможно «обеспечить объективность и точность оценки уровня мастерства ученика», на что претендуют в центре! Предоставляет ли формативное оценивание участникам системы образования (учащимся и преподавателям) необходимую информацию для определения их дальнейших шагов в образовательном процессе, ведь это его основная задача?

Тестология – это наука. Просто студентам следует напомнить, что правило представления BSB и CHSB в конце каждой главы учебника и каждой четверти учебного года с указанием того, сколько баллов присуждается этим BSB и CHSB, не является достаточным основанием для того, чтобы мы могли сказать, что «введена критериальная система оценивания». Для этого система оценки должна отвечать вышеуказанным и ряду других научных требований тестологии. В противном случае так называемая «критериальная» система оценивания будет не чем иным, как мошенничеством и отвлечением внимания учителей и учеников. Теперь давайте посмотрим на заявления о преимуществах так называемой «критериальной» системы оценивания, которую внедряет Центр.

«Читатель может ясно увидеть свои собственные возможности и пробелы». Для этого, во-первых, следует озвучить предметную область и конструкты, подлежащие оценке в разрезе каждого предмета и класса, как описано выше, критерии их оценки, а во-вторых, читателю из каждой оценки (после BSB-CHSBs) должен быть дан анализ его работы с указанием читателю, какие конструкты он освоил на каком уровне. Делается ли это?

«Учитель... Определение индивидуальной траектории и обучение каждого учащегося с учетом его индивидуальных способностей позволяет точно диагностировать, в чем заключается проблема неспособности овладеть языком для каждого учащегося в классе». Для того чтобы определить индивидуальную траекторию и проблемы учащихся в освоении, преподаватель также должен иметь в руках документ, определяющий область, конструкты, критерии их оценки, которые будут оцениваться в разрезе каждого предмета и класса. Учитель может выявить пробелы в обучении только в том случае, если он может сравнить результаты тестов каждого ученика с таким документом. Есть ли у учителей такой документ, на основании которого они могут анализировать результаты тестов каждого ученика? Еще один важный момент: разве это не задача формативного, а не суммативного оценивания, выявить проблемы в освоении и на этой основе определить дальнейшие шаги, ведь при выявлении пробелов суммативным оцениванием предпринимать какие-либо шаги уже поздно?  «Родителям необходимо получать доказательства уровня образования и развития своего ребенка, следить за его успеваемостью, помогать в процессе обучения... позволит нам это сделать». Опять то же самое. Для того чтобы родитель мог помочь своему ребенку, он должен иметь в своем распоряжении не просто информацию об оценках (баллах) своего ребенка, а анализы того, какие именно конструкты ребенок освоил (иными словами, в какой степени). Существует ли система для предоставления таких анализов родителям?

В действительности для того, чтобы критериальная система оценки выполняла свои функции, она должна должны быть в состоянии предоставить участникам системы образования и заинтересованным сторонам (учителям, учащимся, родителям, администрации школы, министерству) достоверную информацию, позволяющую анализировать образовательные достижения и проблемы учащихся в реальности. В то же время, как написал один из учителей, мы можем только видеть, что система делает учителей «счастливыми», добавив: «В этом году мы перешли на суммативное оценивание. Между газетами, BSB и CHSB мне так повезло, что счастье заставляет мою голову взрываться каждый день».

Комил ДЖАЛИЛОВ,

Внештатный исследователь