Доклад на методологическом семинаре РАО «Методологические основы оценки качества образования» по теме«Технология неперсонифи презентация

Доклад на методологическом семинаре РАО «Методологические основы оценки качества образования» по теме «Технология неперсонифицированной оценки личностных и метапредметных результатов общего образования как средство оптимизации контроля выполнения требований ФГОС» ведущий научный сотрудник Института управления образованием РАО, Научный координатор «Ассоциации развития технологий оценки работников и образовательных учреждений», член Экспертного совета по законодательному обеспечению образования профильного Комитета Совета Федерации, кандидат психологических наук С.В. Климин

Суть и содержание данной технологии: данная технология – система специализированных тестовых заданий и других измерителей, инструктивно-методических материалов, информационно-компьютерных средств сбора, обработки и анализа данных обследования образовательного учреждения, обеспечивающая реализацию алгоритма проведения процедур достоверной неперсонифицированной оценки комплекса показателей и их критериев; данная технология включает неотъемлемое приложение - соответствующий перечень критериев оценки образовательного учреждения.

Основные методологические положения, реализованные в данной технологии Сущность неперсонифицированной оценки результатов образования 1. Это оценка, основным объектом которой является либо целостная группа учащихся (если предметом оценки выступают характеристики данной группы как коллективного получателя образования), либо целостное образовательное учреждение (ОУ) или его целая часть (если предметом оценки выступают требования к результатам деятельности ОУ или его части).

Сущность неперсонифицированной оценки результатов образования 2. Каждый отдельный учащийся (и/или работник) соответствующей группы является участником процедуры оценки, но не объектом данной оценки, следовательно, простая сумма индивидуальных оценок не является предметом этой оценки (поэтому содержание процедуры и итогов тестирования валидны только для характеристики целостной группы учащихся или др. части ОУ). 3. Дополнительные (возможные) объекты данной оценки – региональные, муниципальные системы общего образования.

Сущность неперсонифицированной оценки результатов образования 4. Проводится по отношению к тем результатам образования (большинству личностных и части метапредметных результатов), достижение которых либо не может контролироваться с помощью индивидуальной (персонифицированной) оценки (распространенность среди учащихся признаков того или иного поведения и т.п.), либо с трудом поддается достаточно валидному и надежному контролю в рамках приемлемой длительности аттестации каждого отдельного учащегося (ценностные ориентации и т.п. личностные результаты; связанные с творческой деятельностью и т.п. метапредметные результаты).

Нормативно-правовые основы совершенствования содержания и организационно-методического обеспечения оценки выполнения школами требований ФГОС к личностным и метапредметным результатам общего образования (ЛР и МПР) ФГОС общего образования (содержание оценки). ФЗ «Об образовании в Российской Федерации» (виды оценки). Национальная образовательная инициатива «Наша новая школа»; Государственная программа развития образования в Российской Федерации на 2013-2020 годы (объективность, независимость, компетентностный подход к оценке). Национальная стратегия действий в интересах детей Российской Федерации на 2012-2017 годы (контроль не только обучения, но и воспитания).

Виды оценки качества деятельности ОУ, на решение задач которых направлены соответствующие модификации данной технологии Определяемые практикой и положениями федеральных нормативных актов по реализации школами требований ФГОС: а) виды государственного контроля: - гос. аккредитация ОУ; - гос. контроль качества образования в аккредитованных ОУ; - гос. мониторинг качества работы территориальной системы общего образования;

Виды оценки качества деятельности ОУ, на решение задач которых направлены соответствующие модификации данной технологии б) виды общественного контроля: - проверка со стороны муниципального органа управления образованием; - общественная аккредитация школ; в) виды внешних мониторинговых оценок качества работы ОУ (их частей – классов, возрастных параллелей): - независимый педагогический аудит результативности деятельности; - мониторинги качества работы ОУ;

Виды оценки качества деятельности ОУ, на решение задач которых направлены соответствующие модификации данной технологии г) виды внутренних мониторингов результативности школы (ее частей - классов, возрастных параллелей): - для итогового (рубежного) административного контроля результатов образования; - для текущего педагогического контроля результативности работы.

Организационные формы оценки ЛР и МПР в рамках модификаций настоящей технологии Определяются: а) видом оценки; б) конкретным объектом оценки; в) оптимальным для каждой конкретной группы критериев оценки типом методов оценки: - методы тестирования; - методы экспертной оценки с помощью стандартизированных анкет по итогам анализа установленных документов или поведенческих проявлений учащихся.

Основные проблемы оптимизации организационно-методического обеспечения оценки ЛР и МПР при проведении в регионах контроля качества деятельности ОУ, на решение которых направлена данная технология 1. Неправомерное, исходя из требований федеральных нормативных документов, сужение содержания оценки. 2. Игнорирование нормативных требований к средствам оценки, являющихся общепринятыми в психометрии как области научного знания об объективной оценке личности, групп личностей и их деятельности.

3. Применение характеристик качества тестовых материалов, самих тестовых материалов и получаемых с их помощью данных без учета объекта и конкретных задач оценки. 4. Игнорирование реальных ресурсных и временных условий применения тестовых материалов и данных оценки.

Основные принципы (отличительные, в сравнении с аналогами, особенности) научно-методического обеспечения оптимизации содержания (показателей и критериев) неперсонифицированной оценки выполнения требований ФГОС к ЛР и МПР, реализованные в данной технологии: 1) значимость содержания оценки - соответствие каждого показателя и критерия оценки предмету данного конкретного контроля (следовательно, при оценке выполнения ФГОС – невыхождение за пределы установленных в ФГОС требований к ЛР и МПР);

2) минимально достаточная (в отношении предмета контроля) полнота перечня показателей и детализирующих их критериев оценки (определяемая на основе контент-анализа совокупности требований ФГОС и соответствующих федеральных нормативных документов); 3) практическая ценность получаемых данных оценки для принятия эффективных решений по совершенствованию качества образования и управления им.

Основные нормативно-правовые и научно-методические требования к показателям и критериям оценки выполнения требований ФГОС к МПР и ЛР, реализованные в данной технологии 1. Обеспечение критериально валидного содержания оценки (показателей и критериев) в соответствии с общепринятой методологией психометрии (в части определения измеримых параметров оценки). 2. Конкретное содержание оценки выражается иерархической системой критериев оценки, при этом каждый критерий оценки определяется: а) параметром оценки или характеристикой (т.е. своей формулировкой); б) “весовым” коэффициентом критерия (т.е. своей мерой значимости в целостном перечне критериев); в) нормой оценки (т.е. уровнем (“планкой” или диапазоном) требований, которого должен достичь результат оценки по данному критерию, исходя из задач оцениваемой деятельности).

3. Дифференциация критериев оценки по трем основным уровням проявления результатов образования – познавательный (рациональный), эмоционально-чувственный, действенный (поведенческий); как следствие, учет возможности устанавливать контролируемые требования: а) для каждого отдельного учащегося – только на познавательном и «переходном» познавательно-действенном («представляю, как данное знание применять на практике») уровне; б) для целостной группы учащихся - на познавательном и познавательно-действенном уровнях, а также на действенном и, частично, эмоционально-чувственном уровнях.

4. Соответствие современному пониманию ЛР: не как совокупность “воспитанностей”, а как “обеспеченные деятельностью ОУ минимально необходимые для социальной адаптации учащихся воспитательные эффекты целостного образовательного процесса”: а) ЛР, на которые оказывает существенное влияние именно образовательная деятельность ОУ – исходя из требований федеральных нормативных документов; б) ЛР, которые объективно контролируемы (путем стандартизированной тестовой групповой оценки).

Отдельные примеры показателей и критериев объективной оценки выполнения требований ФГОС к ЛР и МПР, реализованных в данной технологии (на примере основного общего образования)

Показатели и критерии оценки МПР из материалов, рекомендованных Аккредитационной коллегией Рособрнадзора от 9.11.2006 для использования при проведении государственной аккредитации учреждений общего образования и основанных на материалах технологии "КАС ДОУ - Аттестация (Новая Версия)", признанной соответствующей федеральным требованиям приказом Минобразования России от 28.02.2001 № 686 (приводятся во фрагментах)

… … … … … … Показатель 5. Общеучебные практические умения Критерий 1.1. Умения и навыки осмысленного чтения Критерий 1.2. Умение использовать справочные материалы … … … Показатель 6. Интеллектуальные общеучебные умения Критерий 2.1. Умение выделять существенные признаки объекта изучения Критерий 2.2. Умение сравнивать (учебные элементы) Критерий 2.3. Умение классифицировать (учебные элементы) Критерий 2.4. Умение устанавливать существенные связи между объектами изучения Критерий 2.5. Умение делать выводы и умозаключения (в рамках содержания учебного материала) … … …

Показатели и критерии оценки ЛР из «Требований к содержанию и условиям воспитания, духовно-нравственного развития обучающихся в учреждениях, реализующих основные общеобразовательные программы начального и основного общего образования» как материалов по реализации ФГОС, разработанных коллективом под руководством С.В. Климина в рамках ФЦПРО 2008-2009 г.г. (приводятся во фрагментах)

Показатели и критерии оценки нормативного, в соответствии с возможностями возраста, уровня сформированности социальных компетенций (развиваемых в учебно-воспитательном процессе устойчивых характеристик деятельности, отражающих готовность к выполнению социально значимых функций) у большинства учащихся оцениваемой группы

Показатель 1. Основные социальные компетенции (показатели готовности к выполнению определенных социальных ролей), развиваемые на познавательном уровне функционирования сознания и деятельности учащихся (проявляются как устойчивые характеристики мыследеятельности) Показатель 1. Основные социальные компетенции (показатели готовности к выполнению определенных социальных ролей), развиваемые на познавательном уровне функционирования сознания и деятельности учащихся (проявляются как устойчивые характеристики мыследеятельности)

Критерии оценки сформированности соответствующих компетенций: 1) нравственно-этические компетенции – понимание общих морально-нравственных норм взаимоотношений; понимание конкретных этических правил, установленных в образовательном учреждении; …; 2) гражданско-патриотические компетенции – понимание правовых норм, служащих базой для формирования правосознания личности; понимание ценности своей (общероссийской и этнической) и других культур для жизни человека; …; 3) трудовые компетенции – …; 4) экологические компетенции – …; 5) эстетические компетенции - …; 6) компетенции здорового образа жизни – …; 7) компетенции управления собой - …

Показатель 2. Основные социальные компетенции, развиваемые на эмоционально-чувственном уровне функционирования сознания и деятельности учащихся (проявляются как устойчивые характеристики их эмоционально-чувственного реагирования на события окружающей действительности):

Критерии оценки сформированности соответствующих компетенций: Критерии оценки сформированности соответствующих компетенций: 1) нравственно-этические компетенции – сочувствие человеку, находящемуся в трудной ситуации; эмоциональное реагирование на негативные в отношении нравственно-этических норм и правил проявления в детском сообществе; …; 2) гражданско-патриотические компетенции – уважительное эмоциональное отношение к своей Родине - России; чувство уважения к ценностям других культур; …; 3) трудовые компетенции – …; 4) экологические компетенции – …; 5) эстетические компетенции - …; 6) компетенции здорового образа жизни – …; 7) компетенции управления собой - …

Показатель 3. Основные социальные компетенции, развиваемые на действенном уровне функционирования сознания и деятельности учащихся (проявляются как устойчивые характеристики моделей их поведения):

Критерии оценки сформированности соответствующих компетенций: Критерии оценки сформированности соответствующих компетенций: 1) нравственно-этические компетенции – подтверждаемая на практике готовность: к взаимодействию со взрослыми в соответствии с установленными в образовательном учреждении этическими правилами взаимоотношений; к взаимодействию со сверстниками в соответствии с общепринятыми морально-нравственными нормами; …; 2) гражданско-патриотические компетенции – подтверждаемые на практике: готовность к продуктивному межличностному взаимодействию, сотрудничеству; опыт устойчивого законопослушного поведения; …; 3) трудовые компетенции – …; 4) экологические компетенции – …; 5) эстетические компетенции - …; 6) компетенции здорового образа жизни – …; 7) компетенции управления собой - …

Показатели и критерии оценки нормативного, в соответствии с возможностями возраста, уровня развития социально-личностных компетентностей (социально значимых и развиваемых в учебно-воспитательном процессе личностных характеристик) у большинства учащихся оцениваемой группы

Показатель 4. Мотивационно-ценностные ориентации, являющиеся наиболее социально значимыми из развиваемых (на познавательном, эмоционально-чувственном и действенном уровнях) в учебно-воспитательном процессе … … … Критерий 4.1.6а. Осознанное положительное отношение к ценностям здорового образа жизни … … … Критерий 4.2.2а. Эмоционально переживаемое отношение сопричастности достижениям и трудностям развития своей Родины - России … … … Критерий 4.3.1а. Сформированность опыта действий в соответствии с социально позитивным моральным выбором … … …

Показатель 5. Основы коммуникативных и др. (профессионально или общесоциально ориентированных) специальных способностей, развиваемых в учебно-воспитательном процессе … … … Критерий 5.2а. Способность к пониманию другого человека Критерий 5.2б. Способность к обеспечению понимания себя другими людьми … … … Критерий 5.5а. Развитость художественно-творческих способностей … … … Критерий 5.7а. Развитость общерегулятивных способностей … … …

Показатель 6. Соответствие нормативному диапазону степени выраженности интеллектуальных, эмоционально-волевых и других качеств личности, являющихся наиболее социально значимыми из развиваемых в учебно-воспитательном процессе … … … Критерий 6.2а. Доброжелательность (неагрессивность) … … … Критерий 6.4а. Самостоятельность (в управлении своей деятельностью) … … … Критерий 6.6а. Креативность (восприимчивость ситуаций творческой деятельности) … … ..

Показатель 7. Общесоциальные знания, формируемые путем обобщения соответствующих предметных знаний в ходе урочной и внеурочной деятельности … … … Критерий 7.1а. Представления о правовых нормах отношений между людьми … … … Критерий 7.2б. Представления о практическом использовании знаний о многонациональности и общности культурно-исторического облика народа своей страны – России … … …

Показатель 8. Знания, умения и навыки, имеющие общесоциальное значение и осваиваемые при нахождении в образовательном учреждении Показатель 8. Знания, умения и навыки, имеющие общесоциальное значение и осваиваемые при нахождении в образовательном учреждении (в рамках как целостного образовательного процесса, так и влияния специально созданных воспитывающих условий пребывания в ОУ) … … … Критерий 8.1б. Знание правил поведения в образовательном учреждении … … … Критерий 8.2в. Навыки совместной деятельности … … …

Основные принципы (отличительные, в сравнении с аналогами, особенности) научно-методического обеспечения оптимизации методик и процедур организации неперсонифицированной оценки выполнения требований ФГОС к ЛР и МПР, реализованные в данной технологии 1. Обеспечение компактности методик оценки – для преодоления громоздкости процедур оценки МПР и ЛР на основе реализации требований: - минимальной достаточности компонентов содержания в тесте; - взаимосвязанности и взаимодополнения методик в оценочной технологии как элементов в системе процедур и методических средств оценки, что обеспечивает высокий «информационный КПД».

2. Одновременное выполнение следующих требований к методикам и процедурам: 1) соответствие совокупности применяемых процедур практической реальности: а) охват процедурами контроля всех необходимых участников оценки; б) минимизация затрат времени и ресурсов, необходимых для проведения контроля МПР и ЛР на основе максимально возможного использования: - объема репрезентативных выборок участников тестирования; - средств автоматизации подготовки, проведения оценки и анализа ее данных;

2) обеспечение качества оценивания: а) достоверность оценки: - объективность оценки (независимость результатов оценки от мнения конкретных лиц-оценщиков + формализованность всех процедур оценки для обеспечения измеримости, сравнимости ее данных); - содержательная валидность методик (в первую очередь, использование методик, обеспечивающих оценку именно и только намеченных для контроля критериев оценки); - надежность методик (в первую очередь, необходимая количественная точность оценки); б) практичность оценки: - доступность методик оценки для их корректного применения имеющимися в реальности пользователями.

3. Специализированная направленность методик исключительно на неперсонифицированную оценку МПР и ЛР в соответствии с требованиями ФГОС (по размерности компонентов содержания теста, по длине целого теста, по способам определения валидности и надежности каждого теста и др. характеристикам и свойствам этих тестов).

Сведения об апробации и экспертизе характеристик качества методик объективной оценки, используемых при практической реализации методологических положений совершенствования оценки выполнения требований ФГОС к МПР и ЛР, разработанных коллективом под руководством С.В. Климина

Апробация (1-й этап: 1998-2003 г.г.; 2-й этап: 2004-2012 г.г.) - в рамках оценки качества деятельности более 4000 школ в более чем 30-ти субъектах РФ с помощью: а) технологии «КАС ДОУ - Аттестация (Новая Версия)» («Комплексная автоматизированная система диагностики образовательных учреждений») при проведении аккредитационных экспертиз государственных (федеральных, региональных) и муниципальных учреждений; б) ее модификации – технологии «КАС ДОУ – Мониторинг» при проведении мониторингов качества работы учреждений общего образования различных видов.

Данные стандартизации методик оценки ЛР и МПР (по итогам их экспериментальной апробации), с учетом объекта оценки: содержательная валидность и надежность – не ниже 0,9.

Экспертизы на федеральном уровне: 1) признание приказом Минобразования России от 28.02.2001 № 686, на основании проведенного им конкурса, технологии «КАС ДОУ - Аттестация (Новая Версия)» (в соответствии с содержанием приказа - как системы измерителей и процедур, т.е. включая измерители качества подготовки, в том числе, в части сформированности общеучебных умений и результатов развития личности у выпускников) соответствующей предъявляемым к таким технологиям требованиям;

Экспертизы на федеральном уровне: 2) Решением Аккредитационной коллегии Федеральной службы по надзору в сфере образования и науки от 9.11.2006 рекомендованы к использованию при проведении органами управления образованием аккредитационных экспертиз учреждений общего образования материалы технологии оценки, разработанной на основе компонентов технологии «КАС ДОУ - Аттестация (Новая Версия)» в рамках проекта ФЦПРО 2006 г. по подготовке федеральных и региональных экспертов, принимающих участие в названных экспертизах;

Экспертизы на федеральном уровне: 3) положительные итоги официальной экспертизы и приемки Минобрнауки России результатов выполнения проектов ФЦПРО 2008-2010 г.г. по разработке материалов, обеспечивающих реализацию ФГОС общего образования, в т.ч. в части образцов (оптимальных примеров) критериев и методик объективной оценки личностных результатов учебно-воспитательного процесса, подготовленных коллективом под руководством С.В. Климина.

Образцы методик объективной оценки, используемых в данной технологии для практической реализации методологических положений по оптимизации оценки выполнения требований ФГОС к ЛР и МПР, разработанных коллективом под руководством С.В. Климина

Образец используемых тестов для оценки выполнения требований ФГОС к ЛР – на примере основной школы (из технологии «КАС ДОУ - Аттестация (Новая Версия)») Мини-диагностический комплекс для оценки отдельных личностных результатов учебно-воспитательного процесса (автор - С.В. Климин) 1. Тест «Вопросник для учеников»

… … … ВТОРАЯ ЧАСТЬ В каждой паре предложений, разделённых словом «или», выберите одно, которое, на Ваш взгляд, больше соответствует действительности и букву, под которой оно стоит, обведите в Вашем бланке рядом с номером вопроса, в который входит эта пара предложений. . . . . . . . 9. Если Вы находитесь в школе, что Вас больше устраивает?

2. Тест «Зеркало» (для педагогов) … … … ВТОРАЯ ЧАСТЬ В каждой паре предложений, разделенных словом "или", выберите одно, которое (на Ваш взгляд) больше соответствует действительности, и букву, под которой оно стоит, обведите в Вашем бланке рядом с номером вопроса, в который входит эта пара предложений. Затем проделайте аналогичное в той части бланка, которая предназначена для Ваших ответов «за учеников». . . . . . 9. Какое общение Вам более по душе? (А ученикам с Вами?)

Общая схема автоматизированной обработки данных оценки: 1) обработка первичных (индивидуальных) данных и вторичных (обобщенных по целостной группе учащихся) осуществляется по стандартным ключам; 2) полученный результат оценки по каждому критерию сравнивается с экспериментально установленной нормой оценки по данному критерию; 3) результат сравнения полученных данных оценки с нормой оценки подвергается интерпретации, с целью формирования выводов для организаторов тестирования и рекомендаций для образовательного учреждения, по стандартным алгоритмам, с учетом, в т.ч., весовых коэффициентов различных из критериев, по которым проведена оценка.