Лекция 8. Педагогические тесты, их виды и предназначение.
1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.
2.Задачи тестирования и виды тестов.
3.Классификация видов педагогических тестов.
4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.
1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях
Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход).
Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими подходами к интерпретации результатов тестирования выделяют нормативно-ориентированные и критериально-ориентированные тесты.
Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирования заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Для корректной интерпретации результатов тестирования балл каждого учащегося необходимо сравнивать с нормами выполнения теста.
Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нормы можно установить положение каждого результата по отношению к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.
Процесс определения норм называется, стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.
Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по любым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому, обновлению и перепроверке.
К нормам предъявляют следующие требования:
Нормы должны быть дифференцированными. Например, тесты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего получатся, скорее всего, существенно различающиеся нормы;
Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании;
Нормы должны быть репрезентативными, поэтому они всегда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).
«Норма» – относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.
Стратификация выборки. Для равномерного представления различных групп учащихся в популяции испытуемых используют специальный процесс – стратификацию. Стратификация – расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где расположена школа, ее принадлежность к числу сельских или городских школ и т.д.
Наличие многих факторов стратификации, необходимость анализа пропорций генеральной совокупности испытуемых, проведение апробационного тестирования для определения норм делают работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нормами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.
Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:
Нормы выполнения теста, которые определяются на выборке стандартизации;
Объем выборки стандартизации, основания для ее стратификации и временной период ее использования;
Необработанные результаты выполнения теста для выборки стандартизации.
Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.
Критериально-ориентированный подход в педагогических измерениях . При критериально-ориентированном подходе в педагогических измерениях результаты учащихся интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полученный для каждого учащегося процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .
При критериально-ориентированном подходе по результатам тестирования можно:
- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каждого учащегося;
Ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы;
Разбить испытуемых на две группы с помощью одного критериального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».
Недостатки критернально-ориентированного подхода. Критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентированные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко применяют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.
Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов. В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхний предел зачастую невозможно.
Иногда при выполнении таких заданий школьник руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .
Различия в нормативно-ориентированном и критериально-ориентированном подходах. Нормативно-ориентированные и критериально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов, тестирования, методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.
В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги всегда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируемых учеников (рис. 9). Нормативно-ориентированные тесты обычно намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только половина тестируемых учеников (рис. 10).
Рис. 9. Распределение заданий по трудности, в нормативно-ориентированном тесте
Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте
В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания.
Рис. 11. Типичное распределение баллов по тестам для репрезентативной
выборки учащихся
Наиболее существенные различия между нормативно-ориентированными и критериально-ориентированньми тестами представлены в табл. 1.
Таблица 1
Различия между нормативно-ориентированными и критериально-ориентированными тестами
Характеристики |
Нормативно-ориентированные тесты |
Критериально-ориентированные тесты |
Типичное среднее число учеников, выполнивших правильно почти все задания теста |
||
Область для сравнения результатов учащихся |
Результаты других учеников |
|
Диапазон охвата целей проверки |
Широкий, охватывает многие цели и виды учебной деятельности |
Узкий, обычно охватывает несколько целей контроля |
Репрезентативность охвата содержания предмета |
Умеренная, фрагментарная, – обычно включают не все разделы |
Большая, обычно включают все то, что можно операционализировать и принять за 100% |
Разброс результатов учащихся (вариативность баллов) |
Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки |
Низкий, внутри результатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативности |
Подбор заданий по трудности |
Распределение оценок трудности близко к нормальному. Основная часть заданий имеет трудность 40-60% |
Распределение скошенное. Основная часть заданий имеет трудность 80-90% |
Для учителя наиболее информативной является ситуация, когда оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащихся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.
2. Задачи тестирования и виды тестов
Общая классификация задач, решаемых с помощью тестов . В соответствии с видами контроля при тестировании можно выделить:
Задачи, стоящие на входе в обучение (входной контроль);
Текущие задачи (текущий контроль);
Задачи, соответствующие концу определенного периода учебного процесса (итоговый контроль) .
Тестирование во входном контроле . Началу обучения соответствует входное тестирование, позволяющее выявить степень владения базовыми знаниями, умениями и навыками, необходимыми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспомнить классический пример, когда в первый класс поступают хорошо читающие дети и начинают скучать на уроках.
Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. Они разрабатываются в рамках критериально-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.
Претесты второго типа разрабатываются в рамках нормативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обучения необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.
На рис. 12 показаны возможные функции входного тестирования в учебном процессе.
Рис. 12. Упрощенная модель функций входного тестирования в учебном
процессе, соотнесенная с задачами педагога.
Тестирование в текущем контроле . Для текущего контроля разрабатывают корректирующие и диагностические тесты. Корректирующие тесты, как правило, являются критериально-ориентированными: если процент ошибок учащегося превышает критериальный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в освоении нового материала.
Корректирующие тесты не следует путать со средствами текущего контроля знаний учеников, однако они в какой-то мере близки, хотя бы по целям применения. Однако между первыми и вторыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего контроля менее эффективны и в основном ориентированы на проверку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных единиц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.
Если затруднения ученика при выполнении заданий носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная детализация позволяет выявить причины устойчивых ошибок учеников, конкретизировать характер возникающих затруднений и получить выводы о несформированности тех или иных учебных умений.
Например, задание с выбором одного правильного ответа из корректирующего теста по математике для начальной школы может иметь следующий вид:
2+6:3 – 8:4=
A. 2
Б. 3
B. 1
Г 4
Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предложить четыре задания, если у педагога нет желания проверять знание учащимся порядка действий:
1) 6:3= А. 3 Б. 2 В. 4
2) 8:4= А. 2 Б. 4 В. 1
3) 2+6:3= А. 5 Б. 6 В. 4
4) 2+6:3-8:4 = А. 3 Б. 2 В. 0
Подбор заданий в диагностический тест осуществляется в индивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учебного материала. В этом случае коррекция проводится незамедлительно, поскольку после выявления очередного пробела и установления его причины компьютер сам подбирает обучающий модуль и сразу же выдает его ученику.
Упрощенная модель функций текущего тестирования представлена на рис. 13.
Рис. 1З. Модель функций тестирования в текущем контроле
Итоговое тестирование. Основная цель итогового тестирования – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.
Рис. 14. Модель функций итогового тестирования
Итоговые тесты обычно подвергаются стандартизации, поскольку чаше всего они применяются для принятия административных управленческих решений в образовании, Если проведение входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.
3. Классификация видов педагогических тестов
Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.
По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому однородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисциплинарными . Полидисциплинарные тесты состоят из гомогенных субтестов по отдельным дисциплинам. Результаты учеников по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.
По характеру измеряемых переменных выделяют тесты для проверки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют скоростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.
Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизованные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каждый педагог. Нестандартизованные тесты нередко называют учительскими, или авторскими, тестами.
Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с помощью тестов, то получится классификация видов педагогических тестов, представленная на рис. 15.
Рис. 15. Классификация педагогических тестов
Анализ классификационной таблицы позволяет выделить в качестве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.
Увеличение влияния тестирования на принятие управленческих решений на основе данных мониторинга и анализа качества образования во многих странах привело в XXI в. к возникновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образовании, проведения сравнительных исследований качества подготовленности выпускников различных регионов России, аттестации учебных заведений и оценки эффективности их деятельности.
4. Основные определения понятийного аппарата
Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для разработки тестов не всегда понятна преподавателям-практикам. Отчасти это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представлении учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно использовать в текущем контроле, но не в работе аттестационных центров.
Несоответствие псевдотестов научно обоснованным критериям качества может привести к значительному ошибочному компоненту в оценках подготовленности учащихся, следствием которого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллективов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.
Предтестовое задание . Определение предтестового задания является базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Предтестовое задание – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .
В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правильным ответом с запланированной степенью его полноты.
Требования, предъявляемые к форме пред тестовых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относительно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную инструкций по выполнению, адекватную форме, эталон правильного ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.
Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок учащихся по тесту.
Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое задание превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.
Обычно требуется не менее двух-трех апробаций, по результатам которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризующих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового задания проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов анализа – это всегда сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.
В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих решений в образовании. Например, при разработке учительских тестов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудности, будет также очень полезна.
Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентировано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.
Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) зависит не только от характеристик тестовых заданий, но и от особенностей тестируемого контингента учащихся. Второй: для оценки качества теста необходимы эмпирические данные тестирования, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.
Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статистически обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используемая при интерпретации, что позволяет применять его для различных разновидностей критериально-ориентированных тестов.
План лекции
1. Понятие КОРТа
2. Этапы разработки КОРТ
3. Практическое использование КОРТ
1. Понятие КОРТа
Критериально-ориентированное тестирование - новое направление в диагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для построения заданий в КОРТ используется материал учебных программ --из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завершенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последовательность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление учащихся новые термины, понятия, ситуации и способствовать установлению связей и отношений между ними и тем, что уже было усвоено ранее. Такие задания называют ключевыми.
Первый - критерий как показатель учебных достижении. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, полученные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.
Второй вид - критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы таний методиками КОРТ при их сравнении с критерием дадут информацию о том, представлены ли в мышлении учащегося необходимые для усвоения новых разделов программы умственные действия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.
При анализе этой информации нужно считаться с тем, что уровень умственного развития учащихся может выявить недочеты логико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.
По отношению к отдельным учащимся полученная по результатам испытаний методиками КОРТ информация после ее психологического анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию
2. Этапы разработки КОРТ
Психологическое содержание методик КОРТ определяется не только их особой направленностью - обращенностью теста на контроль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учебных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер - это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержательных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе специально организованных наблюдений за учащимися, когда они выполняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором содержания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен «субъективной логикой» учащихся, овладевающих требуемыми умственными действиями.
1. Подбор ключевых заданий. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте задание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математических знаний и умений. В 5-6 классах это умение только формируется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших этапах роль этого умения возрастает.
2. Спецификация теста. Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, спецификация вместе с тем определяет границы той области содержания, к которой тест относится. Для того чтобы показать, как проводится спецификация, обратимся к уже имеющемуся опыту разработки методик КОРТ.
Подготавливая спецификацию теста, прежде всего, нужно раскрыть критериальное значение исследуемого содержания. Для указанного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как условие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, конечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами является конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве содержательной основы умственных действий. Ориентация на знаковую модель, которая является результатом мыслительного преобразования текстовой математической задачи, выступает, таким образом, как критерий формирования умственных действий. Он и закладывается в данный тест. Составление уравнения по условиям текстовых задач предполагает, что учащийся владеет такими умственными действиями:
1) анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);
2)устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием
3) разбивает задачи на классы по существенному основанию: типу отношений между величинами;
4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.
Выявленная совокупность умственных действий составляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по числу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества»
Разработчик теста должен быть уверен, что в тест войдет материал, который репрезентативен для исследуемого учебного содержания. С этой целью была произведена каталогизация тестовых задач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же величины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удельный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, представленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Например, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ориентации в материале - субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно математическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между величинами, фиксируемые знаковой моделью определенного вида.
Внесение в задания стимульного материала позволяет определить, насколько соответствует степень сформированности умственного действия установленному критерию. Если ученик так и не овладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.
Независимо от того, на каком предметном содержании разрабатываются методики КОРТ или какие частные принципы положены воснову их конструирования, спецификация теста всегда включает в себя краткое описание той области содержания, для изучения которой предназначен тест, образцы задания, стимулы-признаки критерия, типичные ответы, которые могут дать испытуемые в ситуации тестирования. Спецификация теста задает основу для установления содержательного соответствия тестовых заданий и реальных учебных задач- И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в содержательном и операциональном планах оценить, что действительно означает выполнение теста по отношению к критериальной области поведения.
3. Когда спецификация составлена, подготовленные методики КОРТ подлежат проверке.
Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих выполнение учебных заданий, был верен и каждое из умственных действий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ 1 . Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.
Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и представительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.
Если анализ логического состава умения верен и владение совокупностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных заданий, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Проверка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ
Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэффициент не говорит о причинах совпадений или расхождений. Возникает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.
Специальному анализу подлежат также данные учащихся, которые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выполнения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулированием условия задания, с перестройкой умственных действий для решения задания.
Анализ рассогласований в выполнении методик КОРТ и КЗ позволяет исследователю выявить присущие учащимся способы выполнения заданий и оценить, насколько эти способы отвечают задачам умственного развития в области математики.
Корт своими содержательными и структурными характеристиками соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с решением актуальных учебно-образовательных задач. С помощью методик КОРТ учителя и психологи могут выявить объективные показатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школьной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учебной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критериально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образования. Применение методик КОРТ позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки методик КОРТ был вызван необходимостью углубленного психологического анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и приемов мыслительной деятельности в конкретных областях предметного содержания.
3. Практическое применение КОРТ
Современная психологическая диагностика располагает достаточно большим аресналом методик для оценки сформированности математического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления. Отсутствие до недавнего времени методик, посвященных диагностике сформированности естественнонаучного мышления, было связано, как отмечается в литературе, с неразработанностью специфики этой проблемы.
В связи с этим для диагностики сформированности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качественными заданиями в естествознании (в отличие от расчетных, экспериментальных и графических задач) называются задания, которые решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качественные зависимости между объектами. Существенно и то, что качественная форма проблемной ситуации в наибольшей степени соответствует реальной ситуации научного поиска. Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформированности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществляемые как переход мысли от известной закономерности к применению ее в конкретных условиях.
Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диагностика процесса мышления на микроуровне направлена на исследование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выявление тем самым реального процесса мышления в его индивидуальном варианте, то диагностика мыслительного процесса на макроуровне предполагает анализ сформированности его отдельных стадий и определения, таким образом, индивидуальных моделей развития мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но непосредственно интегрированных с процессом мышления и вследствие этого характеризующих его.
В рамках критериальной диагностики разработаны тесты для диагностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся моделью когнитивной организации предметной области естествознания. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.
В тесты включены лишь задачи качественного характера. В естественнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодействие объектов, лежащих в основе любой естественнонаучной задачи, в значительной степени определяется условиями взаимодействия и индивидуальными свойствами объектов взаимодействия, в отличие, например, от математики, где данные факторы не имеют значения.
При определении содержательной валидности тест должен ориентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.
Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных символов и знаков, не позволяет ассоциировать их с какой-либо абстрактной теорией.
Каждый тест для диагностики сформированности у учащихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, являющихся для усвоения учебного материала в 7 и 8 классах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три - на межпредметном материале (биологии и физики в 7 классе, биологии, физики и химии - в 8). Каждый тест содержит два субтеста, один из которых диагно: стирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй - синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса
Задание. Почему нельзя тушить горящий керосин, заливая его водой?
а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии; в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.
Варианты ответов для задания субтеста (их по три в каждой задаче) позволяют диагностировать преимущественный способ мышления учащегося: эмпирически-бытовой (ему в данном задании соответствует 1-й вариант ответа), эмпирически-научный (ему соответствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.
Аналогичную структуру имеют задания синтетического субтеста.
Задание. Почему кит, оказавшись на мели, погибает?
а) сила трения, имеющаяся на твердой почве, мешает ему добраться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталкивающая сила отсутствует, и кит погибает под действием собственного веса.
В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологическом материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному - 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.
При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативными для естественнонаучного познания учащихся 8 класса.
Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7
Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?
а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлышка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому пробку легче вынуть из бутылки.
Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» - эмпирически-научному. Первый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон применяется в условиях, адекватных материалу, используемому в курсах биологии и химии.
Задание. Почему пораженные током живые организмы погибают?
а) потому что ток убивает клетки живых организмов; б) при прохождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках живых организмов происходят необратимые химические реакции.
С использованием предметного материала курса химии закон сохранения и превращения энергии реализован, например, в задаче следующего содержания.
Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?
а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие чего выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических зарядов цинка и серной кислоты.
Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абстрактного к конкретному. Это обеспечивается тем, что каждому естественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона. Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом учитывалось то, что жесткая статистическая оценка трудности задач для критериальных исследований неприемлема. Тесты прошли формальную проверку на надежность и валидность.
Диагностика сформированное™ естественнонаучного мышления с помощью разработанных тестов создает возможность не только определить тип естественнонаучного мышления (эмпирический или теоретический), но и стадию их сформированности. В рамках эмпирического типа - это эмпирически-бытовая и эмпирически-научная стадии.
Каждому естественнонаучному закону соответствует серия заданий одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона. Разработанный тест является групповым. Время для решения всего теста - 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценивается одним баллом.
Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у учащихся, и произвести в этом направлении целенаправленную коррекцию.
Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), показала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагностирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естественнонаучного мышления тестовые задания позволяли дифференцировать разные стадии развития этого вида мышления
Критериально-ориентированные тесты. КОРТ.
Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:
- тест интеллекта
- тест достижений в системе образования
В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.
В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.
В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.
Цели использования КОРТа:
1. Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.
2. Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.
Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).
Критерий КОРТ.
Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:
1. Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.
2. Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.
Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.
Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.
Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.
Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.
Как конструируется КОРТ?
С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональнеых компонентах.
Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.
Принципы при отборе задач:
1. должны дифференцировать испытуемого
2. должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)
Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОРТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.
Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.
Четвертая особенность КОРТа – в процессе критериально-ориентировочной практики – КОРТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершению собственных умений, заданий.
Как КОРТы используют по отношению к диагностике умственного развития?
Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОРТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.
1. разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОРТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.
2. Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.
Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОРТ.
Первая работа по разработке КОРТ в 80-е годы Горбачевой – КОРТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.
Для каждого умственного действия - разные типы задач. Всего 4 субтеста:
1. выделение существенного
2. четвертый лишний
3. найди подобие
4. установление тождества.
Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности
Отличаются от традиционных тестов тем, что в традиционных оценка осуществляется путем соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму), а в критериально-ориентированных – оценка осуществляется путем соотнесения индивидуальных результатов с некоторым критерием. В качестве такого критерия выступает уровень владения навыком, умениями, знаниями.
КОТ используются в образовании. Цель тестирования с помощью КОТ – оценка владения навыком. Итоговый показатель фиксирует степень владения навыком и не включает в себя индивидуальные различия, что является слабым местом КОТ. Поэтому их использование возможно для оценки элементарных навыков.
Отечественным примером КОТ является Школьный Тест Умственного Развития – ШТУР (1).
Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериально-ориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:
б) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
в) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированных тестов:
1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. А. Анастази (1982) считает, что акцент критериально-ориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.
Исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.
Билет №26 Тесты достижений.
Тест достижений – это группа психодиагностических методик, направленных на оценку достигаемого уровня развития навыков и знаний.
2 группы тестов достижений:
1. Тесты успешности обучения (используются в системе образования)
2. Тесты профессиональных достижений (тесты диагностики специальных знаний и трудовых навыков, необходимых для выполнения профессионально-трудовых действий).
Тест достижения противоположен тесту способностей. Различия: между этими тестами существует различие в степени единообразия предшествующего опыта, который и диагностируется. Если тест способностей отражает влияние совокупного разнообразного опыта, получаемого учащимися, то тест достижений отражает влияние относительно стандартного курса обучения чему-то.
Цель применения тестов способностей и тестов достижений:
· тесты способностей – для предсказания различия успешности выполнения деятельности
· тесты достижений – делают конечную оценку знаний и навыков по завершении обучения.
Ни тесты способностей, ни тесты достижений не диагностируют способности, навыки, одаренность, а только успешность предшествующего достижения. Идет оценка того, чему человек научился.
Классификация тестов достижений.
Широкоориентированные – для оценки знаний и навыков, соответствие основным целям обучения (рассчитанным на продолжительное время). Например: тесты достижений на понимание научных принципов.
Узкоспециализированные – усвоение отдельных принципов, отдельных или учебных предметов. Например: усвоение темы в математике – раздел простые числа – как усвоен этот раздел.
Цели использования тестов достижений.
Вместо учительской оценки. Ряд преимуществ по сравнению с учительской оценкой: объективность - можно выяснить насколько усвоены главные темы, выявление основного. Можно построить профиль усвоения каждой темы.
Тесты достижений очень компактны. Тесты достижений – групповые – поэтому удобны. Можно оценить сам процесс обучения и усовершенствовать его.
Как конструировать тесты достижений?
1. Тест достижений состоит из заданий, которые отражают определенную область содержания курса обучения. Сначала нужно спланировать тему содержания, выявить важные темы в курсе обучения. В конструировании теста достижений должен участвовать учитель, который преподавал темы. Психодиагност должен знать основные темы.
2. Исключить из задания второстепенные знания, малосущественные детали. Желательно, чтобы выполнение заданий в малой степени зависело от механической памяти ученика, а зависело от понимания, критической оценки ученика.
3. Задания должны быть репрезентативны целям обучения. Есть цели обучения, успешность усвоения материала, по которым сложно оценить (например, усвоение темы о правах), тогда нужно составлять задания так, чтобы отразить усвоенность материала.
4. Тест достижений должен полностью охватить ту область учебного предмета, который должен быть изучен. Задания должны быть широко репрезентативны этой изучаемой области.
5. Тестовые задания должны быть свободны от посторонних затрудняющих элементов, не должно быть затрудняющих элементов, не должно быть дополнительных трудностей.
6. Каждое задание сопровождается вариантами ответов.
7. Задание должно быть четко, кратко, недвусмысленно сформулировано. Чтобы ни одно задание не было подсказкой на другое задание теста (проверить после составления).
Ответы должны быть построены так, чтобы исключить возможность напоминания ответов (то есть не давать не относящихся к теме варианты ответов или очень легкие, чтобы испытуемый не смог догадаться, отбросив варианты ответов, как заведомо неприемлемые).
8. Задается критерий выполнения. Психолог разрабатывает большое число заданий, не все они войдут в тест. Для начала все задания проходят проверку. Войдут в тест те задания, которые решаются стопроцентным большинством людей, которые хорошо владеют материалом. Вторая проверка на тех, кто не владеет материалом – они должны выполнить меньше половины. Задания составляются по максимальному критерию. 90-100% - высокий уровень обученности. Тест достижений не оценивается по сопоставлению со статической нормой, а с классом. Сопоставляется индивидуальный результат.
Тесты профессиональных достижений.
Тесты профессиональных достижений используются для оценки эффективности обучения профессионалов или профессиональных тренировок. Для отбора людей на наиболее ответственные должности – профотбор. Используется для оценки уровня квалификации работников, при переходе на другую должность. Цель – оценить уровень обученности профессиональным знаниям, навыкам.
3 формы тестов профессиональных достижений:
1. тест исполнения действия
2. письменные
3. устные тесты профессиональных достижений
1. Тесты исполнения. Выполнение ряда заданий, обнаруживающих владение основными навыками или действиями. Используются те механизмы, аппаратура, инструменты, которые используются в трудовой деятельности или моделировании отдельных элементов профессиональной деятельности, способность воспроизводить отдельные операции.
2. Письменные тесты достижений. Используются там, где требуется выяснить, насколько человек владеет специальными знаниями. Задания на бланках. Выполняются в письменной форме с определенной формой ответов.
3. Устные тесты профессиональных достижений. В период первой мировой войны тесты профессиональных достижений использовались для отбора персонала. Серии вопросов, выявляющих специальные знания. Диагностика в виде интервью. Проводилась индивидуально. Удобны в применении. Не нужно распечатывать. Испытуемый должен в заданной форме отвечать.
Тесты профессиональных достижений создаются, как и тесты достижений. Создается большое количество заданий, заведомо больше в несколько раз. Проверяют. Испытывают три группы работников:
1. эксперты высокой квалификации
2. новички
3. представители смежных профессий.
Задание включается в тест, если:
· задание выполнено большинством экспертов (это есть признак валидности)
· задание выполнено меньшим процентом новичков (приблизительно 60-70%)
· и, если еще меньший процент представителей смежных профессий выполнило задание.
Больше чем для 250 видов профессиональной деятельности разработаны тесты достижений. У нас таких тестов практически нет.
Билет№46 психодиагностика профессиональной деятельности.
Психодиагностика профессиональной деятельности позволяет изучить профессиональные интересы человека при помощи косвенных вопросов, на основе использования специальных психологических тестов , что позволяет глубже ознакомиться со спецификой профессиональной направленности личности и дает возможность выявить степень ее выраженности.
Диагностика профессиональной пригодности: профессиональная пригодность человека определяется как "совокупность психологических и психофизиологических особенностей, необходимых и достаточных для достижения им, при наличии специальных знаний, умений и навыков, общественно приемлемой эффективности труда... ". В это понятие входит также "удовлетворение, переживаемое человеком в процессе самого труда и при оценке его результатов".
Задачи профессиональной диагностики:
а) определение наличного уровня профессионализма; б) установление соответствия человека требованиям профессии и соответствия профессии требованиям человека; в) выявление потенциальных профессиональных возможностей человека; г) помощь конкретному работнику в использовании его реальных профессиональных возможностей для эффективного выполнения труда.
Таким образом, диагностика профессиональной деятельности специалиста выполняет не только собственно диагностическую функцию, в которую входят определение уровня профессионализма на данный момент и установление степени соответствия данного человека объективным требованиям данной профессии. В конечном счете результатом проведения диагностики профессиональной деятельности специалиста является определение для него возможных направлений дальнейшего личностного развития и профессионального роста. Определение требований человека к своей профессии, его потенциальных возможностей профессиональной самореализации и реальных профессиональных возможностей существенно помогает специалисту оптимизировать свою профессиональную деятельность.
Психодиагностика кандидатов, отбираемых в правоохранительные органы
Психодиагностическое обследование кандидатов
на службу в правоохранительные органы
должно производится с помощью специально подобранной батареи тестов,
которые обеспечивают решение следующих задач: отбор кандидатов
, наиболее
пригодных по своим индивидуально-психологическим качествам к работе в
правоохранительных органах; выявление и отсев лиц, которые по своим
интеллектуальным способностям могут быть в значительной степени подвержены
профессиональной дезадаптации и, соответственно, не отвечают требованиям,
предъявляемым работникам правоохранительных органов.
При психодиагностическом обследовании кандидатов
из резерва на выдвижение
может производится психологическая оценка степени их пригодности для работы в
качестве руководителей. В этом случае используется та же самая батарея
тестов, что и при отборе лиц, впервые поступающих на работу, с той лишь
разницей, что оценке подвергаются также качества, профессионально важные для
лиц, назначаемых на должности руководящих работников.
В соответствии с указанными выше задачами психодиагностические тесты должны:
· выявлять общий уровень интеллектуального развития кандидата,
структуру его индивидуально-психологических свойств, особенности темперамента
и характера, адаптивные возможности к избранной профессии;
· быть достаточно надежными, обладать не только текущей
(диагностической), но и прогностической валидностью, т.е. давать возможность
не только оценивать актуальное состояние кандидата, но и составлять научно
обоснованной, достоверный прогноз относительно его дальнейшего наиболее
эффективного использования;
· быть компактными, удобными для группового обследования кандидатов
в
ограниченные промежутки времени с использованием автоматизированной обработки
результатов тестирования;
· перепроверять и взаимодополнять друг друга в целях повышения
надежности, точности и достоверности полученных результатов.
Психологическое обследование лиц, отбираемых
в органы
прокуратуры, а также
выдвигаемых из кадрового резерва на руководящие должности в прокуратурах
областного и им равного звена должно производиться на основе этих тестов.
После всестороннего изучения опыта профессионально-психологического отбора,
накопленного в некоторых государственно-правовых ведомствах, близких по
характеру работы своих сотрудников к профессиональной деятельности
прокурорских работников, а также на основе специально проведенного
исследования была скомплектована батарея тестов, в которую в качестве
основных вошли следующие психодиагностические методики: шкала прогрессивных
матриц Дж. Равена, 16-факторный личностный опросник Р.Б. Кеттелла (16-ФЛО),
стандартизированный метод исследования личности (СМИЛ) - адаптированный; в
качестве дополнительных: цветовой тест М. Люшера, опросник «Уровень
субъективного контроля» А.М Эткина, опросник УСК, тест «Стратегии поведения в
конфликтной ситуации» К. Томаса.
В ходе проведенного исследования психологические критерии профессиональной
пригодности, выявленные с помощью отобранных тестов, сопоставлялись с
объективными критериями оценки прокурорских работников. Материалы личных дел,
а также факт назначения на руководящую должность в группе прокурорских
работников из резерва для выдвижения, позволили разделить всех обследованных
на четыре группы профессиональной пригодности:
1 - я группа - высокий уровень профессиональной эффективности, полное
служебное соответствие, высоковероятный прогноз профессиональной успешности;
2 - я группа - средний уровень профессиональной пригодности (в основном,
соответствует требованиям прокурорско-следственной специальности);
3 - я группа - кандидат частично соответствует требованиям прокурорско-
следственной специальности (может быть принят на работу при большом числе
вакантных мест);
4 - я группа - низкий уровень профессиональной эффективности, несоответствие
кандидата служебному назначению, прогноз его профессиональной неуспешности.
Шкала прогрессивных матриц Дж. Равена (тест Равена).
Данный тест предназначен для исследования интеллекта субъекта, выявления его
способности логически мыслить, находить существенные связи между предметами и
явлениями, для определения уровня умственной работоспособности, умение
концентрировать внимание, сообразительности в целом, т.е. качеств,
необходимых в деятельности юриста, а более прокурорско-следственных
работников. Низкие результаты по методике позволяют выявить лиц со сниженными
интеллектуальными, познавательными способностями, с недостаточно развитым
аналитическим складом мышления, неспособных концентрировать внимание.
Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:
2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
3) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированных тестов:
1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.
Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.
А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.
В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.