Berry J.W. Human ecology and cognitive style. – N. Y., 1976.
Bruner J.S. Acts of Meaning. – L., 1990.
Cronbach L.J., Drenth P.J.D. (Eds) Mental Tests and Cultural Adaptation. – N. Y., 1972. Handbook of human intelligence / Ed. By R.J. Sternberg. – Cambridge, 1982.
Segall M.H., Campbell D.T. The influence of culture on visual perception. – Chicago, 1966.
Serpell R. Culture’s influence on behavior. – L., 1976.
Studies in individual differences / Ed.J. Jenkins, D. Patterson. – N. Y., 1961.
Super C.M., Harkness S. The developmental niche: a conceptualization at the interface of child and culture / Pierce R.A., Black M.A. (eds). Lifespan development: a diversity reader. – Kendall, 1993. – P. 61–77.
Vernon Ph.E. Intelligence and cultural environment. – L., 1969.
Wober M. Distinguishing, centricultural from cross-culturaltests and research / Percept. And motor skills. – 1969. – V. 28. P. 201–233.
Глава 21. Критериально-ориентированное тестирование
В последние 3–4 десятилетия в психологической диагностике возникло и получило распространение новое течение – критериально-ориентированное тестирование (КОРТ), которое выдвинуло новый и вполне адекватный способ оценивания получаемых при тестировании материалов. Критериально-ориентированное тестирование предполагает достаточно глубокую перестройку всей концепции психологической диагностики, нового понимания всей системы изучения индивидуальных различий. В настоящее время можно говорить о двух концепциях КОРТ – американской, о сущности которой будет сказано далее, и российской, отечественной, основные положения и практика которой также будут раскрыты.
§1. Научные основы критериально-ориентированного тестирования
История разработки и применения критериально-ориентированного тестирования в образовании свидетельствует об углублении понятия «критерий», его психологизации. В развитии этого вида тестирования намечен переход от КОРТов, адресованных к формально-количественным аспектам усвоения объема знаний и навыков, к методикам, обращенным к эталонным структурам учебной деятельности, к объективным показателям уровня умственного развития, которые соотносятся с ключевыми требованиями школьной образовательной программы.
Первым, кто указал на самостоятельную сущность нетрадиционной формы тестирования и отделил его от тестирования, ориентированного на статистическую норму, был Р. Глейзер . Им же несколько раньше был введен и термин «критериально-ориентированное измерение».
Отличительной особенностью в КОРТе является оценка выполнения теста с точки зрения его соответствия критерию.
КОРТ измеряет, что индивид знает или умеет делать по сравнению с тем, что он должен знать или уметь делать, для того чтобы успешно решить задачу. Аспекты выполнения учебных заданий, выраженные в терминах знаний, умений, навыков, умственных действий, – это и есть критерий, на который ориентирован тест.
Критериально-ориентированный подход в диагностике не только предоставляет возможность своевременного контроля за продвижением каждого учащегося в том или ином учебном материале, но и открывает путь к совершенствованию содержательных и структурных компонентов учебной деятельности у учащихся.
Рассмотрим описанные Г. Уэллсом два варианта обучений стрельбе, каждый из которых связан с традиционным, ориентированным на статистическую норму, или же с критериально-ориентированным подходом к тестированию. В одном случае (вариант использования подхода, ориентированного на статистическую норму) стрелку дается краткое объяснение и подчеркивается, что его результаты будут сравниваться не с его собственными, а с результатами других стрелков. После выполнения задания сообщается результат, а также занятое обучающимся место. В другом случае (вариант использования подхода, предполагающего ориентацию на определенную область предметного содержания, – «domain» в значении «критерий») стрелка обстоятельно инструктируют, полученные результаты сравнивают с его собственными полученными ранее результатами, стрелку указывают на возможный способ преодоления ошибок и предлагают продолжать обучение с целью его усовершенствования. Г. Уэллс отмечает, что нетрудно себе представить нечто подобное при изучении математики, литературы, музыки и других учебных предметов.
На сегодняшний день большинство тестологов признают, что между критериально-ориентированным и ориентированным на норму подходами имеются существенные различия. Цели, для которых изготавливаются тесты, специфичность информации, которой они снабжают при оценивании результатов выполнения учебных задач, способы конструирования и обработки – все это служит основанием для различия этих двух видов тестов. КОРТ с самого начала конструируется с прицелом на определенную учебную задачу, между ним и задачей заранее планируются отношения содержательного соответствия (релевантности). Пo отношению к КОРТу учебная задача является не «внешним критерием», с которым впоследствии будут соотнесены тестовые показатели, но той реальностью, цели, содержание, способы выполнения которой тест выявляет.
Предположим, что ученикам V класса дано задание выполнить проект о деревьях и написать отчет, который содержит рисунки местных деревьев и их листьев, информацию о деревьях с точки зрения их вклада в экологию и качество жизни и рекомендации, как помочь защите деревьев. Для такого задания составитель теста определяет критерии процесса выполнения и получения конечного продукта. Соответственно, оценка проекта о деревьях будет осуществляться согласно таким критериям:
· доклад сделан аккуратно;
· нарисованы и обозначены по крайней мере три разных вида деревьев;
· описан каждый вид деревьев;
· описана ценность деревьев;
· описаны способы защиты деревьев.
Подобная эталонная модель выполнения задания может быть использована для оценки доклада каждого ученика. Для надежного использования критериальной оценки должны быть указаны пять модельных ответов по одному на каждый балл из пяти существующих.
Самым существенным условием при конструировании КОРТа будет разработка задания, адекватно отражающего выполнение учебной задачи. Трудными они будут или легкими, способствуют ли они нормальному распределению результатов или нет – не это определяет качество задания в таком тесте. Если подтверждается, что большинство прошедших определенный этап обучения справляется с тестовым заданием, а большинство необученных с ним не справляется, то это может служить необходимым основанием для включения этого задания в КОРТ. Необходимым, но не достаточным. Исследователь должен также убедиться, что испытуемые, успешно выполнившие задания, действительно применили навыки, заложенные в критерии, а не просто показали свою способность запомнить нужные термины или механически воспроизвести требуемые алгоритмы действий. Поэтому анализ задания в таком тесте должен быть сосредоточен на тщательной проверке состав выполнения задания, а не только на его статистических свойствах. Противопоставление КОРТа тесту, ориентированному на статистическую норму, не исключает того, что в практике применения первого может быть использована процедура стандартизации. Стандарты его выполнения при этом соотносятся с образовательными стандартами – совокупностью подлежащих усвоению на определенном этапе обучения предметных знаний и умений.
§2. Концепции критерия в КОРТе
Получившая распространение в начале 70-х гг, XX в. в США и других странах практика разработки КОРТа исходила из концепции критерия как эталонной совокупности предметных знаний и умений. В рамках этой концепции разрабатываются такие критерии, как уровень выполнения и уровень мастерства.
Истолкование критерия как уровня выполнения было неотъемлемо связано с теми идеями педагогической психологии, согласно которым учебный процесс понимается как последовательная отработка каждого из элементов учебного поведения. Последние фиксируются как «репертуар» наблюдаемых внешних действий, поддающихся однозначному измерению и соответствующему контролю. При этом цели учебного процесса подлежат обязательному «переводу» на виды действий, открытых для наблюдения и контроля. Этому придается особенное значение при разработке тестовых заданий. Рекомендуется, в частности, формулировать учебные цели в терминах, которые непосредственно указывали бы на действия, необходимые для их достижений. Разработчики критериально-ориентированных тестов в США (В. Дж. Попхэм, Р. Свези, Н. Гронлунд и др.) не случайно акцентировали необходимость операционализации учебной цели. Р. Свези отмечает, что образовательная цель должна ясно и недвусмысленно указывать на действия, которые позволяют ее достигнуть. Только в этом случае достижение данной цели подлежит измерению в КОРТе. При таком подходе считается, что термины «понимать», «оценивать», «проявить осведомленность», «принять во внимание», «реализовать» и т.д. хотя и связаны с конкретными учебными целями, прямо не указывают на характер действий, которые требуется совершить для их достижения. Более соответствующими конкретной цели, а также ясно определяющими характер необходимых действий являются, с этой точки зрения, термины «написать», «обозначить», «вычислить», «подчеркнуть».
Достижение учебной цели обычно фиксируется процентно-верным уровнем выполнения заданий КОРТа. Эмпирически установлено, что уровень выполнения тестов, соответствующий требуемому усвоению, должен быть порядка 80–100%. Как показала практика, фиксация этого уровня отражает устойчивые положительные результаты усвоения материала, большинство учащихся сохраняют при этом интерес к предмету. Снижение критериального уровня до 75% дает ухудшение учебных результатов.
КОРТы, разработанные с учетом уровня выполнения, широко используются в программированном обучении. Нужно отметить, что первые такие тесты появились в связи с внедрением в учебный процесс обучающих машин и применением индивидуальных учебных программ, и несостоятельность статистической нормы в установлении требуемого уровня выполнения здесь обнаружилась особенно явно. На первый план выступила необходимость установить, что из заданного объема программы усвоено ученикоми в какой мере он продвинулся в овладении учебным материалом по сравнению с тем, что знал раньше. В случае, если результаты тестирования не соответствовали критерию – процентно-верному результату, ученику рекомендовали вернуться к тем фрагментам учебного материала, которые требовали дополнительной проработки.
Исследователи и учителя, используя в учебном процессе индивидуальные программы и оперируя критериями их усвоения, не могли не обратить внимания на то, что часть учащихся не достигает заданного уровня, поскольку у них не складывается необходимая совокупность умений. Было высказано предположение, что умения и составляющие их операции, не получая достаточной проработки в учебном процессе, либо не формируется, либо закрепляются и интегрируются в «дефектные» системы. В теории и практике КОРТов возникает понимание критерия как уровня мастерства, т.е. эталонной совокупности всех операциональных компонентов, составляющих конкретное умение. Располагая такой характеристикой, учитель или исследователь может сравнить то, что делает ученик, с тем, что он должен уметь делать.
Особенность критериально-ориентированных тестов, направленных на установление уровня мастерства, состоит в том, что они не только выявляют объем усвоенного материала, но и указывают на возможности ученика активно использовать полученные знания в усвоении нового, более сложного материала. Как уже упоминалось, тесты с ориентацией на уровень выполнения могут установить (и это соответствует их сути), что тот или иной ученик достаточно подготовлен, чтобы перейти на следующий этап обучения. При этом остается неясным, организованы ли имеющиеся у ученика знания и навыки в приспособленные для решения конкретных задач эталонные структуры, а также на каком уровне усвоения они находятся. Уровень мастерства воплощает в себе критериальные требования, которые прежде всего обусловлены сложившимися в теории и методике обучения стандартами и образцами усвоения. Последние зафиксированы в школьных образовательных программах как состав учебных умений.
Допустим, для педагогической практики потребовался тест, который контролировал бы, в какой мере у учащихся сложилось понимание прочитанного. Это умение может быть рассмотрено с точки зрения его структурных компонентов. Вот примерный их перечень: постановка вопросов к прочитанному тексту, переформулирование трудных мест, выделение главных мыслей, составление плана к прочитанному тексту. Будет недостаточно назвать только эти компоненты. Каждый из них должен быть конкретизирован прежде всего в плане его внешних проявлений, т.е. реализующих их операций. Например, такой компонент, как выделение главной мысли, может быть операционально представлен следующим образом:
1) подчеркнуть предложение, выражающее главную мысль отрывка;
2) выбрать заголовок для отрывка;
3) перечислить факты, подтверждающие основную мысль, и т.д.
В таком КОРТе каждый из выделенных компонентов должен исследоваться отдельным субтестом. В субтест войдут задания, в которых представлены все операциональные формы соответствующего компонента. На основании результатов подготовленного таким образом КОРТа можно будет делать конкретные выводы о том, какими компонентами (и в каких операциональных формах) понимания прочитанного владеют или еще не овладели учащиеся. Это позволит судить о причинах затруднений и принять соответствующие коррекционные меры.
Результаты теста, использующего такой критерий, как уровень мастерства, можно надежно определить при условии, если будет подготовлен так называемый проверочный лист выполнения задания. В нем указываются особенности или характеристики процесса выполнения или итогового результата, который можно наблюдать, чтобы подтвердить качество решения тестового задания.
Например, в образце практического теста «Разделение угла пополам» определяются следующие шаги:
· используется циркуль;
· конец циркуля помещается в вершину угла, между сторонами проводится дуга;
· острие циркуля помещается на каждое пересечение дуги и стороны угла, проводятся равные дуги;
· от вершины угла к точке пересечения дуг проводится линия;
· при проверке с транспортиром видно, что два полученных угла равны между собой.
Другими словами, проверочный лист выполнения – это список заранее определенных действий, обусловливающих успешность решения данного задания. Наблюдая, как ученики выполняют подобные задания, исследователь отмечает все осуществляемые ими действия в соответствии с проверочным листом и использует их в качестве основы для определения меры соответствия эталону процесса выполнения задания.
Известно, что между разработкой диагностических тестов и педагогической теорией и практикой обучения, для которой данные тесты предназначены, всегда имеется тесная связь. Все те черты концепции критерия в КОРТе, которые были изложены выше, основываются на бихевиористической модели обучения. Постулируемый этой моделью отрыв учебных знаний и навыков от умственного развития отразился в критериально-ориентированном тестировании. В педагогической практике для контроля и оценки усвоения материала школьной программы используются КОРТы достижений (см. гл. 8), тогда как выявление умственных действий осуществляется с помощью построенных на традиционной основе тестов интеллекта и способностей.
Разработка КОРТа, обращенного к психологическим условиям выполнения учебных заданий, возможна лишь в контексте теории, рассматривающей в неразрывной связи обучение и развитие. В отечественной психолого-педагогической литературе неоднократно отмечалось, что овладением структурно-операциональным составом учебного задания не исчерпывается анализ выполнения задания. Усвоение учебного материала предполагает соответствующий уровень умственного развития, в частности сформированность соответствующих материалу умственных действий. КОРТы, в которых диагностическими показателями служат выполняемые умственные действия, воплощают такую концепцию критерия, как логико-психологическая подготовленность ученика к выполнению заданий. Подобные критерии предназначены для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым материалом учебно-образовательных программ. При таком подходе результаты испытаний при их сравнении с критерием дадут информацию о том, представлены ли в мышлении ученика необходимые для усвоения новых разделов программы умственные действия, может ли он уверенно их использовать при выполнении новых видов заданий.
Эта концепция критерия реализуется в разработке и применении КОРТов двух видов.
1. В одних используют такой критерий, как социально-психологический норматив – совокупность понятий и логических умений, определяющих необходимый на определенном образовательном этапе умственный инвентарь современного школьника. Определение социально-психологического норматива уже само по себе предполагает, что этот критерий характеризует логико-психологическую подготовленность испытуемых к выполнению заданий в широких предметных областях, таких как математика, естествознание, общественно-гуманитарные дисциплины. На его основе уже разработана серии гестов умственного развития (ШТУР, АСТУР, ТУРП и др.), принципы построения и практика их применения обсуждались в предыдущих главах.
2. КОРТы другого вида служат инструментами диагностики логико-психологической подготовленности испытуемых к выполнению предметно-специфичных заданий из конкретных учебных дисциплин. Соответственно, разрабатываются математические, языковые, биологические КОРТы, критерием в которых выступает предметно-логический эталон актуализации умственных действий. Анализу в таких КОРТах подлежит логико-психологическая подготовленность к выполнению не любого произвольно взятого учебного задания, а такого, которое отвечает следующим условиям:
· предъявляемый в учебном задании материал должен характеризовать внутренне завершенную область учебного содержания в конкретном учебном предмете;
· это задание должно являться ключевым но отношению к другим заданиям данного раздела предметной области; при его выполнении включаются в мышление ученика новые термины, понятия, на основе которых устанавливаются логические связи с прошлым и подлежащим усвоению понятийным знанием;
· учебное задание должно быть пригодно для возможно более полного психологического декодирования, т.е. может быть представлено в виде систематизированного и последовательного перечня умственных действий;
· опосредствующие выполнение учебных заданий умственные действия должны находиться в стадии становления, на этой стадии они открыты для логико-психологического анализа и последующей коррекции.
В настоящее время определены теоретические предпосылки психологической анализа учебного задания для КОРТа, реализующего данный вид критерия. В отличие от тестов, ориентированных на уровень выполнения или уровень мастерства, рассматриваемые КОРТы являются тестами с психологическим содержанием.
§3. Разработка КОРТа с психологическим содержанием
Психологическое содержание методик КОРТ определяется следующим:
· их особой направленностью – обращенностью теста на контроль умственного развития и оценку его уровня. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учебных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им придан самый общий характер – это ссылки на необходимость анализа, синтеза, сравнения, обобщения без определения содержательных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе специально организованных наблюдений за учащимися, когда они выполняют задания, позволяющие наметить, какие действия необходимо произвести;
· использованием методических приемов, с помощью которых осуществляется отбор содержания тестовых заданий, а также анализ способов ориентации в предметном материале, каждый из которых обусловлен «субъективной логикой» учащихся, овладевающих требуемыми умственными действиями.
Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, спецификация вместе с тем определяет границы той области содержания, к которой тест относится.
Для того чтобы показать, как проводится спецификация, обратимся к уже имеющемуся опыту разработки методик КОРТ. Тест, о котором пойдет далее речь, был разработан на материале математики (VI класс общеобразовательной школы) и направлен на выявление умственных действий, опосредствующих умение составлять уравнения по условиям текстовых задач. Умение составлять уравнение является ключевым в ряду математических знаний и умений. В V–VI классах это умение только формируется, здесь закладывается и его психологическое содержание, т.е. обусловливающие функционирование умения умственные действия. На дальнейших этапах роль этого умения возрастает.
Подготавливая спецификацию теста, прежде всего нужно раскрыть критериальное значение исследуемого содержания. Для указанного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, опосредствующих формирование приемов мышления школьников. Эти приемы выступают как условие исследования и решения текстовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, конечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами является конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве содержательной основы умственных действий. Ориентация на знаковую модель, являющуюся результатом мыслительного преобразования текстовой математической задачи, выступает, таким образом, как критерий формирования умственных действий. Он и закладывается в данный тест. Составление уравнения по условиям текстовых задач предполагает, что учащийсявладеет такими умственными действиями:
· осуществляет анализ задачной ситуации, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);
· устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием;
· производит разбиение задач на классы по существенному основанию – типу отношений между величинами;
· усматривает подобие в задачах, исходя из аналогичного характера моделирования зависимости между величинами.
Выявленная совокупность умственных действий составляет основу конструирования методики КОРТ. Сформированность, каждого из действий проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по числу обозначенных действий). Им даны следующие названия: «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества».
Разработчик теста должен быть уверен, что в тест войдет материал, который репрезентативен для исследуемого учебного содержания. С этой целью была произведена каталогизация текстовых математических задач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче, взаимосвязанные величины или разные значения одной и той же величины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удельный вес каждой из задач, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, представленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимулъного материала. Например, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ориентации в материале, – субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно математическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между величинами, фиксируемые знаковой моделью определенного вида.
Внесение в задания стимульного материала позволяет определить, насколько степень сформированности умственного действия соответствует установленному критерию. Если ученик так и не овладел предметной логикой актуализации умственного действия, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.
Приведем образцы заданий всех четырех субтестов рассматриваемого КОРТа с указанием содержательных показателей их выполнения.
Субтест «Выделение существенного». В него входят задания следующего типа: установи, какое из выделенных (А, Б, В, Г) условий является существенным в определении характера уравнения, которое следует составить «сданной задаче.
Заказ по выпуску машин завод должен был выполнить за 15 дней (А), но уже за 2 дня до срока (Б) завод не только выполнил план, но и выпустил сверх плана еще 6 машин (В), т.к. ежедневно выпускал по 2 машины сверх плана (Г). Сколько машин должен был выпустить завод по плану?
Правильное выполнение задания предполагает, что учащийся ориентируется на условие, указывающее на отношение между величинами (условие В): «Объем выпущенной сверх плана продукции на 6 машин больше планового объема». Данное условие является «ключевым» в выявлении характера уравнения, тогда как условия А, Б, Г хотя и содержат в себе математическую информацию, но определяют лишь вид отдельных алгебраических выражений, но не уравнения в целом.
Субтест «Четвертый лишний». В него включены задания типа: даны четыре задачи, три – одного вида, одна – другого, т.е. лишняя, относится к задачам другого вида. Требуется определить, какая из задач (А, Б, В, Г) является лишней.
А. Бригада трактористов намечала ежедневно вспахивать по 60 га. Однако план вспашки перевыполнялся ежедневно на 25%, и поэтому пахота была закончена за день до срока. Требуется определить, за сколько дней было вспахано поле.
Б. Фермер планировал засевать по 25 га в день. Но ему удалось увеличить дневной сев на 5 га, и поэтому он закончил работу на три дня раньше срока. Какова площадь поля, которое засеял фермер?
В. Расстояние между двумя станциями электропоезд проходит за 1,2 часа. Из-за ремонта пути поезд уменьшил свою скорость на 20% и прошел это расстояние за 1,5 часа. Найти первоначальную скорость поезда.
Г. Два звена собрали со своих участков 8840 ц кукурузы, причем первое звено получило в среднем с 1 га по 150 ц зерна, а второе – по 108 ц. Участок второго звена был на 35% больше участка первого звена. Определить площадь участка первого звена,
При выполнении задания существенным является то, что учащийся сопоставляет и объединяет задачи на основе общности типа отношений между величинами (лишняя в ряду задач – задача Г). Общность сюжета (сельскохозяйственные работы – задачи А, Б, Г), сходство отдельных деталей (зависимость между значениями величин задается в форме процентного соотношения – задачи А, В, Г) не является достаточным основанием для заключения о том, что задачи относятся к одному и тому же виду.
Субтест «Найди подобную». В него входят задания следующего типа. Найди задачу, подобную данной: найти три последовательных нечетных числа, сумма которых равна 81.
A. Шнур разрезали на три части, причем первая часть в два раза больше второй и третьей в отдельности. Чему равна длина каждой из трех частей, если известно, что вторая часть меньше первой на 81 см?
Б. Сумма двух чисел равна 81. Если одно из них увеличить в два раза, то сумма полученных чисел будет равна 136. Чему равно каждое из двух чисел?
B. Сумма углов треугольника равна 180 градусам. Величины углов относятся как числа 3,4 и 5. Найти углы треугольника.
Г. Найти два числа, сумма которых равна 132, если 1/5 одного числа равняется 1/6 другого.
Существенной при актуализации действия нахождения аналогии является ориентация на подобие знаковых моделей рассматриваемых задач (задача В). Нахождение аналогии на основе сходства числовых данных (А), отдельных лексических единиц условия задачной ситуации (Б), аналогичных синтаксических организаций (Г) свидетельствует о том, что учащийся представленным в субтесте умственным действием не владеет.
Субтест «Установление тождества». В него входят задания такого вида: какая из составленных задач соответствует уравнению вида 6х–х=25?
A. Витя задумал два числа. Их частное равно 6, а разность 25. Какие числа задумал Витя?
Б. Мама испекла 25 пирожков с малиной и яблоками. С малиной пирожков было в 6 раз больше. Сколько пирожков было с яблоками?
B. В одной комнате в 6 раз больше людей, чем во второй. После того как из первой комнаты 25 человек перешли во вторую, в обеих комнатах людей стало поровну. Сколько людей было в каждой комнате первоначально?
Г. После того как в первую неделю израсходовали 1/6 часть всего имеющегося угля, на складе осталось 25 т угля. Сколько всего угля было на складе?
Пример.
Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.
Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.
Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.
НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.
Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.
Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.
В дальнейшем нам потребуются следующие определения:
Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.
Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.
Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.
1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.
Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.
Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.
2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.
Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.
3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.
4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.
Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.
Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.
5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.
6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.
Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.
Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.
Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.
Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.
Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов
| Нормативно - ориентированные тесты | Критериально - ориентированные тесты |
| 1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение. | 1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
| 2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. | 2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов). |
| 3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид. | 3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид. |
| 4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания. | 4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания. |
| 5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. | 5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов. |
| 6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. | 6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
| 7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. | 7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании. |
| 8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности. | 8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность. |
Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:
1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;
2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.
Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.
методики психодиагностики, выявляющие, насколько испытуемый владеет знаниями, навыками умственных действий, необходимыми и достаточными для выполнения определенных классов учебных или профессиональных заданий. Критерием служит наличие или отсутствие этих знаний. Тестирование критериально-ориентированное позволяет обнаружить при анализе результатов конкретные недочеты развития умственного как индивидов, так и целых групп, и наметить меры для их устранения.
По своей сущности эти тесты представляют собой инструмент связи обратной в организации процессов обучения. Они конструируются на базе анализа логико-психологической структуры критерия. Между методикой и критерием заранее предусматривается психологическое соответствие, релевантность. Результаты тестирования, проведенного с помощью этих методик, оцениваются не по порядковому месту испытуемого в выборке и не по отношению к статистической норме, а по отношению этих результатов ко всей сумме тестовых задач. Каждая из задач построена из ключевых понятий и терминов критерия, с коими испытуемому предлагается выполнить логические операции. Этим индивидуальные оценки по таким тестам отличаются от оценок, получаемых при традиционном тестировании интеллекта и способностей.
Первые сообщения о тестах критериально-ориентированных появились на Западе в начале 60-х гг. Позднее проблемы тестирования критериально-ориентированного обсуждались во многих монографиях и руководствах, посвященных психодиагностике. Положительно оценивались результаты применения тестов критериально-ориентированных в школе. Западные авторы тестов критериально-ориентированных уделяют недостаточно внимания собственно психологическим аспектам методик. Отечественные психологи, работая в этой области, руководствовались в исследованиях принципом единства формы и содержания мышления. Было показано, что успех индивида в работе с каким-то одним предметным содержанием (например, заданиями по математике) не означает, что он столь же успешно будет работать с другим предметным содержанием (например, заданиями по языку, по биологии). В каждом случае можно обнаружить специфику выделения в предметном содержании признаков, нужных для успешного выполнения задания. При этом успех зависит не только от предшествующего обучения, но и от природных данных индивида.
ТЕСТЫ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ
методики психологической диагностики, выявляющие, насколько испытуемый владеет знаниями, навыками умственных действий, которые необходимы и достаточны для выполнения определенных классов учебных или профессиональных заданий. Критерием служит наличие или отсутствие этих знаний. По своей сущности тесты критериально-ориентированные представляют собой инструмент обратной связи в организации процессов обучения. Результаты тестирования, проведенного с помощью этих методик, оцениваются не по порядковому месту испытуемого в выборке и не по отношению к статистической норме, а по отношению этих результатов ко всей сумме тестовых задач.
ТЕСТ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ
частный случай теста, предназначенного для абсолютного тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемый учебной программы или ее части. При этом результаты тестирования сравниваются с некоторым критерием уровня подготовленности.
Критериально-ориентированные тесты
Словообразование. Происходит от греч. kriteriоn - признак, на основании которого производится оценка.
Специфика. Психодиагностические методики, направленные на выявление степени овладения индивидом той или иной учебной или профессиональной деятельностью. Критерием в них выступает владение вполне определенными знаниями, умениями или навыками. Для оценки индивидуальных результатов используется не сравнение индивидуальных результатов со статистическими нормами, а констатация наличия или отсутствия определенного психологического компонента в общей структуре оцениваемого действия.
Критериально-ориентированный тест
criterion-referenced tests). Тест, оценивающий результат индивидуума относительно требуемого уровня владения конкретными навыками или установленных целей обучения.
2 Педагогический тест – система заданий специфической формы, позволяющая объективно и функционально, независимо от преподавателя, измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков в той или иной области содержания.
3 Классификация педагогических тестов По уровню контроля: вступительные, текущие, тематические тесты, тесты промежуточной и итоговой аттестации. По содержанию: гомогенные и гетерогенные. По методологии интерпретации результатов: нормативно-ориентированные и критериально-ориентированные. По форме предъявления: бланковые, компьютерные ординарные и компьютерные адаптивные.
4 Гомогенный тест – основывается на содержа- нии какой-либо одной дисциплины. Гетерогенный тест – основывается на содержании нескольких дисциплин, Полидисциплинарный тест - набор гомогенных тестов (субтестов) по отдельным дисциплинам. Междисциплинарный тест - каждое задание теста должно включает элементы содержания нескольких дисциплин. Выполнение таких заданий требует применения некоторых обобщенных, интегративных знаний и умений. Наиболее пригоден для итоговой аттестации степени соответствия уровня подготовленности студентов к профессиональной деятельности требованиям ГОС, но очень реализация сложна.
5 Нормативно-ориентированный педагогический тест – позволяет сравнивать учебные достижения (уровни профессиональных знаний и умений) отдельных испытуемых друг с другом. Эти тесты используются для того, чтобы получить надежно и нормально распределенные баллы для сравнения тестируемых. Критериально-ориентированный педагогичес- кий тест – система заданий, позволяющая измерить уровень индивидуальных учебных достижений относительно полного объема знаний, навыков и умений, которые должны быть усвоены обучаемыми по конкретной дисциплине.
6 Этапы разработки критериально-ориентированного теста 1. На основании ГОСа по соответствующей дисциплине определяется область содержания теста и цели тестирования. План (спецификация) теста для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с ГОСом по специальности. 2. Для каждого пункта спецификации разрабатывается несколько тестовых заданий. 3. Методическая комиссия кафедры (эксперты) оценивает соответствие заданий области содержания и целям тестирования. Проводится внутреннее пробное тестирование преподавателями кафедры. Осуществляется предварительная корректировка теста. Определяется время тестирования студентов Тст = Тпр * 2.
7 4. По замечаниям экспертов задания корректируются и проводится пробное тестирование в аудитории. Нельзя сообщать студентам, что это пилотное тестирование – можно получить некачественные результаты. 5. На основании анализа статистических параметров по каждому заданию и тесту в целом производится повторная корректировка теста – убираются неудачные задания, если необходимо составляются новые. 6. Выбор стандартов оценивания экспертными и эмпирическими методами. Оценка надежности теста. Оценка содержательной и критериальной валидности. 7. Составление окончательного варианта теста и его параллельных форм. Тиражирование самого теста и связанных с ним материалов.
8 Первоначально нужно ответить на вопрос – для измерения чего предназначен тест, т.е. каковы область содержания и цель тестирования. При разработке плана делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе. В спецификации фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Также в спецификации желательно указать вес каждого задания, рекомендуемый автором, рекомендуемое время выполнения теста, охват требований стандартов, рекомендуемая стратегия расположения заданий в тесте.
9 Кто будет тестироваться, т.е. какая выборка студентов будет участвовать в тестировании? Кто реально заинтересован в получении результатов тестирования и какую информацию нужно предоставить пользователям? Критерий оценивания может быть установлен 50% для оценки текущей успеваемости по непрофилирующим дисциплинам и 85% для аттестационных тестов по специальным дисциплинам. Надежность теста оценивается степенью постоянства принятия решения «зачет-незачет» при двукратном тестировании. Для этого заполняется таблица сопряжения результатов «2х2» и вычисляется фи-коэффициент корреляции и каппа-коэффициент согласованности результатов тестирования.
10 Принципы отбора содержания тестовых заданий для тестов 1. Принцип конгруэнтности – соответствие содержания педагогического теста содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания. 2. Принцип значимости – отражает необходимость включения в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. 3. Принцип научной достоверности – все спорные точки зрения, допусти- мые в научном споре, следует исключить из тестовых заданий. 4. Принцип соответствия содержания теста уровню современного состояния научного знания – необходимо постоянно совершенствовать тест, добавляя в банк новые тестовые задания. 5. Принцип системности, комплексности и сбалансированности содержания теста – подбор заданий, комплексно отображающих основные темы учебной дисциплины. 6. Принцип возрастающей трудности тестовых заданий – каждый учебный элемент имеет некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний. 7. Принцип взаимосвязи содержания и форы – не всякое содержание задания можно выразить в тестовой форме. Также содержание теста должно отвечать логическим и семантическим требованиям и нормам.
11 Задания с выбором ответа (в закрытой форме) Тестовые задания Задания с повторяющим ся выбором элементов множества Задания с неповторяющ имся выбором элементов множества Задания с повторяющим ся выбором элементов множества Задания на установление соответствия открытой формы Задания на установление соответствия с вариантами ответов Задания на установление соответствия Задания на установле- ние правиль- ной последоват ельности в открытой форме Задания на установле- ние правильной последовате льности в закрытой форме (с готовыми вариантами последовате льности) Задания на установление правильной последовательности Задания с 3-мя и более вариантами ответа Задания на сравнение величин Задания с выбором нескольких правильны х ответов Задания на логический выбор из трех утверждений Задания с привязкой к одному информацио нному блоку Задания с подчеркиван ием частей предложе- ния Задания с пропусками частей предложе- ния Задания на причинно- следствен- ные отношения Задания на «квазипроф ессиональ- ную» ситуацию Задания с 2-мя ответами Задания на выбор местополож ения курсора мыши на экране монитора Задания открытой формы Задания с коротким ответом Задания с развернуты м ответом
12 Требования к заданиям с выбором ответа В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов; Задание имеет предельно простую синтаксическую конструкцию; В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы; Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других; Из текста должны быть исключены все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки; Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова; Основная часть задания должна быть освобождена от всякого иррелевантного для данной проблемы материала; Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий;
13 Требования к заданиям с выбором ответа В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа; Из числа неправильных исключаются ответы, вытекающие один из другого; Из числа тестовых исключаются задания, содержащие оценочные суждения или мнения ученика по какому-либо вопросу; Все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа; Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов; Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста; Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах; Все ответы должны быть параллельны по конструкции грамматически согласованными с основной частью задания теста.
14 Информационные технологии 1. Сервер – это: программа; тест; команда; компьютер. 2. Вирусы типа "Троянский конь" характеризуются отсутствием маскировки да; нет. Экономическая теория 3. Труд, капитал, земля, предпринимательская способность - базовая классификация экономических ресурсов. Можно ли к экономическим ресурсам отнести деньги? можно, если они используются для покупки инвестиционных ресурсов; можно, если ими оплачиваются услуги труда; все ответы – правильные; все ответы – неправильные; можно, если деньги помещены в банк и приносят процент. Экономическая теория 4. Специфика предпринимательского таланта как экономического ресурса в отличие от труда состоит в том, что предприниматель способен организовать производство и выпуск товаров и услуг, путем соединения всех необходимых факторов производства; предприниматель принимает основные решения по управлению производством и ведению бизнеса; предприниматель никогда не рискует своими денежными средствами; все ответы верны; верны ответы 1) и 2).
15 В задании Б неудачно сформулированы варианты ответа на вопрос – правильный ответ должен быть «замаскирован» среди неправильных. В задании Б правильный ответ легко отличить по его длине. Маркетинг А. Кривая спроса иллюстрирует следующее положение: Если товара сегодня произвели меньше, чем вчера, то его меньшее количество может быть продано только по более низкой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более высокой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более низкой цене; Если товара сегодня произвели столько же, сколько вчера, на него можно плавно поднимать цену. Б. Ваши ответные действия на снижение цены конкурентом на определенный продукт: Тоже снижу цену; Немедленно осуществлю комплекс мероприятий, включающий корректировку ценовой политики и учитывающий возможности предприятия и реальные условия; Уйду с данного рынка; Прекращу выпуск данной продукции.
16 Неудачно сформулированы варианты ответа на поставленный вопрос. Ответы должны быть продолжением фразы, содержащейся в вопросе. Маркетинг Для партнерства не характерно, то что … партнеры не принимают единоличных решений; каждый партнер несет неограниченную ответственность по долгам фирмы; возможность привлечения дополнительного капитала путем продажи акций; партнеры несут личную ответственность за дела фирмы; невозможность привлечения дополнительного капитала путем продажи акций. В матрице БКТ (Бостонской Консалтинговой Группы) категория товаров – дойные коровы определяются как: высокий темп роста продаж; находятся в конце жизненного цикла; приходит больше прибыли, чем требуется для поддержания их доли на рынке; товар, который уже долго остается в товарном портфеле компании.
17 Информационные технологии Как сменить диск на левой панели? Shift+F1 Ctrl+F1 Alt +F2 Alt +F1 Экономическая теория Кривая предложения отражает зависимость между величиной издержек производства и ценой товара; ростом населения и объемом предложения; объемом производства данного товара и его ценой; величиной издержек производства и объемом предложения; объемом производства данного товара и количеством используемых ресурсов В первом примере очевидно, что варианты ответа не равновероятны – 1) два одинаковых сочетания - Alt +F2 и Alt +F1, 2) F1 встречается 3 раза, следовательно правильный ответ - Alt +F1. Возможность угадывания должна быть сведена к минимуму. Исключение составляют расчетные математические или физические задачи, в которых без расчета необходимо «увидеть» ответ. Соблюдено правило относительно местоположения альтернативных ответов Присутствует сочетание в дистракторах правильных и неправильных элементов. Этот прием позволяет повысить привлекательность дистракторов Экономическая теория Сахар дополняет кофе, но заменяет фруктозу. Удорожание сахара может привести при прочих равных условиях к … сокращению спроса на кофе и фруктозу понижение цен на кофе и фруктозу. некоторому понижению спроса на кофе и повышению спроса на фруктозу повышению цен на кофе и повышению спроса на фруктозу нет правильного ответа
Самара 2000
Джефри Вялфорд, Великобритания (перевод и адаптация к отечественной терминологии - Кузнецов В. Г., к. п. н.)
Теория и практика современного педагогического тестирования имеет не более чем столетнюю историю. Развитие психологии и педагогики с конца XIX века до начала первой мировой войны было тесно связано со становлением тестовых технологий. Социальные и научные условия конца XIX и начала XX веков заставляли педагогов и психологов рассматривать результаты тестирования с точки зрения сравнения относительных способностей испытуемый, что стало со временем называться нормативно-ориентированным подходом к интерпретации результатов тестирования.
Когда индивидуальные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравниваются с результатами других экзаменующихся из группы, то в этом случае говорят о критериально - ориентированном подходе к тестированию .
Идея критериально - ориентированного тестирования и сам термин появились в 60-е годы нашего столетия. К этому времени нормативно-ориентированное тестирование развивалось уже более полувека. Начиная с 70-х годов, критериально - ориентированные тесты получили всеобщее признание и стали широко применяться в сфере образования и профессиональной аттестации кадров.
Они получили в настоящее время широкое применение в образовании, индустрии и вооруженных силах США, Великобритании, Голландии, Японии и в других развитых странах. Они обеспечивают пользователей тестов ценной информацией, причем отличной от той, которая может быть получена в результате проведения нормативно-ориентированных тестов.
Критериально - ориентированные тесты или как их еще называют domain-referenced tests (тесты, ориентированные на область содержания) и mastery tests (квалификационные тесты) используются во многих образовательных учреждениях развитых стран и решают различные задачи.
За последнее время стало обычным для государственных образовательных институтов определять совокупность знаний, умений и навыков, которые студенты должны усвоить, чтобы перейти с одного курса на другой или чтобы получить соответствующий диплом. В России эта совокупность получила свое воплощение в создании государственных образовательных стандартов. Использование критериально - ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и поэтапной аттестации студентов является чрезвычайно перспективным.
Одно изсамых важных приложений критериально - ориентированных тестов - это сертификация и лицензирование в сфере профессиональной деятельности. В США, например, стало весьма распространенным явлением, когда профессиональные организации устанавливают аттестационный экзамен в виде критериально - ориентированного теста (или батареи тестов), который испытуемые должны успешно пройти, чтобы получить возможность практики в выбранной сфере профессиональной деятельности. Многие из этих профессиональных организаций применяют критериально - ориентированные тесты для повторной сертификации испытуемых. Типичный профессиональный экзамен, основанный на критериально - ориентированных тестах, измеряет знания, умения и навыки, необходимые для профессиональной деятельности, а результаты тестирования интерпретируются по отношениюк минимальному установленному стандарту оценивания.
Понятие нормативно-ориентированного и критериально - ориентированного педагогического теста
В настоящеевремя существует два основных подхода к разработке тестов для конкурсного, а также профессионального отбора, и для аттестации учащихся и специалистов: нормативно - ориентированный и критериально - ориентированный. Эти два подхода различаются навсех этапах разработки с момента выбора содержания до момента интерпретации результатов.
Самая общая их характеристика заключается в следующем .
Нормативно - ориентированный подход (по-английски norm-referenced) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом.
Критериально - ориентированный подход (по-английски criterion-referenced) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом
Для аттестационного контроля уровня обученности более привычной и естественной является задача, решаемая в рамках критериально - ориентированного подхода. Тем не менее, в процессе тестового контроля оба подхода важны необходимы.
Тесты измеряют степень усвоения учебного материала овладения необходимыми знаниями, умениями и навыками уровень профессиональной квалификации кадров. В результате измерения степень проявления какого-либо свойств испытуемых выражается в тестовом балле, представляющем собой определенное число. Тестовые баллы располагайте на специальных шкалах, выбранных разработчиками.
Нормативно-ориентированные педагогические тест используются для того, чтобы получить надежные и нормально распределенные баллы длясравнения тестируемых.
Критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результат тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.
Хотя различия нормативно-ориентированных и критериально-ориентированных тестов существенны,они имеют много общего. С первого взгляда на сам тест, довольно трудно определить какой из этих двух типов имеет место. Он используют те же формы тестовых заданий и подобные инструкции для испытуемых.
Первое различие - это цель создания теста. Нормативно-ориентированные тесты составлены специально для того, чтобы получить возможность сравнения испытуемых в той области содержания, для которой тест предназначен. Для этого используются нормативные или стандартные шкалы.
Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для:
- оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;
- отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;
- оценки эффективности программы обучения в том или ином учебном заведении.
Результаты критериально-ориентированного тестирования также могут быть использованы для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.
Второе различие этих двух типов тестов состоит в уровне детализации области содержания. От разработчиков обоих типов тестов обычно требуется формирование спецификации его содержания. Создатели критериально-ориентированных тестов должны, в типичных случаях, подготовить значительно более детализированную спецификацию содержания,чем составители нормативно-ориентированных тестов. Это необходимо для того, чтобы пользователи теста были уверены в адекватной интерпретации тестовых баллов.
Третье различие лежит в плоскости проведения статистической обработки результатов тестирования. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев для этого типа тестов применяются специальные нормативные шкалы. Каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. Если для индивидуального балла данного испытуемого процентильный эквивалент равен 75, то это означает, что у 75% тестируемых из нормативной группы результаты тестирования были такие же или хуже. Обработанные индивидуальные баллы по результатам критериально-ориентированного тестирования не относятся к какой-либо нормативной группе или выборке испытуемых. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается в шкале процентов.
Четвертое основное различие лежит в плоскости технологии анализа и отбора тестовых заданий. В нормативно - ориентированных тестах статистические показатели тестовых заданий (уровень трудности и различающая способность) играют важную, а часто определяющую роль в отборе заданий. В общем случае задания со средним уровнем трудности и высокой различающей способностью имеют больший шанс быть отобранными для использования в тесте этого типа, таккак они вносят существенный вклад в вариацию индивидуальных баллов студентов. Надежность теста, в общем случае, будет выше, если вариация тестовых баллов увеличится. Напротив, в критериально - ориентированных тестах статистические характеристики (уровень трудности и различающая способность) заданий не является основной причиной для их включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий в критериально - ориентированный тест - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм критериально - ориентированных тестов и для выбора оптимального стандарта оценивания.
Эти два типа тестов различаются и по методам конструирования, и по особенностям применения. Однако, основным критерием для разделения тестов на нормативно- и критериально - ориентированные является подход к интерпретации тестового балла.
Существует и ряд других важных различиймежду ними. Характерные особенности этих двух типов тестов можно свести в таблицу 4.2.
Нормативно-ориентированные тесты
В большинстве тестовых программах за рубежом использовались и используются в настоящее время различные виды шкалированных (обработанных) баллов. В практике массового педагогического тестирования существует более или менее стандартный набор шкалированных баллов, которые информируют пользователей теста об относительных способностях испытуемых .
К таким шкалированным (обработанным) баллам относятся: процентильные эквиваленты; стандартные линейные шкалы; стандартные нормативные шкалы и другие виды педагогических шкал . Шкалированные баллы помогают пользователям тестов получить информацию о позиции экзаменуемого по отношению к хорошо определенной группе, определенной специфической выборке испытуемых.
Эта специфическая выборка испытуемых часто называется нормативной группой, и так как обработанные баллы ориентированы на баллы в нормативной группе, они называются нормативно-ориентированными баллами.
В основе нормативно-ориентированной интерпретации лежит сопоставление индивидуального тестового балла данного студента с баллами, полученными другими испытуемыми. Самый простой способ провести нормативно-ориентированную интерпретацию тестового балла состоит в том, чтобы сообщить, сколько процентов учащихся из учебной группы, в которой проводилось тестирование, выполнили тест хуже (получили болеенизкий балл) и сколько процентов выполнили тест лучше (получили более высокий балл). Однако при такой интерпретации возникает следующая трудность: оценка индивидуальных учебных достижений оказывается зависимой от уровня подготовленности всей группы студентов, в которой проводилось тестирование. Гипотетически преодолеть эту проблему можно было бы следующим образом : протестировать всю популяцию, для которой разрабатывался тест, и сравнить индивидуальный балл с полученными результатами. Под популяцией понимается все множество учащихся, которые обучаются данной дисциплине и по данное программе. Если тест разрабатывается для применения в каком-либо одном учебном заведении, то в популяцию включают все учебные группы, обучающиеся по одной программе. Если тест разрабатывается для применения в рамках регионе или страны, то популяция принимает весьма внушительные размеры. Протестировать такое количество испытуемых практически невозможно. Поэтому, чтобы получить информацию с том, как выполнили тест все испытуемые, прибегают к формированию так называемой выборке стандартизации. Это специально подобранная группа испытуемых, которая адекватно репрезентирует популяцию, для которой разрабатывается этот тест. В выборке стандартизации пропорционально представляются все возрастные, социальные и другие группы испытуемых, из которых состоит популяция. Результаты проведения теста на образованной таким образом выборке называются тестовыми нормами. Отсюда происходит термин "нормативно-ориентированное тестирование". По нормам судят с том, как выполнили бы тест все испытуемые, для которых он предназначен. Если выборка стандартизации адекватно репрезентирует популяцию, то, сопоставляя индивидуальный балл с нормами, можно получить оценку уровня учебных достижений испытуемого по сравнению с уровнем учебных достижений других учащихся. Такая оценка уже не зависит от группы, в которой проводилось тестирование .
Педагогические тесты, специально разработанные для того, чтобы провести нормативно-ориентированную интерпретацию, называются нормативно-ориентированными тестами.
Нормативно-ориентированные тесты имеют свою специфику, связанную с их основной задачей - дифференцировать испытуемых. При разработке этого типа стараются добиться высокой вариативности тестовых баллов. Если большинства испытуемых получает только низкие, или только средние или только высокие баллы, то труднее установить между ними различия. Если же вариативность баллов высокая (встречаются и низкие, и средние, и высокие баллы), то дифференцировать испытуемых легко. Нормативно-ориентированные тесты разрабатываются таким образом, чтобы распределение баллов было близко к нормальному. Математические методы, применяемые при конструировании и оценке нормативно-ориентированных тестов, рассчитаны на модель нормального распределения и основываются в основном на корреляционном анализе .
Нормативно-ориентированный подход чрезвычайно полезен, когда необходима информация об испытуемом, связанная с его относительными способностями или относительной обученностью по сравнению с другими испытуемыми. Естественно, потенциальная ценность интерпретации нормативно-ориентированного подхода зависит и от соответствия нормативной группы целям тестирования, и от чистоты и тщательности, с которой была составлена нормативная группа.
Для того чтобы определить способности абитуриента по математике очень важно знать, что нормативная группа является репрезентативной для всей группы абитуриентов. Иногда для принятия важных решений необходимо ориентироваться на более специфическую нормативную группу. Например, нормативная группа абитуриентов на инженерные специальности будет более подходить для интерпретации относительной способности абитуриента на инженерные специальности по результатам нормативно-ориентированного тестирования,чем просто, нормативная группа всех абитуриентов.
Отметим основные недостатки нормативно-ориентированного подхода к педагогическому тестированию. Для большинства педагогических тестов необходимо знать гораздо больше об испытуемом,чем дает нормативно-ориентированный подход. Например, для некоторого абитуриента мы получили 65 процентильных эквивалентов в результате тестирования. Это означает, что данный абитуриент ответил на задания данного теста не хуже, чем 65% испытуемых из всей, достаточно большой нормативной группы. Но мы не знаем,какие именно понятия усвоены данным абитуриентом, икакие задачи он может решать. Требовалось ли в данном тесте от данного абитуриента только легко запоминаемых для решения алгоритмов, или от него требовалось творческое решение, творческий подход для решения заданий. Более того, мы незнаем, какую долю от всей программы твердо усвоил данный испытуемый. Подобного рода вопросы становятся важными тогда, когда намеченное использование теста выходит за рамки определения относительных способностей экзаменующегося. Определение относительных способностей абитуриентов может быть важным для конкурсных экзаменов, но после проведения учебного процесса в течение некоторого времени, преподавателям необходимо узнать какого вида понятия каждый студент усвоил, и какие типы задач может решать данный студент, фактически какую долю от изученного материала он усвоил.
Критериально-ориентированные тесты
Существует, однако, и подход отличный от нормативно-ориентированного, когда обработанные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравнительные способности с другими экзаменующимися из нормативной группы. В этом случае говорят о критериально-ориентированном подходе .
Такие тесты называются критериально-ориентированными. Однако педагогический тест может при специальной технологии составления и интерпретации предоставлять как нормативно-ориентированную, так и критериально - ориентированную информацию для пользователей.
В литературе существует много определений критериально-ориентированного теста. Авторы используют этот термин различно, поэтому необходимо однозначно определить критериально - ориентированный подход. Каждый вид критериально-ориентированного теста составлен для того, чтобы интерпретировать результаты тестирования по отношению к определенной области содержания. Эта интерпретация может совершаться различными способами, которые зависят от цели тестирования. Определение теста должно служить базисом для установления границ данной концепции. Критериально-ориентированный тест - это такой тест, который намеренно составлен, чтобы производить педагогические измерения и напрямую интерпретироваться в терминах точно определенного стандарта. Данные педагогические измерения производятся путем выбора репрезентативного набора тестовых заданий на соответствующей области содержания. Критериально-ориентированные тесты специально составлены таким образом, чтобы обобщить результаты индивидуальных баллов относительно точно определенного домейна или области содержания . Причем тестовые задания могут включать как проверку содержания, так и проверку навыков и умений. Домейн, или область содержания называются хорошо определенными, если совершенно ясно, какая категория тестовых заданий потенциально принадлежит данной области содержания. Основное использование критериально-ориентированного тестирования - это определение статуса испытуемого по отношению к некоторому количеству тестовых заданий выбранных, или с определенной области содержания, причем таким образом, который позволяет пользователю теста сделать заключение об учебных достижениях испытуемого. Таким образом, хорошо определенная область содержания является необходимым, но недостаточным условием критериально-ориентированного тестирования.
Часто можно встретить довольно узкие определения, подразумевающие только один из видов критериально-ориентированных тестов. Более широкие определения нередко страдают неточностью формулировок. В работе приведено определение, которое, пожалуй, наиболее точно раскрывает сущность и специфику этого типа тестов.
«Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися».
Мы будем называть областью содержания теста тот полный объем знаний, умений и навыков, которые должны быть усвоены студентами в результате определенного курса обучения и овладение которыми измеряется критериально-ориентированным тестом. Выполнение критериально-ориентированного теста описывается, как правило, в терминах содержания учебной дисциплины. Например, результаты проведения теста позволяют судить о том, какую долю области содержания освоил студент, какие задачи и какого уровня сложности может решать испытуемый, и т.п.
Два основных вида критериально - ориентированных тестов
В литературе по тестологии (или педагогическим измерениям) выделяют два основных вида критериально - ориентированных тестов, отличающихся друг от друга по ряду характеристик. Установившихся названий для этих видов на русском языке пока не существует. В зарубежной литературе терминология окончательно также еще не установилась. Критериально - ориентированные тесты намеренно составляются таким образом, чтобы аттестовать уровень индивидуальных достижений студентов по отношению к заранее определенной области содержания. Принципиальный интерес при их разработке представляет строгая и точная спецификация области содержания теста. Это необходимо для того, чтобы увеличить до максимального уровня обоснованность интерпретации индивидуальных баллов студентов [З, 4, 6]. Именно акцентированное внимания на области содержания (по англ. - domain) внушило некоторым исследователям идею наименования таких тестов как domein-referenced, что можно перевести как «тесты, ориентированные на область содержания».
Создание заданий для теста, ориентированного на область содержания, требует более детальных и точных правил. Для этого требуется точная и строго определенная спецификация области содержания теста. Этот тип критериально - ориентированных тестов предназначен для оценки доли от полного объема учебного материала, которую усвоил испытуемый. В зарубежной литературе его обычно называют domein-referenced test. Мы будем называть этот тип критериально - ориентированных тестов термином: тесты, ориентированные на определенную область содержания. Предполагается, что в результате обучения учащиеся должны приобрести определенную сумму знаний, умений и навыков, которая является областью содержания теста и условно принимается за 100 процентов. Уровень учебных достижений каждого испытуемого можно выразить в проценте от полного объема области содержания теста. Для итогового контроля наиболее естественно применять именно этот тип тестов.
На практике существует и другой тип критериально - ориентированных тестов. Называются такие тесты mastery tests , то есть «тесты на мастерство» или «квалификационные тесты» [З, 4] . Они применяются для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nomasters) в какой-то области. Эмпирическая процедура анализа тестовых заданий в данном случае рекомендована для того, чтобы определить «чувствительность» тестовых заданий к различию между обученными и необученными испытуемыми.
Этот вид используется для классификации испытуемых и разделения их на группы на основании заранее выбранного стандарта оценивания (критериального балла). Чаще всего такие тесты используются для разделения испытуемых на две группы: усвоивших и не усвоивших необходимый навык на базе определенной области содержания. Иногда происходит деление на большее количество групп. Например, на тех, которые полностью овладели навыком, и на тех, которым лучше закрепить его, а также на группу учащихся, которым надо начать изучение материала с самого начала. Для отнесения к определенной группе испытуемый должен достичь необходимого минимального стандарта оценивания. Этот стандарт устанавливается разработчиками теста и является критерием, на основании которого принимается решение относительно испытуемого. В тесте данный стандарт выражается определенным количеством правильно выполненных заданий. Важными элементами разработки таких тестов являются: методы установки стандарта оценивания квалификации по результатам тестирования, оценка уровня ошибки этого стандарта, определение последовательности принятия решения о квалификации или о недостаточной подготовке студента .
Многие ученые [З, 4, 5] отмечают, что термин "критериально-ориентированное тестирование" является неудачным. Он создает впечатление, будто существует некий критерий, с которым сопоставляются результаты тестирования. Одно из заблуждений относительно критериально-ориентированного тестирования, это неправильное понимание того, что данный термин означает использование так называемого критерия или "критериального (проходного) балла". Критериально - ориентированное тестирование не всегда требует наличия проходного балла, хотя для определенных практических приложений при данном виде тестировании могут потребоваться так называемые стандарты оценивания или проходные баллы. Такой критерий, а точнее стандарт оценивания, в самом деле, используется, но его наличие не является обязательным. Ошибочная трактовка критерий, как уровня подготовленности является одним из заблуждений относительно критериально - ориентированного тестирования. Это неправильное понимание того, что данный термин означает использование так называемого "проходного балла". На самом деле критериально - ориентированное тестирование не обязательно требует наличия проходного балла, хотя для определенных практических приложений при данном типе тестировании могут потребоваться так называемые стандарты оценивания. Дело в том, что пользователь теста может использовать или установить проходной балл для любого теста – критериально - ориентированного или не критериально - ориентированного. Если просто установить 80% правильно решенных заданий как "проходной балл" для любого теста, это не означает автоматически, что вы используете хорошо определенную область содержания и описываете результаты тестирования по отношению к этой области содержания. Способность самого теста давать данную информацию об испытуемых, то есть давать статус испытуемых по отношению к данной области содержания и делает тест критериально - ориентированным, а не тот факт, что вы использовали проходной балл или другой критерий оценивания.
Существует и другое заблуждение, а именно о связи критериально - ориентированного теста с критериальной интерпретацией педагогического измерения. Иногда тест составляется таким образом, чтобы прогнозировать статус испытуемого для другого теста, или для других педагогический измерений, таких как экзамены, зачеты и т.д. Например, некоторые тесты, такие как широко известные SAT-I и SAT-II, составлены для того, чтобы помочь предвидеть, прогнозировать учебные успехи абитуриентов в университетах США . Та переменная величина, которая определяется для данного прогноза, называется критериальной величиной. Таким образом, итоговые оценки студента в университете являются критериальным измерением для вступительного теста. Данное педагогическое исследование, например тест SAT, проводится для того, чтобы установить полезность, обоснованность и фактически критериальную валидность самого вступительного теста, как прогностического теста установления статуса испытуемых, по отношению к критериальной переменной. Использование термина "критериальный" в данном случае отличается от использования этого же термина в связи с критериально-ориентированным тестированием.
Таблица 4.1
Характерные особенности нормативно-ориентированных и критериально-ориентированных тестов
|
Нормативно - ориентированные тесты |
Критериально - ориентированные тесты |
| 1. Цель тестирования:
возможность сравнения
уровня подготовки испытуемых друг с другом в той области содержания,
для которой тест предназначен.
Пример использования: конкурсный отбор кандидатов на обучение. |
1. Цель тестирования:
возможность аттестации
испытуемого в соответствии с его уровнем усвоения определенной области
содержания.
Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
| 2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднегозначения и стандартного отклонения в выбранной шкале. |
2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особоевнимание уделяется методики оптимального выбора критериального балла (или баллов). |
|
3. близко к нормальному,
в большинстве случаев имеет вид |
3. Распределение индивидуальных баллов:
произвольное,
в большинстве случаев асимметричное и имеет вид: |
|
4.- несущественен. Авторы теста выбирают наиболее значимые элементы содержания. |
4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания. |
|
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. |
5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов. |
|
6.Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. |
6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
|
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. |
7. Надежность теста . Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании. |
|
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности. |
8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность. |
- Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. Учебное пособие. - М.: Исследовательский центр, 1989 – 167 с.
- Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976 – 495 с.
- Berk R.A. Criterion-referenced measurement: The state of art. Baltimor , MD: Johns Hopkins University Press, 1980.
- Educational measurement (Ed. by Linn R.) N.Y. Macmillan, 1989 – 610 с.
- Edcational Testing Service. Standards for quality and fairness. Prinston, NJ. 1987.
- Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford, Pergamon press, 1988.
Источник поступления: Евсигнеев А. Е., Самарский государственный технический университет, Факультет повышения квалификации преподавателей, Проектирование информационных технологий, Информационный бюллетень №1, Самара 2000.
Загрузка...