СодержаниеВведение............................ 2
Глава 1. Модели и методы оценки качества тестовых заданий. ...... 7
1.1. Классические методы оценки качества тестовых заданий. ......9
1.2. IRT – теория моделирования и параметризации педагогических тес-тов. ...............................20
Глава 2. Математико–статистическая обработка эмпирических данных. .. 30
2.1. Однопараметрическая модель Раша. .............. 31
2.2. Точечно-бисериальный коэффициент корреляции. ........ 33
2.3. Коэффициент корреляции. .................. 35
Заключение. ........................... 38
Список литературы. ....................... 39
Приложение 1. ........................ 41
Приложение 2. ........................ 44
Приложение 3. ........................ 53
Глоссарий. ............................ 54ВведениеПри изучении любой учебной дисциплины есть особенно важные темы, без знания которых невозможно усвоение более сложного материала в про-цессе учебы или которые будут необходимы в работе по специальности. Важность разделов курса можно учесть, увеличив долю вопросов по этим разделам в общем количестве вопросов. Однако наиболее важные разделы не всегда содержат больше всего материала.
При составлении заданий теста следует соблюдать ряд правил, необхо-димых для создания надежного, сбалансированного инструмента оценки зна-ний. В первую очередь, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, и т.д.
Важно выбирать наиболее приемлемую форму ответов на задания.
Для аттестации студентов необходимо решить задачу измерения уровня обученности в области знаний, навыков и умений, с учетом степени важно-сти и объема изучаемого материала в разделах курса.
При создании тестов возникают определенные трудности в части форми-рования шкалы оценок выполнения заданий. Традиционная Российская сис-тема оценивания знаний обучаемых основана на лингвистических оценках, по которым проставляются записи в зачетных книжках за период обучения, производится учет успеваемости, устанавливается стипендия и т.д.
Очевидно, что при формировании такой шкалы оценок велика доля субъ-ективизма, поскольку здесь многое зависит от опыта, интуиции, компетент-ности и профессионализма преподавателя. Кроме того, требования, предъяв-ляемые разными преподавателями к уровню знаний студентов, колеблются в очень широких пределах.
При формировании шкалы оценок довольно часто встречается метод “проб и ошибок”. Поэтому реальные знания учащегося не получают объек-тивного отражения и как негативное последствия - снижается стимулирую-щее воздействие экзаменационной оценки на познавательную деятельность и качество учебного процесса в целом.
В некоторых моделях тестирования оценивание результатов производит-ся только по факту правильности ответа, т.е. ход решения в задачах не про-веряется и не оценивается. Таковы, например, закрытые задания с однознач-ным числовым ответом или бинарные тесты.
Первичной информацией при тестировании знаний является набранный балл испытуемых или так называемый первичный балл. Достоинством этой оценки является ее простота и наглядность, Действительно, чем больше за-даний выполнил испытуемый, тем выше его балл.
Однако проблема заключается в том, что первичный балл является не аб-солютной, а относительной оценкой. Он существенно зависит от трудности заданий теста и на другом тесте он может оказаться иным, причем сама труд-ность теста в свою очередь определяется всем контингентом испытуемых. Желательно иметь объективную оценку уровня подготовленности испытуе-мых, подтверждаемую на различных тестах, имеющих заранее определенный уровень трудности заданий.
Вторым существенным недостатком первичных баллов является их нели-нейность по отношению к тем параметрам, которые они должны характери-зовать (уровень подготовленности). Сравнивая первичные баллы необходимо понимать, что первичные баллы являются лишь индикатором подготовлен-ности испытуемых, а не ее мерой.
Любая информация для ее последующего применения в заданиях теста должна быть представлена определенным количественным показателем, рас-считанным с использованием условной единицы образовательной информа-ции
Для педагогических измерений проблема качества является ключевой. Не случайно вопросы достижения и проверки качества являются основным предметом исследования. В практике некачественное измерение порождает ошибочные решения при аттестации выпускников школ, вузов, оценке кад-ров в профотборе и при приёме абитуриентов в вузы, создаёт иллюзию из-мерений там, где таковые в действительности отсутствуют. К настоящему времени только в отношении тестов утвердилась норма обязательной про-верки их качества. Это, пожалуй, самое существенное требование, выгодно отличающие измерения от остальных методов педагогического контроля.
Качество педагогических измерений можно определить как меру соот-ветствия получаемых результатов заранее сформулированным целям. В за-падной теории педагогических измерений сложились два основных требова-ния – это так называемые надежность и валидность.
Основной предмет педагогических измерений – разработка качественных тестов для измерения уровня подготовленности учащихся. В наши дни такие тесты используются не только для измерения уровня подготовленности, но и для проведения рейтинга студентов, мониторинга учебного процесса, для ор-ганизации адаптивного обучения и адаптивного тестового контроля, дистан-ционного образования: в общем, тесты используются во всех современных образовательных технологиях.
Преимуществом тестовых методов являются их:
1) высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых;
2) технологичность тестовых методов;
3) точность измерений;
4) наличие одинаковых, для всех пользователей, правил проведения педа-гогического контроля и адекватной интерпретации тестовых результатов;
5) сочетаемость тестовой технологии с другими современными образова-тельными технологиями.
Нередко обоснование качества результатов педагогических исследований требует обращения к внепедагогическим понятиям и критериям - философ-ским, логическим, математико-статистическим. Тесты являются сейчас, по-видимому, наиболее развитой в научном отношении частью методического арсенала педагогики, позволяющей адекватно скреплять теорию с эмпирией, в соответствии с такими известными стандартами качества информации, как критерии надежности и валидности. Наиболее развитые в тестовом отноше-нии страны Нидерланды, США, Англия, Япония, Дания, Израиль, Канада, Австралия. Нет никакой случайности в том, что в этот список попали страны с достаточно высоким уровнем жизни населения. Применение тестов благо-творно влияет на качество образования; качество образования связано с каче-ством управления; качественное управление создает предпосылки для повы-шения качества жизни населения. Сейчас с помощью тестов там проверяется подготовленность миллионов школьников и студентов, военнослужащих, управленческого персонала.
Полезен зарубежный опыт выпуска общественными ассоциациями десят-ка специализированных журналов по разработке тестов, таких как Journal of Educational Measurement, Educational and Psychological Measurement, Psychometrika и т.п., а также опыт подготовки сотен монографий, учебных пособий, диссертаций по тестам и педагогическим измерениям
Наиболее подходящим для измерения латентных качеств является тест. В западной и российской литературе уделяется мало внимания определению теста. Педагогический тест - система заданий возрастающей трудности, спе-цифической формы, позволяющая эффективно измерить уровень и оценить структуру результатов подготовленности испытуемых. Это определение го-могенного теста, т.е. измеряющего только одно интересующее качество. Из данного определения вытекает, что тест, как система, обладает целостно-стью, эффективностью (включающей в себя критерии качества результатов измерений), составом и структурой.
Возникла необходимость нового истолкования сущности теста. Во-первых, надо уходить от преднамеренного пересечения тестовой лексики с традиционной педагогической лексикой экзаменов и вопросов. Во-вторых, в определении теста на русском языке надо специально подчеркивать, что тест не только метод, но и результаты измерения. Отсюда и фактическая секрет-ность подлинных данных ЕГЭ – верный признак движения государства к за-крытости.
Свойства метода могут переноситься на свойства результатов, а могут, в силу множества источников погрешностей, и не переноситься. К этому необ-ходимо добавить ещё один элемент: педагогический тест – это метод, резуль-таты, и интерпретация результатов.
Такое истолкование сути теста позволяет по-новому взглянуть на пер-спективы развития тестовой культуры, особенно в связи с попытками созда-ния так называемых «критериально-ориентированных тестов». На самом деле вопрос лучше ставить не о «тестах», а об интерпретации данных тестирова-ния в зависимости от того или иного критерия. Тест может быть один, а ин-терпретации результатов – разные.
Исходя из этого была поставлена цель: оценить качество тестовых зада-ний на основе статистических методов анализа данных и методов IRT.
Предметом исследования являются способы и методы диагностики тес-товых заданий по результатам тестирования.
Задачи работы:
1. Изучить предметную область по оценке качества тестов;
2. На основе классических методов и однопараметрической модели Раша выполнить исследование результатов тестирования;
3. По итогам исследования провести анализ и интерпретацию результатов
Базой исследования послужили результаты тестирования студентов ТюмГУ ИМиКН 4 курса (группы 323, 324, 325-1, 325-2, 325-3, 325-4; всего 124 человека), полученные в марте – апреле 2006г.Литература1. Алексеенко А. С.Математическая обработка результатов тестовых проверок в соответствии с классической теорией тестов.// Тезисы доклада семинара «методология и концепция компьютерного тестирования», - Моск-ва, 2003.
2.Аванесов В.С. "Композиция тестовых заданий".- М., 1998, С. 156-207.
3. Аванесов В.С. Основы научной организации педагогического контро-ля в высшей школе, Учебное пособие.- М.: Исследовательский центр, 1989, - 167 с.
4. Березин Н.В. Выбор дистракторов в заданиях в закрытой форме. Ана-лиз и моделирование в рамках IRT. // Тезисы докладов Всероссийской науч-но-методической конференции «Развитие системы тестирования в России», - Москва, 2002, С. 229-230.
5. Власова Е.А. Модель оценивания результатов тестирования по дроб-ной шкале. // Тезисы докладов Всероссийской научно-методической конфе-ренции «Развитие системы тестирования в России». - Москва, 2002, С. 231-232.
6. Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 1997. - 480 с.
7. Елисеев И.Н., Елисеев И.И., Гладилин А.Н. Программный модуль ANALIZATOR для расчета параметров тестовых заданий с несколькими вер-ными ответами. // Тезисы докладов Всероссийской научно-методической конференции «Развитие системы тестирования в России». - Москва, 2002, C. 293-234.
8. Кромер В.В. Единое шкалирование разновариантных тестов. // Тезисы докладов Всероссийской научно-методической конференции «Развитие сис-темы тестирования в России». - Москва, 2002, C. 239-240
9. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов.- М.: Исследовательский центр, 1993, - 51 с.
10. Нейман Ю.М. О шкалировании результатов централизованного тес-тирования в 2001 году. // Вопросы тестирования в образовании, № 1, 2001, С. 94-106.
11.Овчинников В.В. Анализ внутренней валидности тестовых заданий аттестационного тестирования 2002 года. // Тезисы докладов Всероссийской научно-методической конференции «Развитие системы тестирования в Рос-сии». - Москва, 2002, С. 243-244.
12.Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. – М.: Из-во Век книги, 2001. - 27 c.
13. Переверзев В.Ю. Критериально - ориентированные педагогические тесты для итоговой аттестации студентов. - М.: Из-во НМЦ СПО Минобразо-вания РФ, 1998. - 152 с.
14. Переверзев В.Ю. Зарубежный опыт массового педагогического тес-тирования абитуриентов. // Тезисы докладов шестого симпозиума “Квали-метрия человека и образования: методология и практика”, Книга II, Ч.2, -Москва, 1997. - 167 с.
15. Смирнов С.Д. Педагогика и психология высшего образования: От деятельности к личности. Учебное пособие. – М.: Высшая школа, 1995. - 271с.
16. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Учебное пособие. – М.: Логос, 2002. - 432 с.
17. Янченко С.И. Математическая модель оценки результатов тестиро-вания. // Тезисы докладов Всероссийской конференции «Развитие системы тестирования в России». - Москва, 2000, ч. 4, С. 54-56.
18. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1978.
19. http://bank.orenipk.ru
20. http://testolog.narod.ru
21. http://usatic.narod.ru
|
|
