Поиск

Полнотекстовый поиск:
Где искать:
везде
только в названии
только в тексте
Выводить:
описание
слова в тексте
только заголовок

Рекомендуем ознакомиться

'Документ'
В 6-8 веках славянские племена Восточной Европы переживали экономический подъем. Развитие хозяйства сопровождалось ростом неравенства. Пашенная земля...полностью>>
'Документ'
Методическое вступление В течение более чем трех лет я довольно тесно связан с таким социальным явлением как футбольный фанатизм и оказался свидетелем...полностью>>
'Учебно-методический комплекс'
Что такое хронология? Слово «хронология» происходит от двух греческих слов — «хронос» — «время» и «логос» — «слово», «учение» и обозначает науку об и...полностью>>
'Учебник'
Словарь терминов по страховому праву составлен в соответствии с требованиями учебной программы, структурой преподаваемых учебных курсов, положениями ...полностью>>

В. П. Левин, кандидат физико-математических наук

Главная > Документ
Сохрани ссылку в одной из сетей:

В.П. ЛЕВИН, кандидат физико-математических наук

Института металлургии и металловедения им. А. А. Байкова;

В.В. ЗИНОВЬЕВ, зам. генерального директора учебно-производственной фирмы "Дейл"

МЕТОДИКА КОНСТРУИРОВАНИЯ ПЕДАГОГИЧЕСКИХ ТЕСТОВ

АДАПТИВНОЕ ТЕСТИРОВАНИЕ

Для повышения качества образования, степени индивидуализации обучения необходимо увеличение масштабов тестирования в учебном процессе. Классическая теория тестирования обладает многочисленны­ми недостатками. Одним из недостатков является неустойчивость в оп­ределении трудности заданий вследствие некоторой неопределенности в оценке дифференцирующей способности заданий и качества подго­товки тестируемой выборки. Фиксированная длина традиционного тес­та (ТТ) не учитывает индивидуальные способности учащихся. Это при­водило к невозможности эффективного оценивания различной подго­товленности одним и тем же тестом. К другим недостаткам ТТ относятся: значительные материальные и временные затраты на составление теста, недостаточная 'точность в оценке знаний учащихся, наличие не­работающих очень легких или наоборот трудных заданий для тестируе­мого учащегося. Эти несовершенства ТТ создают противоречия между контрольно-оценочной деятельностью педагогов и низкой эффектив­ностью традиционного тестирования.

Для оценки результатов тестирования вводится понятие среднего уча­щегося на основании предположения, что среднеподготовленных учащихся больше и результаты тестирования подчиняются нормальному распреде­лению. Такой подход снижает точность оценок наиболее слабых и наибо­лее сильных учащихся. Кроме того, в этом случае возникают проблемы, связанные с определением единой точки отсчета при выборе шкалы из­мерения результатов выполнения комплекта вариантов теста.

Традиционные тесты не дают прогностической информации, так как имеют ограниченные возможности при сравнении результатов испыту­емых вследствие существенной зависимости оценки испытуемых от ко­личества и трудности заданий. Прогностическая информация, позволя­ющая предсказать вероятность успеха испытуемых определенного уров­ня подготовленности при выполнении различных заданий теста, необ­ходима при конструировании тестов, когда ставится задача генерации эффективных тестов. Корректное сравнение возможно только при наличии комплектов параллельных тестов, что требует больших временных и материальных затрат при подготовке тестов и на практике реализует­ся редко.

К перечисленным недостаткам можно добавить еще и то, что клас­сическая теория тестирования не обеспечивает приемлемого решения ряда проблем, связанных с вопросами моделирования тестов, выбором ма­лых заданий процессе генерации адаптивных тестов и выравнивания результатов их выполнения с целью переноса оценок испытуемых на единую интервальную шкалу.

В рамках традиционного тестирования недостатки классической те­ории частично преодолеваются путем введения норм - системы пока­зателей, установленных эмпирически сообразно результатам тестирова­ния репрезентативной выборки тестируемых. Процесс установления норм называют стандартизацией теста. При этом тест понимается как устойчивая система заданий, неоднократно применявшаяся для всех ис­пытуемых. В связи с этим становится актуальной проблема повышения эффективности системы традиционного тестирования и традиционных тестов, и одно из направлений в решении этой проблемы — адаптация системы тестирования к индивидуальным особенностям учащихся.

Рассмотренные недостатки классической теории, ее ограниченные возможности в решении ряда практических проблем послужили пред­посылкой к созданию методологии новой теории тестов— Item Response Theory (IRT). Преимущества IRT по сравнению с традиционной теори­ей обусловлены соответствующим научным подходом, для которого ха­рактерно стремление к строгому формальному представлению и анали­зу эмпирических данных. В IRT высказываются строгое предположе­ния о характере оцениваемых параметров и процессах, протекающих при выполнении испытуемыми заданий.

Первоначально в IRT вводится основное предположение о существо­вании некоторой функциональной связи между наблюдаемыми результа­тами тестирования и латентными (скрытыми) параметрами испытуемых, выполняющих тест. Эти параметры трактуются как способности испытуе­мых или как уровни подготовки по предмету в зависимости от целей из­мерения, которые выдвигаются при создании педагогического теста. На­блюдаемые результаты связывают с вероятностью правильного выполне­ния задания группой испытуемых либо с вероятностью правильного выполнения испытуемым различных по трудности заданий теста.

Существенное отличие IRT от классической теории тестов заключается в том, что индивидуальный балл тестируемого в классической тео­рии тестов рассматривается как постоянное число, а латентный параметр в IRT — как некоторая переменная. Переменный характер изме­ряемой величины позволяет получить ее значение с заданной точнос­тью путем последовательных приближений. В гомогенных тестах латен­тный параметр один, а в гетерогенных тестах имеется набор латентных параметров. В IRT вводится предположение об одномерности латент­ной переменной для данного гомогенного набора заданий теста. На прак­тике это предположение не выполняется, так как на результаты выпол­нения заданий испытуемым влияет множество фактов, поэтому под од­номерностью латентного параметра понимается наличие одного доми­нирующего фактора. В основе IRT лежат три предположения:

  1. под латентным параметром в IRT понимается уровень подготовленности по предмету , тогда группе испытуемых соотносится множество i Значение латентного параметра образует равные трудности заданий теста i;

  2. ответы на вопросы теста предполагаются независимыми друг от друга;

  3. вводится предположение о нормальном характере распределения значений латентных параметров  и .

В рамках IRT необходимо ответить на два вопроса — установить связь между  и  и выбрать вид функциональной зависимости для описания связи между латентными параметрами и наблюдаемыми результатами выполнения теста. Удачную форму связи между  и  нашел G. Rasch в виде разности   1. Применение этой разности позволяет ввести единую шкалу интервального типа и единицу ее измерения — легат. Это дает возможность корректно сравнить результаты испытуемых, полученные с помощью различных тестов, подобрел» оптимальные значения трудности заданий  и минимизировать ошибки измерений. На основе оценивания разности    возникает возможность индивидуализации процессов контроля и обучения путем подбора оптимальных по трудности заданий для; каждого учащегося.

Центральным вопросом в IRT является выбор математической модели, описывающей взаимосвязь между эмпирическими результатами тестирования и значениями латентных параметров  и . Эта модель и конкретный вид соответствующей функции базируются на существова­ние вероятностной связи между эмпирическими результатами тестирования и значениями  и . Существенным достоинством IRT является введение информационной функции, которая используется для оценки эффективности теста. Это позволяет ввести дифференцированную оценку эффективности задания теста для оценки уровня подготовки ис­пытуемого .

Переход от традиционной классической теории тестов к IRT в прак­тическом плане неизбежно связан с некоторыми трудностями:

  • с необходимостью привлечения довольно сложного математического аппарата;

  • с использованием дорогостоящей компьютерной техники и разработки специальных программных продуктов;

  • с необходимостью проведения тщательной работы по стратификации выборки испытуемых статистик с математическими моделями измерения.

Достоинством IRT являются:

  • устойчивая и объективированная оценка параметров уровня знаний и трудности задания, их относительная инвариантность от конкретного опыта;

  • наличие единой шкалы для соотнесения параметров трудности заданий и подготовленности испытуемых;

  • возможность подсчета дифференцированной ошибки измерения способностей испытуемых, что позволяет организовать процесс адаптивного обучения как последовательное приближение к наиболее точным оценкам способностей учащихся;

  • возможность компьютеризации расчетов всех тестовых баллов.

Повышение уровня эффективности тестов возможно при переходе от традиционных тестов фиксированной длины к адаптивному тести­рованию. Идея адаптивного обучения заключается в соотнесении оце­нок параметров испытуемых и трудности заданий путем введения ана­литической зависимости между уровнем подготовленности обучающих­ся и трудностью заданий для каждого учащегося. Другой особенностью адаптивного тестирования является минимизация числа заданий. Эф­фективность тестирования повышается при адаптации тестов по труд­ности к уровню знаний учащегося. Методология адаптивного тестирова­ния строится на основе современной теории конструирования тестов IRT и использования компьютерных технологий. Особенностью адаптивно­го тестирования является тесное переплетение контролирующей и обучающей функций в индивидуализированном режиме, поэтому в качестве перспективного направления развития контрольно-оценочных си­стем следует выделить внедрение методов адаптивного тестирования и активизацию обучающей функции контроля путем перехода к контрольно-обучающим программам с индивидуализированными траекториями обучения. В адаптивном обучении развитие; обучающихся стано­вится доминирующим фактором благодаря дифференцированному под­ходу к учащимся и индивидуализации обучения.

Одним из существующих путей создания адаптивных тесто» являет­ся разделение учащихся на отдельные полгруппы и подбор соответству­ющих заданий. Другой путь заключается в повышении индивидуализации взаимодействия преподавателя с тестируемым при проведении тес­тирования. В этом случае число заданий снижается за счет увеличения труда проводящих тестирование педагогов.

Рассмотрим цели, задачи и функции адаптивного тестирования, а также технологии применения адаптивного теста (AT) в современном учеб­ном процессе. В качестве специфических целей адаптивного тестирования следует выделить следующие направления:2

  • ориентация в учебном процессе на адаптивны* методы обучения и контроля;

  • организация на самостоятельную работу учащихся с помощью адап­тивных контрольно-обучающих программ;

  • решение образовательных проблем через дифференциацию и индивидуализацию обучения;

  • использование методов адаптивного тестирования как основы для реализации методик развивающего и продуктивного обучения.

Использование методики адаптивного тестирования в учебном про­цессе позволяет существенно ускорить и повысил» качество выполне­ния учебных заданий, оптимизировать реализацию традиционных педа­гогических функций. Основными функциями адаптивного тестирова­ния являются как традиционные, характерные при любой методике обу­чения, так и специфические, присущие только AT: диагностическая, оце­ночная, обучающая, корректирующая, развивающая, прогностическая. Специфические функции AT открывают новые возможности для осу­ществления оперативной и эффективной коррекции в обучении, само­контроля в режиме самоадаптации при выборе заданий адаптивных тес­тов. Диагностическая и корректирующая функции, составляющие сущ­ность адаптивного тестирования, выявляют пробелы в знаниях, уста­навливают причины этих пробелов и позволяют организовать коррекцию учебного процесса. Компьютерные технологии дают возможность наи­более эффективно выполнять эти функции. Использование программ­но-инструментальных средств для генерации и выдачи адаптивных тес­тов позволяет осуществить функцию текущего контроля непосредственно в ходе учебной деятельности.

Наиболее эффективный метод осуществления оценочной процедуры в процессе аттестации основан на адаптивных тестах. В зависимости от потребностей аттестационного процесса оценочная функция адаптивного тестирования может приобретать различные оттенки, влияющие на ин­терпретацию тестовой оценки испытуемого. В одном случае оценка ориен­тирована на характеристику степени освоения требований стандартов, тогда по результатам адаптивного тестирования группа испытуемых делится на две подгруппы: аттестованных и не аттестованных выпускников3. В дру­гом случае, когда есть необходимость выставления баллов аттестованным выпускникам для их ранжирования, оценка выполняет роль диффе­ренцирующего фактора, распределяющего испытуемых на оси перемен­но измерения по результатам выполнения адаптивных тестов.

Оценочная функция адаптивного тестирования связана с подведе­нием итогов обучения путем оценки его результатов в конце опреде­ленного периода учебного процесса. Эффективное выполнение оценоч­ной функции было невозможным до появления IRT и построения на ее основе процессов генерации и оценки результатов выполнения адаптив­ных тестов.

Технология адаптивного тестирования представляет собой системную совокупность методов создания и функционирования AT, адаптивных стратегий, алгоритмов, специальных программно-инструментальных средств, предназначенных для оптимизации и повышения эффективно­сти процессов обучения и контроля знаний. В технологии адаптивного тестирования следует выделить следующие направления:4

  • разработка и создание теоретико-методологического обоснования тестирования, Методов, алгоритмов и средств технологии AT;

  • разработка адаптивного тестирования как метода обучения и контроля, являющегося частью общей дидактической системы обучения, снижающего долю преподавательского труда, что позволяет преподавателю перераспределить учебное время и оптимизировать учебный процесс;

  • разработка на базе AT методологии развивающего, продуктивного обучения и других педагогических инноваций;

  • разработка методик, направленных на увеличение доли самостоятельного обучения в образовательном процессе;

  • адаптивное тестирование как методика для организации процесса самообразования;

  • разработка программно-инструментальных средств, обеспечивающих функционирование адаптивного тестирования.

В построении адаптивного тестирования различают двухшаговое и многошаговое тестирование. Двухшаговое адаптивное тестирование пред­полагает наличие двух этапов, отличающихся по целям, задачам и ви­дам используемых тестов. На первом этапе учащиеся выполняют вход­ной ТТ. Цель первого этапа — осуществить дифференциацию испытуе­мых, по результатам которой определяется интервал, в котором строят­ся адаптивные тесты с позиции IRT. Для осуществления двухшагового адаптивного тестирования необходимо решить следующие задачи:

  • создание входных тестов для начальной дифференциации и выделения интервалов тестирования по измеряемой шкале для составления AT;

  • выделение результатов отдельных испытуемых в соответствующих интервалах измеряемой шкалы;

  • организация процесса моделирования тестов путем генерации AT в выбранных интервалах шкалы;

  • интерпретация полученных результатов AT.

Обеспечение требуемой точности измерений на втором шаге дости­гается путем моделирования адаптивных тестов, ориентированных на оценки испытуемых, полученные на первом тестировании. Генерация адаптивного теста состоит из ряда этапов:

  • оценка пределов измерений по результатам первого тестирования;

  • выбор планируемой точности измерения по стандартной ошибке измерения;

  • задание формы целевой информационной функции теста, которая строится на выделенном интервале измерений;

  • выбор планируемого вида распределения оценок трудности заданий теста, например прямоугольное, когда все оценки параметра трудности распределены равномерно;

  • отбор заданий, информационные функции которых наиболее приемлемым образом заполняют область под целевой информационной функцией;

  • добавление заданий на основе вычисления количества информации.

Отбор заданий из банка продолжается до тех пор, пока очередная информационная функция теста не аппроксимирует в приемлемой сте­пени в целевую информационную функцию.

Метод моделирования помогает отобрать задания с оптимальными параметрами для организации адаптивного тестирования. В качестве па­раметров заданий выбирают обычно два — трудность задания и диффе­ренцирующую способность задания. Метод моделирования для генерации AT должен основываться на IRT и на современных компьютерных технологиях, позволяющих существенно сократить временные затраты на достижение сопоставимого результата. Это дает возможность ввести в широкую педагогическую практику многошаговое адаптивное тести­рование. Алгоритм многошагового адаптивного тестирования строится на полной контекстной зависимости, в которой очередной шаг в вы­полнении тестовых заданий совершается только после оценки пре­дыдущего шага, после чего принимается оперативное решение о подбо­ре трудности следующего задания. Для каждого учащегося в этом слу­чае возможно построение индивидуальной траектории обучения, зада­ния которой строятся на основе обратной связи между результатом вы­полнения задания и последующим тестовым заданием. В случае невер­ного ответа испытуемому предъявляется более легкое задание. Эффек­тивная пошаговая генерация тестовых заданий возможна только с ис­пользованием современных компьютерных технологий. Генерация AT на основе классической теории тестов носит ограниченный характер. Это связано с тем, что отсутствие дифференцированной ошибки измерения в классической теории тестов не позволяет планировать точность оце­нок результатов испытуемых и задействовать эффективный научный ап­парат информационных функций IRT в процессе конструирования адап­тивного теста.

Современное перспективное развитие адаптивного тестирования свя­зано с IRT, где тест моделируется заданной информационной функци­ей и вводится дифференцированная ошибка измерения. Это дает воз­можность в рамках адаптивного тестирования наряду с минимизацией заданий и времени тестирования обеспечить одинаковую для всей группы точность измерения.

В целом применение адаптивного тестирования позволяет:

  • совершенствовать объективные процедуры и технологии, обеспечивающие контрольно-оценочную деятельность педагогов;

  • повышать эффективность аттестационных процессов в области образовательных стандартов;

  • обеспечивать оптимальные условия для самостоятельной работы уча­щихся с помощью адаптивных контрольно-обучающих программ;

  • повышать вариативность и доступность образовательных программ для обучающихся путем индивидуализации учебного процесса на основе адаптивного обучения;

  • обеспечивать условия для дифференциации и индивидуализации массового образовательного процесса на основе адаптивных технологий тестирования;

  • создавать необходимые условия для реализации идей Педагогичес­кого сотрудничества и различных технологий развивающего обучения методами адаптивного тестирования.

Создание, контрольно-обучающих программ адаптивного тестирова­ния с разветвленными траекториями в полной мере отвечает современ­ным мировым тенденциям в переосмыслений роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рас­сматриваются как взаимосвязанные и взаимопроникающие составляю­щие единого образовательного процесса. Процесс обучения с помощью контрольно-обучающих программ строится так, чтобы активизировать обучающие и развивающие функции контроля, когда развитие осуще­ствляется путем решения учебных задач. Использование компьютерных технологий позволяет существенно снизить подготовительную работу по созданию адаптивных тестов, связанную с индивидуализацией заданий, осуществить генерацию и предъявление адаптивных тестов.

Авторами был разработан и создан программно-инструментальный комплекс «СОС» ( система обратной связи), позволяющий реализовать контрольно-обучающие функции как на основе ТТ, так и на основе AT. Технологическая схема реализации «СОС» представляет собой сис­тему компьютерных модулей оперативного контроля (МОК) учащихся, соединенных последовательно друг с другом и с портом компьютера пре­подавателя. При работе в режиме контроля учащиеся отвечают на тесты путем актуализации системы МОК-крмпьютер преподавателя как в ре­жиме реального учебного времени, так и вне его. Информация об отве­тах учащихся оперативно обрабатывается в компьютере, и результаты тестирования демонстрируются на мониторе преподавателя и на экране видеопроектора. Преподаватель, имея результаты выполнений учебных заданий от всех учащихся по всем заданиям теста, может адекватно и оперативно вносить необходимые Коррективы в учебную деятельность каждого учащегося и всех учащихся в целом. В режиме обучения обра­ботка ответов AT в реальном времени позволяет осуществить индиви­дуальные обучающие функции учащихся, реализуя тем самым идеоло­гию адаптивного обучения. В режиме контроля применение системы «СОС» позволяет реализовать не только все виды традиционного конт­роля, но внедрить пошаговый контроль в каждодневную учебную дея­тельность. Программно-инструментальный комплекс «СОС» был апро­бирован в ряде школ г. Москвы и показал хорошую эффективность как в решении традиционных учебно-педагогических задач, так и в рамках инновационного подхода в образовании.

1 Rasch С, Probabilistic Models for Some Intelligence and Attainment Tests. Chicago: The Univ. Press, 1968.

2 Мельникова М.Б. Адаптивное тестирование в образовании. М., 2001.

3 Gronlund N.E. How to Construct Achievement Tests. New Jersey: Prentice – Hall, Inc., 1988.

4 Челышкова М.Б. Цит. соч.



Скачать документ

Похожие документы:

  1. Дмитрия Игоревича Шпаро, математика, кандидата физико-математических наук. Творческая биография

    Биография
    Лидер и директор Клуба "Приключение" – Дмитрий Игоревич Шпаро, 67 лет, математик, кандидат физико-математических наук. Известен в России и за рубежом как руководитель первой в истории экспедиции на лыжах от земли к Северному полюсу (1979 г.
  2. Физико-математический факультет информационный пакет /каталог курсов/ по кафедре «физика и методика преподавания физики»

    Документ
    Университет – осуществляет подготовку бакалавров специальности 050110 – «Физика» на основе государственной лицензии АА№ 34 выданного комитетом по надзору в области образования и науки Республики Казахстан от 26.
  3. Математическое моделирование операционного риска в коммерческом банке 08. 00. 13 Математические и инструментальные методы экономики

    Автореферат диссертации
    Защита состоится « 27 » апреля 2011 г. в 10:00 часов на заседании совета по защите докторских и кандидатских диссертаций Д 505.001.03 при ФГОБУВПО «Финансовый университет при Правительстве Российской Федерации» по адресу: 125993,
  4. Статьи Общественные науки Философия (1)

    Документ
    Багрийчук Е.П. Теоретические подходы в отечественной и зарубежной науке к изучению этнической толерантности Вестник Технического института (филиала) Якутского государственного университета: Выпуск 2.
  5. В. В. Новиков доктор философских наук, профессор

    Книга
    Печатается по решению редакционно-издательского Совета Международной Академии психологических наук и Ученого Совета факультета психологии Ярославского государственного университета им.

Другие похожие документы..