|
Тестирование - это исследовательский метод, который позволяет выявить уровень знаний, умений и навыков, способностей и других качеств личности, а также их соответствие определенным нормам путем анализа способов выполнения испытуемым ряда специальных заданий. Для более глубокого понимания сущности метода в контрольных вопросах рассматривается история его становления и критерии качества измерений.
Процесс тестирования может быть разделен на 3 этапа:
1) выбор теста (определяется целью тестирования и степенью достоверности и надежности теста);
2) проведение тестирования (определяется инструкцией к тесту);
3) интерпретация результатов (определяется системой теоретических допущений относительно предмета тестирования).
Тестом является стандартизированное задание или особым образом связанные между собой задания, которые позволяют исследователю диагностировать меру выраженности исследуемого свойства у испытуемого, его психологические характеристики, а также отношение к тем или иным объектам.
Тесты подразделяют:
- на открытые (проективные), в ходе которых интерпретируются ответы испытуемых на неоднозначные стимулы;
- закрытые, предполагающие выбор ответов из заранее определенных вариантов, причем ценность теста определяется валидностью - степенью точности измерения исследуемого показателя. Надежность теста определяется сходством результатов повторных тестирований.
В пунктах «Типы тестирования» и «Техника построения тестов» отражены разнообразные виды и уровни тестов.
Задания направлены на приобретение умений оценивать формулировку тестов, составлять собственные тесты разных типов, организовывать и проводить тестирование, оценивать тесты с точки зрения соответствия критериям качества измерений. Текст заданий содержит некоторый теоретический материал: требования к составлению тестовых заданий, характеристика их разных типов, - помогающий успешно выполнить данные задания.
I. Генезис и сущность тестирования
1. Дайте определение понятиям «тест», «тестирование». Кем было введено понятие «тест»?
2. Какой вклад в развитие тестовой методики внесли А. Бине, В. Штерн?
3. Каким образом организована шкала тестов Бине-Термена? Каков недостаток данной шкалы?
4. Какой вклад в развитие тестовой методики внес Д. Векслер? Что понимается под «IQ-отклонением»?
5. Какие условия следует соблюдать при подготовке тестовых заданий? Как определяется норма каждого теста?
6. Назовите правила проведения тестирования и интерпретации полученных результатов.
7. Что понимается под модельностью и что - под стандартизированностью теста?
8. Почему метод тестирования является наиболее спорным при исследовании личности?
II. Типы тестирования
1. Назовите основные сферы тестирования и виды тестов.
2. Что такое личностные тесты? В каких формах они применяются?
3. Что такое проективные тесты? На чем они основаны? В каких видах конструируются?
4. Что представляют собой тесты интеллекта (способностей) и тесты достижений? В каких формах проводятся тесты достижений?
5. Что понимается под дидактическим тестом? Какими системными факторами он обладает? Чем отличается трудность задания от его сложности?
6. Что представляют собой тесты креативности и в чем заключается их сложность? В каких направлениях проводится диагностика творческих способностей? Что понимается под конвергентными и дивергентными творческими достижениями?
7. Что понимается под нормативно-ориентированным тестированием? В каких случаях норма теста может быть индивидуальной?
8. Что такое критериально-ориентированные тесты и в чем заключается их сущность?
9. Что такое рефлективный и верификационный методы выполнения теста? Элективные и инвентивные тестовые задания?
10. Что такое тесты школьной успеваемости? Назовите их виды.
11. Охарактеризуйте тесты школьной успеваемости, ориентированные на соотносительную группу, и этапы их составления, а также тесты, ориентированные на критерии.
12. Что такое неформальные тесты школьной успеваемости и чем они характеризуются? Что понимается под стандартной измерительной ошибкой при создании теста и как она вычисляется для неформальных тестов?
III. Критерии качества измерений в тестировании
1. Назовите критерии качества результатов измерений в тестировании.
2. В каком случае тест считается объективным? Чем характеризуется объективность?
3. Назовите и охарактеризуйте условия объективности. Когда достигается объективность интерпретации?
4. Что такое надежность теста? Какие коэффициенты надежности Вы знаете и что они из себя представляют? Каким должен быть коэффициент надежности в тесте успеваемости?
5. С помощью каких методов оценивается соотношение «истинной» и «искажающей» части теста?
6. Охарактеризуйте метод ретеста. Почему данный метод редко применяется при измерении успеваемости?
7. Охарактеризуйте метод деления пополам. Какова формула вычисления надежности теста успеваемости при использовании данного метода?
8. В чем заключается сущность метода параллельного теста и метода сравнения групп?
9. Как понимается критерий валидности и чем характеризуется? При каком коэффициенте корреляции принято считать, что валидность теста высокая, а при каком - удовлетворительная? Что понимается под валидностью «в определенном смысле»?
10. Какие виды валидности выделяются в психодиагностике? Что понимается под текущей валидностью или валидностью «по одновременности»?
11. Какие факторы могут влиять на валидность измерения?
12. Какие критерии выделяет Г.А. Линерт наряду с общепризнанными и в чем заключается их сущность?
13. Каким образом рассчитывается диагностическая ценность задачи, предложенная А.А. Кыверялгом?
14. Как рассчитывается диагностическая ценность каждого вопроса?
15. Что понимается под «дифференцирующей силой заданий»?
16. Как рассчитать «индекс дифференциации»? Каково его допустимое значение? О чем свидетельствует отрицательное значение индекса?
17. Как определяется трудность или легкость вопросов?
18. Как рассчитывается степень сложности заданий? Каковы ее оптимальные значения?
IV. Техника построения тестов (согласно классификации В.П. Беспалько)
1. Какие тесты используются на уровне знакомства? Охарактеризуйте их.
2. Что собой представляют тесты, использующиеся на уровне репродукции?
3. Какие задания соответствуют тестам третьего уровня? Чем различаются тесты второго и третьего уровня?
4. Что представляют собой тесты, использующиеся на четвертом уровне? Почему при их конструировании трудно предусмотреть эталон?
5. Какими способами могут создаваться проблемные ситуации в тестах четвертого уровня?
Задания
1. Изучите требования, предъявляемые к содержанию тестовых заданий, содержанию и формулировке вопросов и ответов. Попытайтесь объяснить целесообразность каждого из них:
1. Содержание тестовых заданий. Содержание задания должно отвечать требованиям, предъявляемым к освоению дисциплины. Необходимо, чтобы одному тестовому заданию соответствовал один элемент знания.
2. Содержание и формулировка вопросов. Формулируя вопрос, исходите из верного ответа. Не делайте вопросы ни слишком простыми, ни с «подвохом». Избегайте слова и вводные конструкции, нарушающие четкость вопроса либо дающие подсказку («иногда», «часто», «может быть», «вероятнее всего» и т. д.), а также отрицания («не», «не...ни», «нет»). В заданиях дополнения не допускайте более двух пропусков подряд.
3. Содержание и формулировка ответов. Оптимально использовать длинный вопрос, но короткие ответы. Правильные и неправильные ответы должны быть однозначны по структуре, содержанию и количеству слов, различия между ними - точны. Избегайте повторения в вариантах ответов. Каждый вариант должен быть грамматически согласован с вопросом и иметь простую формулировку. Неправильные варианты должны быть правдоподобны, желательно, основаны на опыте преподавания дисциплины. Не используйте варианты, обобщающие или отрицающие остальные («все перечисленные» либо «ни один из перечисленных») [11].
Оцените с точки зрения соответствия данным требованиям тесты по дисциплине «Экономика организации» (приложение Г). Прокомментируйте формулировку каждого тестового задания (в зависимости от количества студентов каждый комментирует один, два или три задания).
2. Изучите характеристики разных типов тестовых заданий.
а) Задания открытого типа включают в себя задания дополнения
и свободного изложения. При выполнении заданий свободного изложения испытуемому необходимо записать одно или несколько слов, цифр, словосочетаний, предложений (в зависимости от сути задания). Ограничений на ответы нет. Но формулировки заданий должны обеспечивать только один правильный ответ. К преимуществам хорошо составленных заданий дополнения относятся краткость и однозначность ответов, необходимость воспроизведения ответа по памяти, отсутствие необходимости искать несколько вариантов ответа, простота формулировки вопросов, простота проверки, невозможность угадать ответ. Главное достоинство - невозможность угадать ответ, недостаток - сложность формализации правильного ответа. Данная форма представляется оптимальной для задач на вычисление и для задач с формулами.
б) Задания закрытого типа включают в себя задания альтернативных ответов и множественного выбора. Данные тестовые задания подразумевают различные варианты ответа, из которых выбирается один или несколько правильных. При этом недопустимо использовать такие ответы, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные».
К заданиям альтернативных ответов дается только два варианта: «да - нет», «правильно - неправильно» и пр. Задания альтернативных ответов целесообразно применять группой для оценки одного элемента знаний (крупных определений, сложных процессов, графиков, диаграмм, таблиц и других элементов, которые можно структурировать или разбить на более мелкие части). Их использование в виде разрозненных вопросов не рекомендуется.
Задания множественного выбора, как правило, состоят из введения, самого вопроса и нескольких вариантов ответов, обычно четырех-пяти. Минимальное количество возможных альтернатив - это три, максимальное - зависит от объема текста в ответах. Количество правильных ответов не ограничено, что усложняет задание. При составлении данных заданий следует соблюдать принцип однородности, т. е. подбирать ответы, относящиеся к одному роду, виду, отображающие основные стороны, грани явления и т. д. Правильный ответ, с одной стороны, должен быть совершенным, с другой - не должен выделяться среди других по длине или стилю.
Задания с выбором нескольких правильных ответов вызывают вопрос: каково оптимальное соотношение количества правильных и неправильных ответов? Однако данные задания не требуют и не предполагают равенства количества верных и неверных ответов, так как испытуемый должен быть готов к любому количеству правильных ответов.
В заданиях с выбором нескольких правильных ответов не следует использовать отрицательную формулировку заданий (типа «не используется», «не относится», «не делается» и т. д.).
в) Задания на восстановление соответствия предполагают поиск соответствия между элементами двух списков (множеств). Эта форма заданий достаточно универсальна, так как во всех учебных дисциплинах встречается информация, в которой изучаемые объекты разбиваются на классы. У каждого класса есть множество свойств и характеристик, принципов, правил и норм использования, что дает возможность составить вопросы на установление соответствия данных терминов их характеристикам. Вопросы на установление соответствия в таком случае будут более рациональны, чем вопросы с выбором правильного ответа из перечня.
Задание на восстановление соответствия, как правило, состоит из двух столбцов: в первом содержатся вопросы, утверждения, факты, понятия, во втором - список утверждений или свойств объектов, которые необходимо привести в соответствие. При этом число входных данных одного списка не должно превышать 5-6, чтобы не вызвать сложность восприятия. Элементы групп должны быть однородными. Каждому элементу первого множества должен ставиться в соответствие только один элемент второго множества. Кроме того, должно быть неодинаковое число элементов в правом и левом столбцах. Избыточные ответы могут присутствовать только в одном столбце.
Главные преимущества заданий подобного типа - возможность быстрой оценки знаний, умений и навыков в конкретной области знаний и экономичность размещения задач в тесте.
Задания на установление соответствия проверяют ассоциативные знания о взаимосвязи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами. Это позволяет активизировать собственную учебную деятельность обучающихся посредством усиления ассоциаций изучаемых элементов и осмысления результатов контроля и самоконтроля.
г) Задания на восстановление последовательности подходят для любой дисциплины, в которой присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок операций, для гуманитарных дисциплин - восстановление временных последовательностей событий, для точных наук - алгоритмы решения задач. При составлении заданий на упорядочивание элементов необходимо пояснять испытуемым, в какой последовательности располагать элементы - от большего к меньшему или, наоборот, в алфавитном, хронологическом порядке и т. д. Рекомендуемое количество элементов - 5-6. Задания на восстановление последовательности обладают краткостью и простотой проверки [11].
Составьте 20 тестовых заданий по любому разделу дисциплины «Методы научных исследований в педагогике и психологии», из которых 5 заданий должно быть открытого типа, 5 - закрытого, 5 - на восстановление соответствия, 5 - на восстановление последовательности.
3. Разбейтесь на четыре группы. Составьте два варианта- близнеца теста успеваемости первого и второго уровня согласно классификации В. П. Беспалько по теме «Тестирование как метод психолого-педагогического исследования» (используя 4 формы - закрытую, открытую, соответствие и последовательность), отражающего ее ключевые моменты. Присвойте степень сложности каждому заданию, определив максимальное и минимальное количество баллов за верный ответ. Установите количество баллов, соответствующее той или иной отметке. По итогам работы выбирается лучший тест, соответствующий критериям оригинальности (отсутствие плагиата), валидности, грамотности формулировок. Группа-победитель занимает позицию исследователей. Участники остальных групп - позицию испытуемых.
Группа-победитель тестирует испытуемых по первому и второму варианту вперемешку. По окончании листы ответов равномерно распределяются между всеми членами группы и проверяются, полученные результаты оценивания проверяются на объективность. Надежность теста высчитывается с помощью метода деления пополам или метода параллельного теста. Диагностическая ценность каждого вопроса определяется после разделения студентов на сильную и слабую группу методом медианы. На сильную, среднюю и слабую - с помощью «индекса дифференциации». Последним заданием группы является определение степени сложности заданий.
Источник: Белых, И.Н. Методы научных исследований в педагогике и психологии [Электронный ресурс]: учебное пособие / И.Н. Белых, А.Г. Миронов; Красноярский государственный аграрный университет. - Красноярск, 2022. - 214 с. |
Лекции и практикум по психологии