|
Занятие. Определение валидности теста
Вводные замечания
Валидность – комплексная характеристика, включающая сведения о том, пригодна ли методика для измерения того, для чего она была создана, и какова её действенность, практическая полезность. Соответственно, процесс проверки валидности (валидизация) в первом случае называется теоретической валидизацией, а во втором – прагматической валидизацией. Если показатели надёжности и дискриминативности могут быть вычислены определённо и однозначно, то установление валидности – гораздо более разносторонняя и менее однозначная процедура.
Существует множество различных типов валидности, основными из которых являются: валидность по содержанию, а также критериальная, конкурентная, конструктная, инкрементная и дифференциальная валидности. Эти типы валидности подробно рассмотрены в учебном пособии [38]. Настоящее занятие посвящено определению критериальной валидности теста.
Критериальная валидность – это способность теста дифференцировать испытуемых по изучаемому признаку. В качестве таких признаков могут выступать познавательные процессы, способности, личностные характеристики. Критериальная валидность определяется по результатам вычисления коэффициента корреляции между результатами тестирования с экспертными оценками по соответствующим критериям.
В таблице 9.4.1 представлены результаты диагностики социального интеллекта выборки студентов-психологов с помощью методики Гилфорда-Салливэна, а также усреднённые экспертные оценки проявлений социального интеллекта в различных видах интерперсонального взаимодействия. Эти данные будут использованы для изучения технологии определения критериальной валидности.
 |
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
11
|
12
|
13
|
|
9
|
11
|
8
|
4
|
32
|
4,9
|
5,5
|
5,3
|
5,1
|
4,9
|
4,9
|
4,7
|
35,3
|
|
13
|
11
|
11
|
6
|
41
|
4,77
|
5,46
|
4,54
|
5,15
|
5,54
|
5,08
|
4,62
|
35,16
|
|
11
|
9
|
8
|
3
|
31
|
4,8
|
5,6
|
5,5
|
5
|
4,8
|
4,5
|
4,9
|
35,1
|
|
9
|
10
|
9
|
8
|
36
|
4,77
|
5
|
4,92
|
5
|
4,54
|
4,92
|
4,77
|
33,92
|
|
12
|
10
|
11
|
5
|
38
|
4,38
|
4,92
|
4,54
|
5,62
|
4,46
|
5,08
|
4,77
|
33,77
|
|
10
|
8
|
8
|
3
|
29
|
4,6
|
4,7
|
5,5
|
4,9
|
4,6
|
4,5
|
4,8
|
33,6
|
|
13
|
9
|
9
|
6
|
37
|
5,1
|
5,2
|
4,9
|
5
|
4
|
4,8
|
4,5
|
33,5
|
|
12
|
8
|
9
|
8
|
37
|
4,4
|
4,6
|
4,9
|
5
|
4,9
|
4,8
|
4,3
|
32,9
|
|
13
|
8
|
7
|
5
|
33
|
4,54
|
4,85
|
4,77
|
5
|
4,54
|
4,31
|
4,54
|
32,55
|
|
13
|
7
|
10
|
7
|
37
|
4,1
|
5,3
|
4,9
|
5,2
|
4,1
|
4,6
|
4,2
|
32,4
|
|
11
|
9
|
10
|
5
|
35
|
3,77
|
4,85
|
4,54
|
4,46
|
5,15
|
4,54
|
4,54
|
31,85
|
|
7
|
9
|
9
|
7
|
32
|
4,15
|
4,69
|
4,46
|
4,69
|
4,77
|
4,62
|
4,38
|
31,76
|
|
12
|
6
|
9
|
6
|
33
|
3,9
|
4
|
5
|
4,9
|
4,8
|
4,3
|
4,4
|
31,3
|
|
12
|
7
|
8
|
7
|
34
|
4,1
|
4,3
|
4,7
|
4,7
|
4,8
|
4,4
|
4,1
|
31,1
|
|
10
|
7
|
8
|
7
|
32
|
4,2
|
4,3
|
5
|
4,9
|
3,9
|
4,4
|
4,4
|
31,1
|
|
11
|
10
|
10
|
7
|
38
|
4,1
|
4
|
5
|
4,7
|
3,8
|
4
|
4,4
|
30
|
|
14
|
7
|
8
|
4
|
33
|
4,15
|
4
|
4,31
|
4,08
|
4,38
|
4,08
|
4,23
|
29,23
|
|
13
|
10
|
11
|
6
|
40
|
3,62
|
4,08
|
3,92
|
4
|
4,54
|
4,08
|
4,08
|
28,32
|
|
8
|
6
|
8
|
4
|
26
|
3,7
|
3,5
|
4,3
|
4,5
|
4,6
|
3,8
|
3,8
|
28,2
|
|
13
|
9
|
9
|
3
|
34
|
2,6
|
4,3
|
3,9
|
3,6
|
5
|
3,4
|
3,9
|
26,7
|
|
|
|
|
|
|
2,77
|
4,23
|
3,46
|
3,15
|
1,85
|
3,15
|
3,31
|
21,92
|
Порядок работы
- Изучив содержание субтестов методики Гилфорда-Салливэна и содержание критериев оценки социального интеллекта (см. табл. 9.4.1), выбрать для каждого субтеста наиболее подходящий внешний критерий.
- Вычислить коэффициенты ранговой корреляции Спирмена между результатами диагностики социального интеллекта по каждому из субтестов с соответствующими экспертными оценками.
- Вычислить коэффициент корреляции между композитной оценкой по тесту с суммарной экспертной оценкой.
- Сделать вывод о критериальной валидности субтестов (выбрав по результатам вычислений более адекватный данному субтесту критерий), а также теста в целом.
- Отчёт должен включать а) обоснование выбора внешнего критерия для каждого субтеста; б) результаты вычисления коэффициентов корреляции; в) обоснованные выводы о критериальной валидности субтестов и теста в целом.
Приложение к занятию. Алгоритм расчёта коэффициента ранговой корреляции Спирмена
- Проранжировать значения переменной Х, приписывая меньшему значению меньший ранг. Занести в таблицу полученные значения рангов Rx.
- Поступить также со значениями переменной Y.
- Подсчитать разности dмежду рангами Rx и Ry. Внести полученные результаты в соответствующий столбец таблицы.
- Возвести каждую разность в квадрат и заполнить следующий столбец таблицы. Подсчитать сумму квадратов.
5. При наличии одинаковых рангов рассчитать поправки:
Тх = ∑(а3 - а) /12 ; Ту = ∑(b3 -b) /12, где а – объём каждой группы
одинаковых рангов в ряду Х; b– объём каждой группы одинаковых рангов в ряду Y.
Критические значения для объёма выборки п = 27 равны 0,38 (р = 0,05) и 0,48 (р = 0,01).
Источник: Леонова Е. В. Эмпирические методы психологического исследования: Учебное пособие. – М.: НИЯУ МИФИ, 2014. – 324 с. |
Лекции и практикум по психологии 