Ваш психолог. Работа психолога в школе.

Тезаурус к теме

Надежность - свойство сохранять во времени способность выполнять требуемые функции.
Валидность (от лат. validas - крепкий) - степень соответствия между параметрами метода и оцениваемой деятельности или функции (например, пригодность теста измерять то свойство, для измерения которого он предназначен); обоснованность, надежность, ценность научного результата.
Критерий (от греч. Kriterion - признак) - признак, по которому классифицируются, определяются, оцениваются явления, действия или деятельность (в частности, при их формализации).

Показатель (indicator - то, что доступно восприятию, то, что «показывает» наличие чего-либо) - это некоторая величина или качество переменной (критерия), которое может проявляться у конкретного объекта, т. е. это мера проявления критерия, его количественная или качественная характеристика, по которой судят о различных состояниях объекта; это внешне хорошо различимый признак измеряемого критерия.
Репрезентативность (от фр. representatif - представительный) - свойство выборки пропорционально воспроизводить все характеристики генеральной совокупности. Достигается с помощью такого построения выборочной совокупности (т. е. объекта непосредственного анализа), при котором она наилучшим образом представляет генеральную совокупность (т. е. объект в целом) и, следовательно, позволяет обоснованно переносить научные выводы, полученные при анализе выборочной совокупности, на генеральную совокупность.
Вопрос о степени доверия полученным в исследовании результатам волнует не только самих исследователей, но и практических работников образования. В методологии психологии и педагогики разработано немало критериев и методов оценки качества исследовательского процесса и получаемых результатов исследования.

Надежность метода

Надежность методов психолого-педагогического исследования во многом зависит от критериев и показателей, по которым происходит изучение выбранного для исследования образовательного феномена. В диагностике критерием является переменная величина, принимающая разные значения в различных случаях или в разные моменты времени в рамках одного случая. Критерии дают возможность судить о состоянии объекта исследования. Показатель выполняет роль эмпирического индикатора критерия. Принято считать, что количество критериев должно составлять не менее трех, а по каждому критерию следует выделять как минимум три показателя. Только тогда можно говорить о полном отображении объекта и предмета диагностики и проявлении каждого соответствующего критерия.
Определение критериев и признаков объекта позволяет осуществить переход от абстрактного уровня его описания к конкретным наблюдениям.

Чтобы исследование не превратилось в самоцель, а стало средством совершенствования образовательной практики, каждая методика должна иметь следующие составляющие:
- описание, обеспечивающее ее адекватное использование в точном соответствии со стандартами (предмет диагностики, сфера применения, контингент испытуемых, процедура применения);
- подробные сведения о процедуре разработки методики, полученных при этом данных о надежности и валидности;
- однозначное описание выборки стандартизации и характера диагностической ситуации в обследовании;
- процедура подсчета баллов и интерпретации должна быть описана с однозначной ясностью, позволяющей получить идентичные результаты при обработке одинаковых протоколов разными пользователями руководства.

В начале XX в. в психологии были официально признаны и приняты требования, предъявляемые к понятиям и методам исследования и диагностики в наиболее развитых современных науках, - требования операционализации и верификации [36].
Под операционализацией понимается требование, согласно которому при введении новых научных понятий необходимо четко указывать на конкретные процедуры, приемы и методы, с помощью которых можно практически удостовериться в том, что явление, описанное в понятии, действительно существует. Операционализация предполагает указание на практические действия или операции, которые может выполнить любой диагност, чтобы убедиться в том, что определенное в понятии явление обладает именно теми свойствами, которые ему приписываются.
Требование верификации означает, что всякое новое понятие, вводимое в научный оборот и претендующее на получение статуса научного, обязательно должно пройти проверку на наличие методики экспериментальной диагностики описанного в нем явления. Качество результатов диагностики при этом принято оценивать по общепринятым критериям объективности, надежности, валидности и др.
Объективность характеризуется корреляцией (совпадением или согласованностью) между результатами, полученными двумя оценивающими лицами. Необходимо, чтобы коэффициенты корреляции в этом случае были близки к единице (г = 1). Для большей объективности обработки данных рекомендуется в анкетировании, тестировании, наблюдении использовать косвенные (диагностируемые факты не называются, а предполагаются), альтернативные (с несколькими вариантами ответов) вопросы. В целях обеспечения объективности проведение, обработка и интерпретация (оценка) результатов работы должны быть строго нормированы.
Стандартизация - это единообразие процедуры проведения и оценки выполнения диагностического метода.
Стандартизированность в диагностике - это неизменность заданных вопросов и задач, точность соблюдения испытуемыми инструкции, а диагностами - способов вычисления и интерпретации полученных показателей. Сопоставимость в педагогической диагностике допускает более широкое сравнение результатов тестирования с данными других научно-практических методов: наблюдения, беседы, анализа продуктов деятельности (письменных работ, рисунков, поделок), поведения и общения.
Надежность метода исследования. Надежность - один из критериев качества результата в диагностике, относящийся к степени точности и устойчивости показателей диагностируемого признака. В самом широком смысле надежность - это характеристика того, в какой степени выявленные у испытуемых различия по результатам проведения методики являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

Существуют три основных приема для оценки надежности диагностической методики:

1) Прием ретеста, или повторной диагностики, позволяет обработать одни и те же задания, выполненные одними и теми же испытуемыми в разное время, и просчитать взаимосвязь результатов, выраженную в коэффициенте самокорреляции.
2) Прием деления пополам - подборка однажды выполненных заданий делится пополам (например, в первый полутест входят задания с нечетным порядковым номером, а во второй полутест - с четным), затем устанавливаются результаты каждого испытуемого по обоим полутестам и вычисляется коэффициент корреляции между полученными результатами.
3) Прием параллельного теста - для измерения одних и тех же знаний конструируются два различных набора заданий, которые по своему содержанию напоминают близнецов; оба параллельных набора заданий предлагаются непосредственно друг за другом или при удобном случае.

Во всех случаях при коэффициенте корреляции методик г > 0,7 методика считается надежной.

В тестовой методике принято учитывать три коэффициента надежности:
- коэффициент стабильности, или постоянства, - показатель корреляции между результатами первого и повторного испытаний одним тестом одной и той же выборки испытуемых;
- коэффициент эквивалентности, или коэффициент корреляции, результатов тестирования одного и того же контингента испытуемых с помощью вариантов одного и того же теста либо разными, но эквивалентными по форме и цели, тестами;
- коэффициент внутреннего постоянства, или внутренней однородности, который соответствует корреляции результатов частей теста, показанных одними и теми же испытуемыми.

Валидность метода

Валидность метода исследования и диагностики показывает, в какой мере измеряется то качество (свойство, характеристика), для оценки которого он предназначен. Валидность (адекватность) говорит о степени соответствия метода своему назначению. Чем ближе раскрывается в диагностике тот признак, для обнаружения и измерения которого предназначен метод, тем выше его валидность.
Понятие валидности относится не только к методике, но и к критерию оценки ее качества, критерию валидности. Это основной признак, по которому можно практически судить о том, является ли данная методика валидной. Такими критериями могут стать следующие:
- поведенческие показатели - реакции, действия и поступки испытуемого в различных жизненных ситуациях;
- достижения испытуемого в различных видах деятельности - учебной, трудовой, творческой и др.;
- самоорганизация, данные, свидетельствующие о выполнении различных контрольных проб и заданий;
- данные, получаемые при помощи других методик, валидность или связь которых с проверяемой методикой считается достоверно установленной.

Выделяют несколько видов валидности диагностических методик:
1) Теоретическая (концептуальная) валидность определяется по соответствию показателей исследуемого качества, получаемых с помощью данной методики, показателям, получаемым посредством других методик (с показателями которых должна существовать теоретически обоснованная зависимость). Теоретическую валидность проверяют по корреляциям показателей одного и того же свойства, получаемым при помощи разных методик, связанных с одной и той же теорией.
2) Эмпирическая (прагматическая) валидность проверяется по соответствию диагностических показателей реальному жизненному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некой методики мы оцениваем черты характера у данного испытуемого, то применяемая методика будет считаться практически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни именно так, как предсказывает методика, т. е. в соответствии с имеющейся у него чертой характера.
3) Внутренняя валидность означает соответствие содержащихся в методике заданий, субтестов, суждений и тому подобного общей цели и замыслу методики в целом. Она считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов измеряют не то, что требуется от данной методики.
4) Внешняя валидность - это примерно то же самое, что и эмпирическая валидность, с той лишь разницей, что в данном случае речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.
5) Очевидная валидность описывает представление о методе, сложившееся у испытуемого, т. е. это валидность с точки зрения испытуемого. Методика должна восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с медицинским диагностическим инструментарием.
6) Конкурентная валидность оценивается по корреляции разработанной методики с другими, валидность которых относительно измеряемого параметра установлена.
7) Прогностическая валидность устанавливается с помощью корреляции между показателями методики и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время.
8) Инкрементная валидность имеет ограниченное значение и относится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи. В этом случае данный тест обладает инкрементной валидностью. Это может быть полезно при проведении профотбора с помощью психологических тестов.
9) Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успеваемостью, но по-разному для разных дисциплин. Значение дифференциальной валидности, так же как и инкрементной, ограничено.
10) Содержательная валидность определяется через подтверждение того, что задания методики отражают все аспекты изучаемой области поведения. Содержательную валидность часто называют «логической валидностью» или «валидностью по определению». Она означает, что методика валидна по мнению специалистов. Обычно она определяется у тестов достижений. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна.
11) Конструктная валидность демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается методика.

Конструктная валидность включает в себя все подходы к определению валидности, которые были перечислены выше. Существует прямая связь валидности с надежностью. Методика с низкой надежностью не может обладать высокой валидностью, поскольку неверен измерительный инструмент и нестабилен тот признак, который он измеряет [36].
Репрезентативность означает, что свойства более широкого множества объектов представлены в свойствах подмножества.
Репрезентативность тестовых норм - соответствие граничных точек на распределении тестовых баллов, полученных на выборке стандартизации, аналогичным граничным точкам, которые могли бы быть получены на популяции проведения - на множестве испытуемых, для которых предназначена методика. Обычно при получении кривой нормального распределения делается вывод о том, что тестовые нормы обладают репрезентативностью.
Тематическая репрезентативность - мера представленности в наборе диагностических заданий той предметной области, на которую направлена методика, т. е. области поведения в случае тестирования психологических свойств или области знания в случае педагогической диагностики. Диагностическая ценность методики определяется путем проведения предварительного опыта с так называемой нейтральной группой, результаты которого в дальнейшей диагностической работе не используются.

Существует ряд дополнительных требований, предъявляемых к выбору диагностических методик:
1) избираемая методика должна быть наиболее простой из всех возможных и наименее трудоемкой из тех, которые позволяют получить требуемый результат;
2) инструкция к методике должна быть простой, короткой и понятной не только для диагноста, но и для испытуемого, настраивать испытуемого на добросовестную доверительную работу, исключающую возникновение у него побочных мотивов, способных отрицательно повлиять на результаты, сделать их сомнительными.
3) обстановка и другие условия проведения диагностики не должны содержать посторонних раздражителей, которые могут отвлечь внимание испытуемого, изменить его отношение к психодиагностике и превратить его (отношение) из нейтрального и объективного в пристрастное и субъективное [36].

Задание

1. Проведите учебное исследование среди одногруппников с использованием методики определения тревожности (по тестам R. Temml, M. Dorca, V. Amen). Проведите корреляционный анализ результатов (по критерию Спирмена). Сформулируйте выводы.

Контрольные вопросы
1. Существует ли связь валидности с надежностью? Если да, то какая?
2. Что называют операционализацией и верификацией?
3. Какими критериями определяется валидность?
4. Какие виды валидности выделяют в методологии психолого-педагогического исследования?
5. Что позволяет осуществить переход от абстрактного уровня описания объекта к конкретным наблюдениям?
Источник: Белых, И.Н. Методы научных исследований в педагогике и психологии [Электронный ресурс]: учебное пособие / И.Н. Белых, А.Г. Миронов; Красноярский государственный аграрный университет. - Красноярск, 2022. - 214 с.