Срок действия (статистика) - Validity (statistics)

Для использования в других целях см. Срок действия.

Срок действия степень, в которой концепция,[1] Вывод или измерение хорошо обоснованы и, вероятно, точно соответствуют реальному миру. Слово «действительный» происходит от латинского «validus», что означает «сильный». Достоверность инструмента измерения (например, теста в образовании) - это степень, в которой инструмент измеряет то, что, по его словам, измеряется.[2] Валидность основана на силе совокупности различных типов доказательств (например, фактическая валидность, конструктивная валидность и т. Д.), Более подробно описанных ниже.

В психометрия, у валидности есть особое приложение, известное как валидность теста: «степень, в которой доказательства и теория поддерживают интерпретацию результатов тестов» («в результате предполагаемого использования тестов»).[3]

Общепринято, что концепция научной достоверности обращается к природе реальности с точки зрения статистических мер и как таковая является эпистемологический и философский вопрос, а также вопрос измерение. Использование термина в логика является более узким, касающимся отношения между посылками и выводом аргумента. В логике валидность относится к свойству аргумента, согласно которому, если посылки истинны, истинность заключения следует из необходимости. Заключение аргумента верно, если аргумент верен, то есть, если аргумент действителен и его предпосылки верны. Напротив, «научная или статистическая достоверность» - это не дедуктивное утверждение, которое обязательно сохраняет истину, а индуктивное утверждение, которое остается истинным или ложным в неопределенной манере. Вот почему «научная или статистическая достоверность» - это утверждение, которое квалифицируется как сильное или слабое по своей природе, оно никогда не является необходимым и определенно истинным. Это приводит к тому, что заявления о «научной или статистической достоверности» становятся открытыми для интерпретации того, что на самом деле означают факты.

Валидность важна, потому что она может помочь определить, какие типы тестов использовать, и помочь убедиться, что исследователи используют методы, которые не только этичны и рентабельны, но также являются методом, который действительно измеряет рассматриваемую идею или конструкции.

Срок действия теста

Основная статья: Срок действия теста

Действительность (точность)

Смотрите также: Точность и аккуратность

Срок действия[4] оценки - это степень, в которой она измеряет то, что предполагается измерять. Это не то же самое, что надежность, то есть степень, в которой измерение дает очень согласованные результаты. В пределах действительности измерение не всегда должно быть одинаковым, как в случае надежности. Однако только потому, что мера надежна, она не обязательно действительна. Например. шкала с отклонением от 5 фунтов является надежной, но недействительной. Тест не может быть действительным, если он не является надежным. Действительность также зависит от измерения того, для чего оно было разработано, а не от чего-то другого.[5] Действительность (аналогично надежности) - понятие относительное; обоснованность - это не идея по принципу «все или ничего». Есть много разных типов действительности.

Построить валидность

Основная статья: Построить валидность

Построить валидность относится к степени, в которой операционализация конструкции (например, практические тесты, разработанные на основе теории) измеряют конструкцию, как определено теорией. Он включает в себя все другие типы действительности. Например, степень, в которой тест измеряет интеллект, является вопросом конструктивной валидности. Мера интеллекта предполагает, среди прочего, что мера связана с вещами, с которыми она должна быть связана (конвергентная действительность ), не связанный с вещами, с которыми он не должен быть связан (дискриминантная действительность ).[6]

Доказательства достоверности конструкции включают в себя эмпирическую и теоретическую поддержку интерпретации конструкции. Такие доказательства включают статистический анализ внутренней структуры теста, включая взаимосвязь между ответами на различные элементы теста. Они также включают отношения между тестом и показателями других конструкций. В настоящее время понимается, что валидность конструкта не отличается от поддержки основной теории конструкта, для измерения которого предназначен тест. Таким образом, эксперименты, направленные на выявление аспектов причинной роли конструкции, также способствуют построению достоверных доказательств.[6]

Содержание действия

Содержание действия представляет собой нестатистический тип валидности, который включает «систематическое изучение содержания теста, чтобы определить, охватывает ли он репрезентативную выборку исследуемой области поведения» (Anastasi & Urbina, 1997, стр. 114). Например, есть ли в анкете IQ вопросы, охватывающие все области интеллекта, обсуждаемые в научной литературе?

Свидетельство достоверности содержимого включает степень, в которой содержимое теста соответствует домену содержимого, связанному с конструкцией. Например, тест на умение складывать два числа должен включать ряд комбинаций цифр. Тест только с однозначными числами или только с четными числами не обеспечит хорошего охвата предметной области. Свидетельства, относящиеся к содержанию, обычно включают в себя эксперта в предметной области (SME), оценивающего элементы тестирования на соответствие спецификациям тестирования. Перед тем, как перейти к окончательному заполнению вопросников, исследователь должен проверить достоверность пунктов по отношению к каждой из конструктов или переменных и, соответственно, изменить инструменты измерения на основе мнения SME.

В тест встроена валидность содержания путем тщательного выбора элементов для включения (Anastasi & Urbina, 1997). Пункты выбираются таким образом, чтобы они соответствовали спецификации теста, которая была составлена ​​путем тщательного изучения предметной области. Foxcroft, Paterson, le Roux & Herbst (2004, с. 49)[7] Обратите внимание, что с помощью группы экспертов для проверки спецификаций теста и выбора элементов достоверность содержимого теста можно повысить. Эксперты смогут просмотреть элементы и прокомментировать, охватывают ли они репрезентативный образец области поведения.

Действительность лица

Действительность лица оценка того, соответствует ли тест определенному критерию; это не гарантирует, что тест действительно измеряет явления в этой области. Меры могут иметь высокую достоверность, но когда кажется, что тест не измеряет то, что это такое, у него низкая достоверность. Действительно, когда тест подвергается подделке (симуляции), низкая достоверность может сделать тест более достоверным. Принимая во внимание, что можно получить более честные ответы с более низкой достоверностью, иногда важно создать впечатление, что при применении мер существует низкая достоверность.

Фактическая достоверность очень тесно связана с достоверностью контента. В то время как валидность содержания зависит от теоретической основы для предположения, оценивает ли тест все области определенного критерия (например, дает ли оценка дополнительных навыков хорошую меру математическим навыкам? Чтобы ответить на этот вопрос, вы должны знать, какие различные виды арифметических навыков математические навыки включают:) фактическая валидность связана с тем, является ли тест хорошей мерой или нет. Это суждение выносится на основе теста, поэтому его может судить и любитель.

Фактическая достоверность является отправной точкой, но никогда не следует предполагать, что она, вероятно, действительна для какой-либо конкретной цели, поскольку «эксперты» ошибались раньше - Маллеус Малификарум (Молот ведьм) не поддерживал свои выводы, кроме воображаемой компетентности двух «экспертов» в «обнаружении колдовства», однако его использовали как «испытание», чтобы осудить и сжечь на костре десятки тысяч человек и женщины как «ведьмы».[8]

Критерий достоверности

Критерий достоверности Доказательства включают корреляцию между тестом и критериальной переменной (или переменными), взятой в качестве репрезентативной для построения. Другими словами, он сравнивает тест с другими показателями или результатами (критериями), которые уже считаются действительными. Например, тесты для отбора сотрудников часто проверяются по показателям эффективности работы (критерий), а тесты IQ часто проверяются по показателям академической успеваемости (критерий).

Если данные теста и данные критерия собираются одновременно, это называется свидетельством одновременной достоверности. Если сначала собираются тестовые данные, чтобы предсказать данные критерия, собранные в более поздний момент времени, то это называется доказательством достоверности прогноза.

Одновременное действие

Одновременное действие относится к степени, в которой операционализация коррелирует с другими измерениями той же конструкции, которые измеряются в то же время. Когда показатель сравнивается с другим показателем того же типа, они будут связаны (или коррелированы). Возвращаясь к примеру выборочного теста, это будет означать, что тесты проводятся для текущих сотрудников, а затем соотносятся с их оценками в обзорах производительности.

Прогностическая достоверность

Прогностическая достоверность относится к степени, в которой операционализация может предсказывать (или коррелировать) с другими показателями той же конструкции, которые будут измеряться в какой-то момент в будущем. Опять же, в примере с отборочным тестом это будет означать, что тесты проводятся для соискателей, все кандидаты принимаются на работу, их результаты проверяются позже, а затем их баллы по двум параметрам коррелируются.

Это также когда измерение предсказывает связь между тем, что измеряется, и чем-то еще; прогнозирование того, произойдет ли что-то еще в будущем. Высокая корреляция между прогнозируемыми ожидаемыми и фактическими исходами является самым убедительным доказательством достоверности.

Экспериментальная достоверность

Обоснованность плана экспериментальных исследований является фундаментальной частью научный метод, и озабоченность этика исследования. Без обоснованного дизайна нельзя сделать достоверные научные выводы.

Достоверность статистического заключения

Достоверность статистического заключения степень, в которой выводы об отношениях между переменные основанные на данных, являются правильными или "разумными". Изначально это было связано исключительно с тем, было ли статистическое заключение о взаимосвязи переменных правильным, но теперь наблюдается тенденция к переходу к «разумным» выводам с использованием: количественных, статистических и качественных данных.[9]

Достоверность статистического заключения предполагает использование адекватных процедур выборки, соответствующих статистических тестов и надежных процедур измерения.[10] Поскольку этот тип достоверности касается исключительно отношений, обнаруживаемых между переменными, отношение может быть исключительно корреляцией.

Внутренняя валидность

Внутренняя валидность является индуктивный оценка степени, в которой выводы о причинный отношения могут быть установлены (например, причина и следствие) на основе используемых мер, условий исследования и всего плана исследования. Хорошие экспериментальные методики, в которых эффект независимая переменная на зависимая переменная изучается в строго контролируемых условиях, обычно допускает более высокую степень внутренней достоверности, чем, например, одноразовые конструкции.

Восемь видов сбивать с толку переменная может повлиять на внутреннюю достоверность (то есть при попытке изолировать причинно-следственные связи):

  1. История, конкретные события, происходящие между первым и вторым измерениями в дополнение к экспериментальным переменным
  2. Созревание, процессы внутри участников в зависимости от течения времени (не относящиеся к конкретным событиям), например, старение, голод, усталость и т. д.
  3. Тестирование, влияние прохождения теста на результаты второго тестирования.
  4. Приборыизменения в калибровке средства измерения или изменения наблюдателей или счетчиков могут привести к изменениям в полученных измерениях.
  5. Статистическая регрессия, действующие там, где группы были отобраны на основе их экстремальных баллов.
  6. Выбор, систематические ошибки, возникающие в результате дифференциального отбора респондентов для групп сравнения.
  7. Экспериментальная смертность, или дифференциальная потеря респондентов из групп сравнения.
  8. Взаимодействие отбора и созреванияи т. д., например, в квазиэкспериментальных планах с несколькими группами

Внешняя валидность

Внешняя валидность касается степени, в которой (внутренне достоверные) результаты исследования могут считаться верными для других случаев, например, для других людей, мест или времени. Другими словами, вопрос в том, можно ли обоснованно обобщить результаты. Если бы такое же исследование было проведено в этих других случаях, дало бы оно те же результаты?

Важным фактором при этом является то, является ли выборка исследования (например, участники исследования) репрезентативной для населения в целом по соответствующим параметрам. Другими факторами, ставящими под угрозу внешнюю валидность, являются:

  1. Реактивный или интерактивный эффект тестирования, предварительный тест может увеличить баллы на посттесте
  2. Эффекты взаимодействия смещения выборки и экспериментальной переменной.
  3. Реактивные эффекты экспериментальных установок, что исключило бы обобщение о влиянии экспериментальной переменной на людей, подвергшихся ее воздействию в неэкспериментальных условиях.
  4. Многократное вмешательство, где невозможно стереть эффекты ранее проведенных процедур.

Экологическая ценность

Экологическая ценность - это степень, в которой результаты исследования могут быть применены к реальным ситуациям за пределами исследовательской среды. Этот вопрос тесно связан с внешней обоснованностью, но охватывает вопрос о том, в какой степени экспериментальные данные отражают то, что можно наблюдать в реальном мире (экология = наука о взаимодействии между организмом и окружающей его средой). Чтобы быть экологически обоснованными, методы, материалы и условия исследования должны приближаться к реальной ситуации, в которой проводится расследование.

Экологическая обоснованность частично связана с проблемой эксперимента, а не наблюдения. Обычно в науке существует две области исследования: наблюдательная (пассивная) и экспериментальная (активная). Цель экспериментальных планов - проверить причинно-следственную связь, чтобы вы могли сделать вывод о причинах А или В причинах А. Но иногда этические и / или метологические ограничения не позволяют вам провести эксперимент (например, как изоляция влияет на когнитивные функции ребенка?) . Тогда вы все еще можете проводить исследования, но они не причинные, а корреляционные. Можно только сделать вывод, что A встречается вместе с B. Обе техники имеют свои сильные и слабые стороны.

Отношение к внутренней действительности

На первый взгляд кажется, что внутренняя и внешняя достоверность противоречат друг другу - чтобы получить экспериментальный план, вы должны контролировать все мешающие переменные. Вот почему вы часто проводите эксперимент в лабораторных условиях. Обретая внутреннюю достоверность (исключая мешающие переменные, сохраняя их постоянными), вы теряете экологическую или внешнюю достоверность, потому что вы создаете искусственную лабораторную среду. С другой стороны, с помощью наблюдательных исследований вы не можете контролировать мешающие переменные (низкая внутренняя достоверность), но вы можете проводить измерения в естественной (экологической) среде, в том месте, где обычно происходит поведение. Однако поступая так, вы жертвуете внутренней обоснованностью.

Однако кажущееся противоречие между внутренней и внешней достоверностью является лишь поверхностным. Вопрос о том, могут ли результаты конкретного исследования распространяться на других людей, места или времена, возникает только тогда, когда человек следует индуктивистская исследовательская стратегия. Если цель исследования - дедуктивный тест Теория занимается только факторами, которые могут подорвать строгость исследования, то есть угрозами внутренней обоснованности.

Диагностическая достоверность

В психиатрия есть особая проблема с оценкой действительности диагностические категории самих себя. В контексте:[11]

  • достоверность содержания может относиться к симптомам и диагностическим критериям;
  • одновременная достоверность может быть определена различными корреляторами или маркерами, а также, возможно, ответом на лечение;
  • прогностическая достоверность может относиться главным образом к диагностической стабильности во времени;
  • дискриминантная валидность может включать отграничение от других расстройств.

Робинс и Гузе предложили в 1970 году то, что должно было стать влиятельными формальными критериями для установления действительности психиатрических диагнозов. Они перечислили пять критериев:[11]

  • четкое клиническое описание (включая профили симптомов, демографические характеристики и типичные факторы)
  • лабораторные исследования (включая психологические тесты, радиологию и патологоанатомические исследования)
  • отграничение от других заболеваний (посредством критериев исключения)
  • последующие исследования, показывающие характерное течение (включая доказательства диагностической стабильности)
  • семейные исследования, показывающие семейную кластеризацию

Они были включены в Критерии Файнера и Диагностические критерии исследования которые с тех пор легли в основу систем классификации DSM и ICD.

Кендлер в 1980 году различал:[11]

  • предшествующие валидаторы (семейная агрегация, преморбидная личность и провоцирующие факторы)
  • параллельные валидаторы (включая психологические тесты)
  • прогностические валидаторы (согласованность диагностики с течением времени, частота рецидивов и выздоровления, а также реакция на лечение)

Нэнси Андреасен (1995) перечислил несколько дополнительных валидаторов - молекулярная генетика и молекулярная биология, нейрохимия, нейроанатомия, нейрофизиология, и когнитивная нейробиология - все они потенциально способны связать симптомы и диагнозы с их нейронные субстраты.[11]

Kendell и Jablinsky (2003) подчеркнули важность различения между валидностью и полезность и утверждали, что диагностические категории, определяемые их синдромами, следует рассматривать как достоверные только в том случае, если было показано, что они являются дискретными объектами с естественными границами, которые отделяют их от других расстройств.[11]

Кендлер (2006) подчеркнул, что для того, чтобы быть полезным, критерий валидации должен быть достаточно чувствительным, чтобы валидировать большинство синдромов, которые являются истинными расстройствами, а также быть достаточно специфичным, чтобы сделать недействительными большинство синдромов, не являющихся настоящими расстройствами. Исходя из этого, он утверждает, что критерий Робинса и Гузе «бега в семье» неадекватно конкретен, потому что большинство человеческих психологических и физических качеств могут быть квалифицированы - например, произвольный синдром, включающий смесь «рост более 6 футов, рыжие волосы» , и большой нос "будет найден, чтобы" бегать по семьям "и быть"наследственный «, но это не следует рассматривать как свидетельство того, что это расстройство. Кендлер также предположил, что»эссенциалист " ген модели психических расстройств и надежда на то, что мы сможем подтвердить категориальные психиатрические диагнозы, «вырезая природу на ее стыках» исключительно в результате открытия генов, неправдоподобны.[12]

В Федеральной судебной системе США достоверность и надежность доказательств оценивается с использованием стандарта Дауберта: см. Дауберт против Merrell Dow Pharmaceuticals. Перри и Лихтенвальд (2010) представляют собой отправную точку для обсуждения широкого круга тем, касающихся надежности и обоснованности, в своем анализе обвинительного приговора в неправомерном убийстве.[13]

Смотрите также

Рекомендации

  1. ^ Мозги, Willnat, Manheim, Rich 2011. Эмпирический политический анализ 8-е издание. Бостон, Массачусетс: Longman p. 105
  2. ^ Келли, Трумэн Ли (1927). Интерпретация образовательных измерений. Йонкерс-он-Гудзон, Нью-Йорк: Всемирная книжная компания. п. 14. Проблема достоверности заключается в том, действительно ли тест измеряет то, что он предназначен для измерения ...
  3. ^ Американская ассоциация исследований в области образования, Психологическая ассоциация и Национальный совет по измерениям в образовании. (1999). Стандарты образовательного и психологического тестирования. Вашингтон, округ Колумбия: Американская ассоциация исследований в области образования.
  4. ^ Национальный совет по измерениям в образовании. http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorV
  5. ^ Крамер, Джеффри П., Дуглас А. Бернштейн и Вики Фарес. Введение в клиническую психологию. 7-е изд. Река Аппер Сэдл, Нью-Джерси: Pearson Prentice Hall, 2009. Печать.
  6. ^ а б Кронбах, Ли Дж .; Мил, Пол Э. (1955). «Конструируйте валидность в психологических тестах». Психологический бюллетень. 52 (4): 281–302. Дои:10,1037 / ч 0040957. HDL:11299/184279. ISSN  0033-2909. PMID  13245896. S2CID  5312179.
  7. ^ Фокскрофт К., Патерсон Х., Ле Ру Н. и Хербст Д. Исследовательский совет по гуманитарным наукам (2004). 'Психологическая оценка в Южной Африке: анализ потребностей: модели использования тестов и потребности практикующих психологов: Заключительный отчет: июль. Получено с веб-сайта: http://www.hsrc.ac.za/research/output/outputDocuments/1716_Foxcroft_Psychologicalassessmentin%20SA.pdf
  8. ^ Наиболее распространенные оценки - от 40 000 до 60 000 смертей. Брайан Левак (Охота на ведьм в Европе раннего Нового времени) умножили количество известных европейских судебных процессов над ведьмами на средний уровень осуждений и казней, чтобы получить цифру около 60 000 смертей. Энн Левеллин Барстоу (Колдовство) скорректировал оценку Левака, чтобы учесть утерянные записи, оценив 100000 смертей. Рональд Хаттон (Триумф Луны) утверждает, что оценка Левака уже была скорректирована с учетом этих данных, и увеличивает цифру примерно до 40 000.
  9. ^ Козби, Пол С. Методы поведенческих исследований. 10-е изд. Бостон: Высшее образование Макгроу-Хилла, 2009. Печать.
  10. ^ Джонатан Джавид (6 ноября 2015 г.). «Достоверность и достоверность измерений». slideshare.net. Получено 23 марта 2018.
  11. ^ а б c d е Kendell, R; Ябленский, А (2003). «Как различать достоверность и полезность психиатрических диагнозов». Американский журнал психиатрии. 160 (1): 4–12. Дои:10.1176 / appi.ajp.160.1.4. PMID  12505793.
  12. ^ Кендлер, К.С. (2006). «Размышления о взаимосвязи психиатрической генетики и психиатрической нозологии». Американский журнал психиатрии. 163 (7): 1138–46. Дои:10.1176 / appi.ajp.163.7.1138. PMID  16816216.
  13. ^ Перри, ФС; Лихтенвальд, Т.Г. (2010). "Неосторожное использование судебной психологии в качестве доказательства: дело Тимоти Мастерс" (PDF). Журнал Чемпион (Июль): 34–45.

дальнейшее чтение