дома нескучно
Как весело и с пользой пережить самоизоляцию

Распространенность незначительно значимых результатов в психологии с течением времени

9 November 2019

В своей статье "Переопределите статистическое значение" Бенджамин и др. утверждали, что стандарт для утверждения новых открытий, p <.05, является слишком низким и основной причиной невоспроизводимости и ложноположительных результатов, и они предложили изменить стандарт на p <.005. С другой стороны, Лакенс и др. утверждали, что исследователи должны открыто сообщать и обосновывать свой уровень значимости, будь то 0,05 или что-то еще.

https://pxhere.com/ru/photo/1192085
https://pxhere.com/ru/photo/1192085

В продолжение дискуссии об использовании уровней значимости в психологии мы эмпирически исследовали, в какой степени исследования в области психологии утверждают, что результаты исследований в этой области основываются на уровне значимости даже ниже 0,05, который часто называют второстепенным, то есть 0,05 < p ≤ ≤ 10. В частности, прошло исследование и выявился процент p-значений между 0,05 и 0,10, который, по данным исследований, является незначительным, во всех журналах и дисциплинах психологии и с течением времени. В процессе исследования также пересматривались работы Pritschet, Powell и Horne's утверждают, что с течением времени в психологии стали более распространены незначительные результаты, и что результаты в социальной психологии стали менее значимыми чаще, чем в психологии развития. Изучение распространенности результатов, считающихся незначительными, и повторное рассмотрение утверждений Pritschet et al. имеет важное значение, поскольку оно влияет на различия в воспроизводимости результатов по различным дисциплинам и тенденциям во времени. Более высокие значения p обычно связаны с меньшей воспроизводимостью и большим количеством ложноположительных результатов.

Метод

Данные

Использовались статьи из Хартгеринка, состоящие из 74 489 статей, опубликованных с 1985 по 2016 год в 74 журналах АПА (80% существующих в настоящее время журналов АПА).

Ограничились данными из журналов АПА, которые характеризуют следующие девять дисциплин психологии:

  • "базовая/экспериментальная психология",
  • "клиническая психология",
  • "психология развития",
  • "педагогическая психология, школьная психология и обучение",
  • "судебная психология",
  • "психология и медицина здоровья",
  • "производственная/организационная психология и управление",
  • "нейронаука и познание",
  • "социальная психология и социальные процессы".

В АПА журналы подразделяются на одну дополнительную категорию ("ядро психологии"). Однако эта категория состоит из журналов, которые публикуются по общей или междисциплинарной психологии, поэтому она не считается ее дисциплиной в психологии и исключаем записи, относящиеся только к ней, из нашего окончательного набора данных. Четыре журнала и 996 статей были уникальны для этой категории и поэтому были исключены.

Подготовка данных

Было исключено небольшое количество записей из извлекаемых данных из-за неправильного отображения или неудачи извлечения. Были исключены записи, в которых отсутствовали DOI (и название журнала, и год; n = 51,01% от общего числа) и все записи, в которых p значения не были числовыми (например, равны "..."; n = 1 073, 0,14% от общего числа); p значения, которые были неверно представлены, а также слишком высокие (например, p = 1,12, 2, вместо p), были ниже, а также были неверными на этапе. В наборе данных осталось несколько неверных значений p, например, те, которые были неверно представлены как p = 099 вместо p = ... 99.

Анализы

Поскольку были использованы неслучайные выборки и зависимые выборки (многие значения p включены во многие дисциплины), мы сосредоточились на описательной статистике и не проводили никаких преференциальных статистических тестов. В соответствии со стандартами журналов, тем не менее, сообщается о 95% доверительных интервалах в таблицах и рисунках оценок, но предостерегаемые от интерпретации их ненужным образом.

Результаты

Были представлены результаты в два этапа. Во-первых, были представлены результаты для журнала личностных качеств и социальной психологии и психологии развития. Также было рассмотрено среднее число p-значений от 0,05 до 0,10 в годовом исчислении на каждую статью. Во-вторых, были представлены результаты по всем журналам АРА, взятым вместе, и по девяти описанным ранее психологическим дисциплинам.

Психология и ее дисциплины

Значения p в диапазоне от 0,05 до 0,10, как минимально значимые, были общепринятой практикой во всей психологии и власти, не влияют на процент значений p, как минимально значимые, поскольку этот процент зависит от значения p, находящегося между 0,05 и 0,10.

Обсуждение

Продолжая дискуссию об использовании уровней значимости в психологии, эмпирически была исследована степень, в которой исследователи утверждали, что результаты исследования были незначительными на основании p-значения между 0,05 и 0,10 в психологии и ее дисциплинах между 1985 и 2016 годами. Изучение распространенности результатов, считающихся незначительными, имеет важное значение, поскольку это связано с различиями в воспроизводимости результатов по различным дисциплинам и тенденциям во времени.

https://pxhere.com/ru/photo/1567615
https://pxhere.com/ru/photo/1567615

Более высокие значения p обычно ассоциируются с меньшей воспроизводимостью и более ложными срабатываниями. После работы Pritschet et al. (2016) были рассмотрены тенденции в процентном соотношении статей, значения p которых были признаны незначительными, и показали, что на них влияют различия между дисциплинами в количестве p значений между 0,05 и 0,10 и динамика этого числа с течением времени. Также была изучена распространенность значений p между 0,05 и 0,10 в девяти психологических дисциплинах, которые, по имеющимся данным, являются незначительно значимыми во времени и не зависят от факторов, влияющих на распределение p-значений.