Авторы говорят, что в процессе составления еженедельных списков статей о ожирении и питании они стали замечать больше рецензируемых статей, содержащих то, что они называют «существенными или недействительными ошибками».«Что поразило, так это то, насколько серьезными были некоторые из этих ошибок, включая математически невозможные значения, вероятности, превышающие единицу, результаты потери веса, которые, если бы это было правдой, потребовали бы, чтобы взрослые выросли более чем на 6 сантиметров за два месяца, чтобы назвать всего несколько ", — сказал Дэвид Б. Эллисон, доктор философии.D., руководитель исследовательской группы и заместитель декана по науке в Школе общественного здравоохранения UAB.
«Эти ошибки связаны с фактическими ошибками или практиками, которые существенно отклоняются от четко принятых процедур, и в случае их исправления могут измениться выводы статьи», — сказал Эндрю Браун, доктор философии.D., ученый из Школы общественного здравоохранения UAB и соавтор комментария. "В некоторых случаях, когда мы отметили эти ошибки, мы отозвали содержащие их документы."
Браун говорит, что команда попыталась исправить более 25 из этих ошибок с помощью писем авторам или журналам. Их усилия выявили повторяющиеся практики обесценивания и показали, как журналы и авторы реагируют, когда сталкиваются с ошибками, которые требуют исправления.
«Мы узнали, что рецензирование после публикации не является последовательным, плавным или быстрым», — сказала Эллисон. "Многие редакторы и сотрудники журналов оказались неподготовленными к расследованию, принятию мер или даже реагированию.
Слишком часто процесс проходил через несколько слоев неэффективных электронных писем между авторами, редакторами и неопознанными представителями журналов, часто без каких-либо публичных заявлений, добавляемых к исходной статье."
В ходе неформального 18-месячного обзора литературы авторы обнаружили ряд повторяющихся проблем:
• Редакторы часто не готовы или не хотят принимать быстрые и надлежащие меры
• Куда отправлять выражения озабоченности неясно
• Сотрудники журнала, признавшие ошибки недействительными, неохотно делали опровержения или даже своевременно выражали озабоченность
• Некоторые журналы могут взимать плату с авторов, сообщающих о проблемах, для исправления ошибок других (более 1000 долларов США)
• Не существует стандартного механизма для запроса необработанных данных для проверки с целью подтверждения ошибок
• Обеспокоенность, выраженная через онлайн-форумы, легко упускается из виду и не связана таким образом, чтобы читатели данной статьи могли найти ее
Авторы заметили, что существует мало официальных указаний по исправлениям после публикации.
Они рекомендуют журналам стандартизировать процессы подачи заявок и рецензирования, установить четкие протоколы для рассмотрения выражений озабоченности и отказаться от платы за публикацию, связанной с этими выражениями озабоченности.
Дальнейшие предложения включают создание среды для быстрого решения проблем читателей и предоставление четкой информации о том, как и кому следует решать такие проблемы.
«Мы также думаем, что очень важно создать понимание того, что такие выражения озабоченности не являются осуждением работы, но должны рассматриваться как предупреждение о том, что работа подвергается дальнейшему изучению», — сказала соавтор Кэтрин А. Кайзер, доктор философии.D.
Дополнительные рекомендации предполагают, что журналы и эксперты по статистике должны работать вместе, чтобы выявлять типичные статистические ошибки, и что авторы и журналы должны быть готовы быстро обмениваться данными и кодом анализа при возникновении вопросов.
Авторы отметили общие статистические ошибки во многих исследованиях, включая ошибочный дизайн или анализ кластерных рандомизированных исследований, ошибки в метаанализах и несоответствующие исходные сравнения.
Авторы признают, что их работа не представляла собой формальный обзор, и предполагают, что необходимо более формальное, систематическое исследование, чтобы установить, является ли их опыт репрезентативным для науки в целом.
«В идеале любой, кто обнаруживает потенциальную проблему с исследованием, будет участвовать, написав авторам и редакторам или комментируя онлайн, и будет делать это коллегиально», — сказал Браун. "Ученые, которые занимаются рецензированием после публикации, часто делают это из чувства долга перед своим сообществом, но эта важная работа не пользуется таким же авторитетом, как другие научные начинания."
«Надежная наука требует серьезных исправлений», — добавила Эллисон. "Пора сделать процесс менее обременительным."