Исследователи представляют свои результаты на 12-м симпозиуме USENIX по проектированию и внедрению сетевых систем (NSDI) в Окленде, штат Калифорния.
В последние годы много обсуждается так называемые публикации с «открытым доступом» — идея о том, что исследовательские публикации, особенно финансируемые за счет государственных средств, должны быть общедоступными.
Информатика охватила открытый доступ больше, чем многие дисциплины, при этом некоторые издатели сублицензируют публикации и позволяют авторам публиковать их в открытых архивах. Однако по мере того, как все больше и больше корпораций публикуют свои исследования в академических журналах, а ученые оказываются в культуре «издавайся или погибай», надежность результатов исследований ставится под сомнение.
«Открытый доступ не так открыт, как вы думаете, особенно когда речь идет о корпоративных интересах», — сказал Мэтью Гросвенор, аспирант компьютерной лаборатории университета и ведущий автор статьи. "Из-за коммерческой чувствительности корпорации неохотно предоставляют свой код и наборы данных, когда они публикуются в рецензируемых журналах. Но без кода или наборов данных результаты не имеют значения — мы не сможем узнать, является ли эксперимент таким же, если попытаемся воссоздать его."
Помимо информатики, ряд громких инцидентов, связанных с ошибками, мошенничеством или неправомерным поведением, поставил под сомнение стандарты качества в исследованиях. Это выдвинуло на первый план вопрос воспроизводимости результатов, то есть того, что результат может быть надежно воспроизведен при одних и тех же условиях.
"Если результат не может быть достоверно повторен, то как мы можем ему доверять??"сказал Гросвенф. "Если вы попытаетесь воспроизвести работы других людей только по бумаге, вы часто получите разные числа.
Если у вас нет доступа ко всему, бесполезно называть исследование открытым исходным кодом. Это либо открытый исходный код, либо нет — вы не можете открыть исходный код совсем немного."
В своей последней публикации Гросвенф и его коллеги пошли на несколько шагов дальше типичных стандартов открытого доступа, установив новый золотой стандарт для открытых и воспроизводимых исследований. Все экспериментальные рисунки и таблицы в отмеченной наградами финальной версии их статьи, в которой описывается новый метод повышения эффективности центров обработки данных, доступны для просмотра.
Щелкнув любой рисунок или таблицу в документе, читатели попадают на веб-сайт, где исследователи подготовили технически подробные описания методов для каждого из своих экспериментов. Эти описания включают исходные наборы данных и инструменты, которые использовались для создания рисунков, а также бесплатный и открытый доступ ко всему исходному коду, который они написали и изменили.
В прошлом это могло быть невозможно, но благодаря дешевому облачному хранилищу исследователи разместили в Интернете почти 200 ГБ данных и 20000 строк кода и сделали их бесплатно доступными для всех по разрешительной лицензии с открытым исходным кодом.
«Теперь любой, у кого есть несколько компьютеров, должен иметь возможность следовать нашим инструкциям и создавать наши точные графики», — сказал Гросвенор. «Мы думаем, что это путь вперед для всех научных публикаций, поэтому мы вложили свои деньги туда, где говорим, и сделали это."