В Национальной лаборатории Окриджа Министерства энергетики США исследователи разрабатывают решение, создавая новую инфраструктуру, объединяющую новейшие технологии создания изображений лаборатории с передовой аналитикой данных и высокопроизводительными вычислениями (HPC). Сочетание экспериментальной мощности и вычислительной мощности обещает ускорение исследований и открывает новые возможности для открытия и разработки передовых материалов, знаний, которые могут привести к созданию более совершенных батарей, полупроводников атомного масштаба и эффективных фотоэлектрических элементов, и это лишь некоторые из приложений.
Однако разработка распределенной программной системы, которая обеспечивает эти расширенные возможности безупречным образом, требует дополнительного уровня сложности.Войдите в среду Bellerophon для анализа материалов (BEAM), платформу ORNL, которая объединяет научные инструменты с веб-службами и службами данных, а также ресурсами высокопроизводительных вычислений через удобный интерфейс. Разработанный для упрощения анализа данных и рабочих процессов из экспериментов, проводимых в Управлении науки Министерства энергетики США в ORNL, таких как Центр нанофазных материаловедения (CNMS) и источник нейтронов расщепления (SNS), BEAM дает материаловедам прямой доступ к масштабируемым вычислениям. , поддержка программного обеспечения и услуги высокопроизводительного облачного хранилища, предоставляемые ORNL Compute and Data Environment for Science (CADES).
Кроме того, BEAM предлагает пользователям доступ к суперкомпьютерным ресурсам мирового класса в Oak Ridge Leadership Computing Facility (OLCF) — еще одном пользовательском центре Управления науки Министерства энергетики США.Конечным результатом для ученых является обработка, анализ и визуализация больших экспериментальных наборов данных в режиме, близком к реальному времени, с удобством локальной рабочей станции — радикальное улучшение по сравнению с традиционными, отнимающими много времени практиками анализа данных.
«Процессы, которые раньше занимали дни, теперь занимают считанные минуты», — сказал инженер-программист ORNL Эрик Лингерфельт, ведущий разработчик BEAM. «После того, как исследователи загружают свои данные в онлайн-систему управления данными BEAM, они могут легко и интуитивно выполнять расширенные алгоритмы анализа на ресурсах HPC, таких как вычислительные кластеры CADES или суперкомпьютер Titan OLCF, и быстро визуализировать результаты. Ускорение невероятно, но самое главное — работа можно сделать удаленно из любого места и в любое время ».Строительство BEAMКоманда под руководством Лингерфельта и Стивена Джесси из CNMS начала разработку BEAM в 2015 году в рамках лабораторной инициативы ORNL Institute for Functional Imaging Materials, посвященной укреплению связей между технологиями обработки изображений, высокопроизводительными вычислениями и анализом данных.
Многие из основных концепций BEAM, такие как его многоуровневая инфраструктура, управление облачными данными и возможности анализа в реальном времени, возникли в результате предыдущего проекта Министерства энергетики США под названием Bellerophon — вычислительной среды рабочего процесса для моделирования сверхновых при разрушении ядра HPC — под руководством Бронсона из OLCF. Messer и разработан Lingerfelt. База данных Bellerophon, впервые выпущенная в 2010 году, расширилась и теперь включает более 100 000 файлов данных и 1,5 миллиона визуализированных в реальном времени изображений более 40 различных моделей сверхновых с разрушением ядра.
Однако применение и расширение вычислений и стратегий данных Bellerophon в области материалов создало множество новых технических препятствий. «Мы потратили целый год на создание и интеграцию инфраструктуры BEAM с инструментами CNMS», — сказал Лингерфельт. «Сейчас ученые только начинают его использовать».С помощью BEAM исследователи получают доступ к масштабируемым алгоритмам — коду, разработанному математиками ORNL и учеными-вычислителями, чтобы сократить время до открытия. Кроме того, BEAM предлагает пользователям улучшенные возможности управления данными и общие форматы данных, которые упрощают тегирование, поиск и совместное использование. Снижение этих барьеров для сообщества материаловедов не только помогает с проверкой и подтверждением текущих результатов, но и создает будущие возможности для научных открытий. «По мере того как мы добавляем в BEAM новые функции и инструменты анализа данных, пользователи смогут вернуться и запустить их на своих данных», — сказал Лингерфельт.
Год в часыОдин из первых рабочих процессов обработки данных, разработанный для BEAM, демонстрирует его далеко идущий потенциал для ускорения материаловедения.
В CNMS пользователи со всего мира используют мощные инструменты визуализации центра для изучения материалов с атомарными деталями. Однако анализ данных пользователей часто замедлял научный прогресс.
Один из распространенных процессов анализа требовал от пользователей форматирования данных, полученных с помощью метода построения изображений, называемого атомно-силовой микроскопией с полосовым возбуждением. Анализ, проводимый на одной рабочей станции, часто занимал несколько дней. «Иногда люди снимали свои измерения и не могли их проанализировать даже в те недели, когда были здесь», — сказал Джесси.
Перенося данные микроскопии в компьютер CADES через интерфейс BEAM, пользователи CNMS получили ускорение анализа в 1000 раз, сократив объем работы до нескольких минут. Специализированный алгоритм подгонки, который был повторно реализован для использования на ресурсах высокопроизводительных вычислений математиком ORNL Эйриком Эндеве, сыграл ключевую роль в ужесточении цикла обратной связи, на который пользователи полагались, чтобы судить, нужно ли вносить коррективы в свой эксперимент. «Мы буквально сократили год анализа данных до 10 часов», — сказал Лингерфельт.
BEAM также доказывает свою ценность в SNS — самой интенсивной системе импульсного нейтронного пучка в мире — ужесточая взаимодействие между теорией и экспериментом. Работая с Хосе Боррегеро из Центра ускорения и моделирования материалов SNS, команда BEAM создала рабочий процесс, который позволяет сравнивать данные моделирования и рассеяния нейтронов почти в реальном времени с использованием вычислений CADES. Обратная связь помогает нейтронным ученым оптимизировать свои модели и направлять дальнейшие эксперименты. В будущем алгоритмы машинного обучения могут полностью автоматизировать процесс, позволяя ученым сосредоточиться на других частях своей работы. «Однако люди по-прежнему будут в центре научного процесса», — сказал Лингерфельт.
«Мы здесь не для того, чтобы заменять каждый шаг в рабочем процессе научного эксперимента, но мы хотим разработать инструменты, которые дополняют то, что уже делают ученые», — сказал он.Добавление в набор инструментовТеперь, когда инфраструктура BEAM создана, команда Лингерфельта сотрудничает с экспертами по передовой математике, данным и визуализации в ORNL, чтобы регулярно пополнять инструментарий программного обеспечения.
«После того, как мы создали полностью функционирующий пакет, мы хотим открыть BEAM для других ученых-материаловедов, которые могут иметь свои собственные аналитические коды, но не имеют опыта, чтобы запускать их в высокопроизводительных вычислениях», — сказал Лингерфельт. «В будущем мы хотели бы иметь открытую библиотеку анализа научных материалов, где люди могут публично подтверждать результаты анализа».В настоящее время команда Лингерфельта разрабатывает набор алгоритмов для проведения многомерного анализа — очень сложного многомерного аналитического процесса, который просеивает огромные объемы информации, взятой с нескольких инструментов на одном и том же образце материала.
«Чтобы этот тип анализа был возможен, вам нужны высокопроизводительные вычисления», — сказал Джесси. «Мы получаем возможность анализировать массивы данных большой размерности, которые ранее не анализировались, и мы ожидаем увидеть в материалах свойства, которые раньше не были видны».