Признавая, что из этой информации можно почерпнуть множество научных открытий, более 450 сайтов по всему миру делятся своими данными наблюдений с базой данных FLUXNET. Последний выпуск данных проекта — FLUXNET2015 — включает в себя одни из самых длинных непрерывных записей данных об экосистемах, когда-либо сделанных. Информация прошла тщательную проверку качества и контроль (QA / QC) и теперь общедоступна в Интернете: http://fluxnet.fluxdata.org/data/fluxnet2015-dataset/Ученые-компьютерщики из Национальной лаборатории Лоуренса Беркли Министерства энергетики (DOE) внесли свой вклад в разработку базы данных и веб-сайта FLUXNET, а также программных инструментов, которые автоматически выполняют QA / QC и заполняют пробелы в полевых наблюдениях.
Они также помогли создать инструменты, которые позволяют исследователям легко выгружать, скачивать и обмениваться наборами данных, а также отслеживать, как и где будут использоваться данные каждого сайта. Большая часть этой работы была проделана в сотрудничестве с коллегами из Института биогеохимии Макса Планка и университетов Калифорнии-Беркли (Калифорнийский университет в Беркли), Вирджинии (UVA) и Тусии, Италия.Проект управления AmeriFlux, который финансируется Министерством энергетики и возглавляется лабораторией Беркли, Европейской базой данных о потоках экосистем и проектом FLUXNET, работал с несколькими региональными сетями для обработки и согласования всей информации в выпуске FLUXNET2015.
По словам Денниса Балдокки, профессора Калифорнийского университета в Беркли и главного исследователя FLUXNET, эти данные позволяют исследователям задавать вопросы о долгосрочных тенденциях в области климата и здоровья экосистемы, которые ранее было невозможно исследовать. Эти данные также можно использовать, чтобы помочь самым разным людям, от метеорологов до фермеров, принимать более обоснованные решения.
«Мы знаем, что концентрация CO2 в экосистеме со временем меняется, и теперь мы можем посмотреть, как эти изменения влияют на фотосинтез или использование воды во всем лесу или пустыне», — говорит он. «Мы также можем изучить влияние экстремальных погодных явлений, таких как периоды жары и холода, на экосистему».FLUXNET: десятилетия сотрудничестваПо словам Балдокки, международное сотрудничество по потокам началось в 1995 году, когда несколько ученых, которые только начинали собирать круглогодичные наблюдения за обменом CO2 между землей и атмосферой, встретились в Ла-Туиле, Италия, чтобы обсудить лучшие методы сбора и регистрации. данные. Вскоре после этой встречи Министерство энергетики создало программу AmeriFlux и начало финансирование нескольких исследователей для измерения обмена CO2 в ряде экосистем Северной Америки.
Тем временем европейские коллеги запускали аналогичные исследования экосистем по всей Европе, а НАСА запустило Aqua Satellite, чтобы понять водный цикл Земли, и Terra Satellite, чтобы изучить связи между земной атмосферой, землей, снегом и льдом, океаном и энергетическим балансом.Одновременно НАСА также финансировало сотрудничество FLUXNET по объединению данных из региональных сетей для проверки их спутниковых данных. В 1999 году официальная группа FLUXNET снова встретилась в конференц-центре Маркони в Маршалле, Калифорния, чтобы работать над гармонизацией своих наборов данных. Это включало в себя использование общих названий, единиц измерения и временных шагов в описаниях полевых данных, что было критически важно для анализа на нескольких площадках.
Исследователи также разработали процесс заполнения пробелов в полевых данных.«Когда вы наблюдаете на природе, в ваших данных неизбежно будут пробелы из-за того, что капля дождя или жучок испортит датчик, или датчик может выйти из строя. Мы используем статистические модели, чтобы заполнить эти пробелы в информации», — говорит Балдокки.Когда в конце 1990-х годов истекло первоначальное финансирование НАСА, международные исследователи, которые увидели выгоду в продолжении сотрудничества с FLUXNET, поддержали его за счет разрозненных средств от агентств в Канаде, Европе и США, а также «натурой» поддержки со стороны исследовательские группы, университеты и фонды.
Фактически, так началось участие Berkeley Lab в создании программных инструментов для FLUXNET.«Очень важно, что мы можем объединить сотни ученых, чтобы они могли доверять друг другу, обмениваться данными и работать над достижением общей цели», — говорит Балдокки. «Вначале это была небольшая группа, и все знали друг друга, поэтому мы смогли встретиться в таком месте, как Италия, и установить личные отношения. По мере роста сообщества программные инструменты, которые отслеживают, где и как хранятся данные каждого сайта неоценимы для формирования доверия ".Berkeley Lab присоединяется к программе сотрудничества FLUXNET
Ученые-компьютерщики Berkeley Lab официально присоединились к сотрудничеству FLUXNET в 2006 году, когда Деб Агарвал из CRD предложила использовать средства из своего гранта Microsoft Research Grant, чтобы помочь сотрудничеству в создании веб-сайта, запрашиваемой базы данных и рабочего процесса для запроса и обмена данными сайта. При ограниченных средствах первоначальные версии веб-сайта и базы данных FLUXNET были чрезвычайно утилитарными.«Вначале многие исследователи нервничали, раскрывая свои данные публично, потому что они рисковали потерять доверие, если кто-то использовал их данные, не признавая их, или опубликовал статью с их данными раньше, чем они могли», — говорит Агарвал. «Поэтому мы сосредоточились на инструментах, которые дадут менеджерам сайтов стимул к удобному обмену своими данными.
Вначале мы сосредоточились на обеспечении использования данных в соответствии с политикой данных».«К 2006 году мы подошли к вопросу о больших данных, и специалисты по информатике, по сути, предоставили менеджерам сайтов некоторые рекомендации и« надзор со стороны взрослых », убедив нас, что веб-сайт FLUXNET должен служить нашей центральной точкой обмена данными», — говорит Балдокки. . «Раньше многие ученые просто пересылали друг другу файлы данных по электронной почте. Не было контроля версий или проверки файлов, поэтому мы не знали, какая версия была самой последней, что было проанализировано или чем он отличался от исходного набора данных. Все это мы получили с новым веб-сайтом и базой данных ».
Когда грант Microsoft истек, Агарвал и команда лаборатории Беркли смогли поддерживать сайт FLUXNET с ограниченными средствами от Балдокки и Министерства энергетики. В то же время европейские сотрудники, у которых было финансирование, работали над обновлением стандартов данных FLUXNET и созданием инструментов для количественной оценки неопределенности в полевых данных, что будет особенно полезно для климатических моделей. В конце концов, когда Berkeley Lab получила финансирование для создания инструментов для проекта AmeriFlux, Агарвал и Жилберто Пасторелло смогли работать с европейскими коллегами над стандартами метаданных, а также над созданием конвейеров для обеспечения качества / контроля качества, заполнения пробелов и количественной оценки неопределенности.
Обе группы использовали эту работу для обновления инструментов глобального сотрудничества FLUXNET.«Данные в последнем выпуске значительно лучше, чем в предыдущих выпусках», — говорит Агарвал. «Наша команда полностью повторно стандартизировала данные, а наши европейские коллеги полностью обновили количественную оценку неопределенности. Мы установили высокую планку для QA / QC и обрабатывали каждый год данных сайта через этот конвейер, мы вручную проверяли то, что не было автоматизировано и отправили данные, которые не прошли проверку, обратно на сайты для исправления.
С помощью этих новых стандартов мы установили базовый уровень качества, который гарантирует сопоставимость сайтов ».По словам Жилберто Пасторелло, ученого-компьютерщика из лаборатории Беркли и соавтора FLUXNET, оценки неопределенности данных FLUXNET особенно ценны для разработчиков климатических моделей, которые хотят подтвердить свои модели с помощью данных FLUXNET.
«Мы приняли модель, в которой мы берем самые последние и хорошо принятые разработки в сообществе потоков и включаем их в наш конвейер, что может быть довольно сложно, потому что нам приходится переделывать некоторые коды, чтобы гарантировать, что они будут работать в ", — говорит Пасторелло, — чтобы подготовить код к работе в очень неопределенном наборе условий и избежать неправильного поведения, необходимо проделать большую работу. «В конечном итоге мы хотим довести этот конвейер до такой степени, чтобы мы могли последовательно запускать его здесь, в лаборатории Беркли и в Европе, а также делиться им с сообществом, чтобы каждый, кто хочет запустить его, мог его использовать».Пасторелло в настоящее время также работает с европейскими коллегами над внедрением в трубопровод инструмента разделения, который будет разделять данные о потоке CO2 на дыхание и фотосинтез.«Для меня было невероятно важно продолжать этот проект. Эти данные нельзя воссоздать, вы не можете снова начать собирать эту информацию с нуля», — говорит Балдокки. «Сегодняшний FLUXNET превзошел мои надежды и чаяния, наши наборы данных содержат одни из самых старых измерений потоков в Европе и Северной Америке, а теперь у нас есть участники из Азии, Африки, Австралии, Новой Зеландии и южной части Тихого океана».
«Люди очень усердно работают над сбором полевых данных, поэтому их данные очень ценны для них. Открыто делиться ими, то, как они это делают, кажется нелогичным для их усилий, но после того, как они увидели, как их данные используются для региональных и глобальных Исследования все больше и больше этих исследователей хотят поделиться своими данными и спрашивают нас, почему их данных еще нет в последней версии FLUXNET », — говорит Пасторелло. «Очень приятно видеть, что наши инструменты помогают этим людям осознать преимущества FLUXNET».