Google은 매우 정확한 24시간 일기 예보를 제공하는 AI 모델인 MetNet-3를 출시
MetNet-3은 정확한 24시간 예측으로 기존의 물리학 기반 모델보다 뛰어난 Google의 고급 일기 예보 모델입니다.
기상 관측소와 같은 희박한 데이터 소스를 2분 및 1-4km 해상도의 상세한 예측에 통합하기 위한 새로운 치밀화 기술을 특징으로 하는 직접적인 대기 관측을 독특하게 사용합니다.
강수량, 바람 등의 기상 변수를 기존 모델보다 더 정확하게 예측하고 확률론적 예측을 생성합니다.
Google은 제품 전반에 걸쳐 실시간 고해상도 날씨 정보를 제공하여 사용자의 날씨 관련 의사 결정을 향상시키기 위해 MetNet-3을 구현했습니다.
강수량, 기온, 바람 등의 기상 변수를 예측하는 것은 일일 계획과 운송부터 에너지 생산에 이르기까지 사회의 다양한 측면에서 핵심입니다. 홍수, 가뭄, 폭염과 같은 극심한 기상 현상이 계속해서 발생하고 있기 때문에 이에 대비하고 그 영향을 완화하려면 정확한 예측이 필수적일 수 있습니다. 미래의 첫 24시간은 예측 가능성이 높고 실행 가능성이 높기 때문에 특히 중요합니다. 이는 사람들이 적시에 정보에 근거한 결정을 내리고 안전을 유지하는 데 도움이 될 수 있습니다.
오늘 우리는 Google Research와 Google DeepMind가 개발한 MetNet-3 이라는 새로운 기상 모델을 소개합니다 . 이전 MetNet 및 MetNet-2 모델을 기반으로 구축된 MetNet-3은 강수량, 표면 온도, 풍속 및 풍향, 이슬점을 포함한 더 큰 핵심 변수 세트에 대해 최대 24시간 전에 고해상도 예측을 제공합니다. MetNet-3은 2분의 리드 타임 간격과 1~4km의 공간 해상도를 사용하여 시간적으로 원활하고 매우 세부적인 예측을 생성합니다. MetNet-3는 HRRR( 고해상도 신속 새로 고침 ) 및 ENS( 앙상블 예측 제품군 ) 와 같은 최고의 단일 및 다중 구성원 물리학 기반 수치 기상 예측 (NWP) 모델을 능가하여 기존 방법에 비해 강력한 성능을 달성합니다. 여러 지역에서 최대 24시간 전에.
마지막으로 날씨와 관련된 다양한 Google 제품 및 기술 전반에 걸쳐 MetNet-3의 기능을 통합했습니다 . 현재 12시간 강수량 예측에 중점을 두고 미국과 유럽 일부 지역에서 사용할 수 있는 MetNet-3는 여러 국가와 언어를 사용하는 사람들에게 정확하고 신뢰할 수 있는 기상 정보를 제공하는 데 도움을 주고 있습니다.
 |
 |
MetNet-3 강수량 출력은 모바일 Google 검색에서 실행 가능한 예측으로 요약됩니다.
희박한 관측치의 치밀화
최근의 많은 기계 학습 기상 모델은 전통적인 방법(예: NWP의 데이터 동화)으로 생성된 대기 상태를 예측 구축의 기본 출발점으로 사용합니다. 대조적으로, MetNet 모델의 정의적인 특징은 훈련과 평가를 위해 대기를 직접 관찰하는 것입니다. 직접 관찰의 장점은 정확도와 해상도가 더 높다는 것입니다. 그러나 직접 관측은 표면 수준의 기상 관측소와 궤도 위성을 포함하여 다양한 고도에 있는 다양한 센서를 통해 이루어지며 희소성 정도도 다양할 수 있습니다. 예를 들어 NOAA의 MRMS(Multi-Radar/Multi-Sensor System)와 같은 레이더에서 파생된 강수량 추정치는 상대적으로 밀도가 높은 이미지인 반면, 온도, 바람과 같은 변수에 대한 측정을 제공하는 지상에 위치한 기상 관측소는 단순한 지점에 걸쳐 있습니다 . 지역.
이전 MetNet 모델에서 사용된 데이터 소스 외에도 MetNet-3에는 모든 위치에서 예측을 하기 위한 목표로 기상 관측소의 지점 측정값이 입력 및 목표로 포함되어 있습니다. 이를 위해 MetNet-3의 핵심 혁신은 물리 기반 모델에서 발견되는 데이터 동화 및 시뮬레이션의 전통적인 2단계 프로세스를 신경망을 통한 단일 통과로 병합하는 치밀화(densification)라는 기술입니다. 치밀화의 주요 구성 요소는 다음과 같습니다. 치밀화 기술은 특정 데이터 스트림에 개별적으로 적용되지만 결과 치밀화 예측은 지형, 위성, 레이더 및 NWP 분석 기능을 포함하여 MetNet-3에 들어가는 다른 모든 입력 스트림의 이점을 얻습니다. MetNet-3의 기본 입력에는 NWP 예측이 포함되지 않습니다.
공간과 시간의 고해상도
직접 관찰을 사용하는 주요 이점은 높은 공간적, 시간적 해상도입니다.
예를 들어, 기상 관측소와 지상 레이더 관측소는 각각 특정 지점과 1km 해상도에서 몇 분마다 측정값을 제공합니다.
이는 시간별 예측과 함께 9km의 해상도로 6시간마다 생성되는 최첨단 모델 ENS 의 동화 상태와 극명한 대조를 이룹니다.
이러한 높은 해상도를 처리하기 위해 MetNet-3은 이 모델 시리즈의 또 다른 정의 기능인 리드 타임 컨디셔닝을 유지합니다 .
분 단위의 예측 리드타임은 신경망에 입력으로 직접 제공됩니다.
이를 통해 MetNet-3는 2분 정도의 짧은 간격에 대한 관측의 높은 시간적 빈도를 효율적으로 모델링할 수 있습니다.
리드 타임 조절 및 고해상도 직접 관측과 결합된 치밀화는 2분의 시간 분해능으로 완전히 조밀한 24시간 예측을 생성하는 동시에 미국 전역에 분산된 기상 관측소의 1분 관측(OMO) 네트워크에서 단 1,000개 지점으로부터 학습 합니다 .
MetNet-3는 평균 이상의 풍부한 정보를 제공하는 각 출력 변수와 각 위치에 대한 한계 다항 확률 분포를 예측합니다.
이를 통해 MetNet-3의 확률적 출력을 유럽 중기 기상예보 센터 의 앙상블 예측 ENS 와 국립해양연구소 의 고해상도 앙상블 예측 (HREF)을 포함하여 고급 확률적 앙상블 NWP 모델의 출력과 비교할 수 있습니다. 그리고 미국의 대기 관리, 두 모델 출력의 확률적 특성으로 인해 CRPS( 연속 순위 확률 점수 ) 와 같은 점수를 계산할 수 있습니다 . 다음 그래픽은 치밀화 결과를 강조하고 MetNet의 예측이 훨씬 더 높은 해상도일 뿐만 아니라 겹치는 리드 타임에서 평가할 때 더 정확하다는 것을 보여줍니다.
기상 관측소 변수와 달리 강수량 추정치는 지상 레이더에서 나오므로 더 조밀합니다. MetNet-3의 강수량 모델링은 MetNet-1 및 2의 모델과 유사하지만 아래 애니메이션에 표시된 것처럼 1km 공간 세분성을 사용하여 고해상도 강수량 예측을 다른 변수와 동일한 24시간 리드 타임으로 확장합니다. 강수량에 대한 MetNet-3의 성능은 24시간 범위 전체에서 ENS보다 더 나은 CRPS 값을 달성합니다.
실시간 ML 예측 제공
과거 데이터를 바탕으로 MetNet-3과 같은 기상 예측 모델을 훈련하고 평가하는 것은 ML 기반 예측을 사용자에게 제공하는 프로세스의 일부일 뿐입니다. 일기 예보를 위한 실시간 ML 시스템을 개발할 때는 다양한 개별 소스에서 실시간 입력 데이터 수집, 추론 실행, 출력의 실시간 검증 구현, 모델의 풍부한 출력에서 통찰력 구축 등 많은 고려 사항이 있습니다. 직관적인 사용자 경험을 제공하고 Google 규모로 결과를 제공합니다. 이 모든 것이 몇 분마다 새로 고쳐지는 지속적인 주기로 이루어집니다.
우리는 인접한 미국 전체와 유럽 27개국에 대해 최대 12시간의 리드 타임 동안 몇 분마다 강수량 예측을 생성할 수 있는 실시간 시스템을 개발했습니다.
시스템의 독창성은 모델이 들어오는 데이터 스트림을 기반으로 전체 예측을 지속적으로 생성할 수 있도록 하는 거의 연속적인 추론을 사용한다는 점에서 비롯됩니다. 이 추론 모드는 기존 추론 시스템과 다르며, 들어오는 데이터의 고유한 특성으로 인해 필요합니다. 모델은 레이더, 위성, 수치적 기상 예측 동화 등 다양한 데이터 소스를 입력으로 사용합니다. 이러한 각 입력은 새로 고침 빈도와 공간 및 시간 해상도가 다릅니다. 기상 관측 및 레이더와 같은 일부 데이터 소스는 연속적인 데이터 스트림과 유사한 특성을 갖는 반면, NWP 동화와 같은 다른 데이터 소스는 일괄 데이터와 유사합니다. 시스템은 이러한 모든 데이터 소스를 공간적, 시간적으로 정렬할 수 있으므로 모델은 매우 높은 속도로 다음 12시간 동안의 강수량에 대한 업데이트된 이해를 생성할 수 있습니다.
위의 프로세스를 통해 모델은 임의의 이산 확률 분포를 예측할 수 있습니다. 우리는 이 밀집된 출력 공간을 Google 제품과 기술 전반에 걸쳐 풍부한 경험을 가능하게 하는 사용자 친화적인 정보로 변환하는 새로운 기술을 개발했습니다.
Google 제품의 날씨 기능
전 세계 사람들은 날씨에 대한 유용하고 시의적절하며 정확한 정보를 제공하기 위해 매일 Google에 의존하고 있습니다. 이 정보는 야외 활동 계획, 여행 준비, 악천후 발생 시 안전 유지 등 다양한 목적으로 사용됩니다.
MetNet-3의 최첨단 정확도, 높은 시간적 및 공간적 해상도, 확률적 특성을 통해 고유한 초지역 기상 통찰력을 생성할 수 있습니다. 인접한 미국과 유럽의 경우 MetNet-3가 작동 중이며 현재 검색과 같이 날씨와 관련된 Google 제품 및 기술 전반에 걸쳐 제공되는 실시간 12시간 강수량 예측을 생성합니다 . 모델의 풍부한 출력은 실행 가능한 정보로 합성되어 수백만 명의 사용자에게 즉시 제공됩니다.
예를 들어, 모바일 장치에서 정확한 위치에 대한 날씨 정보를 검색하는 사용자는 제품에 따라 세부적인 분 분석이 포함된 타임라인 그래프를 포함하여 고도로 현지화된 강수량 예측 데이터를 받게 됩니다.
결론
MetNet-3은 핵심 기상 변수 세트에 대한 24시간 예측에 대한 최첨단 물리학 기반 모델보다 뛰어난 성능을 발휘하는 새로운 기상 예측 딥 러닝 모델입니다. 이는 일기 예보의 새로운 가능성을 창출하고 운송, 농업, 에너지 생산과 같은 많은 활동의 안전성과 효율성을 향상시킬 수 있는 잠재력을 가지고 있습니다. MetNet-3는 작동 중이며 일기 예보는 날씨와 관련된 여러 Google 제품에 제공됩니다.
감사의 말
이 노력의 발전에는 많은 사람들이 참여했습니다.
특 Google DeepMind(Di Li, Jeremiah Harmsen, Lasse Espeholt, Marcin Andrychowicz, Zack Ontiveros), Google Research(Aaron Bell, Akib Uddin, Alex Merose, Carla Bromberg, Fred Zyda, Isalo Montacute, Jared Sisk)의 분들께 감사의 말씀을 전하고 싶습니다. , Jason Hickey, Luke Barrington, Mark Young, Maya Tohidi, Natalie Williams, Pramod Gupta, Shreya Agrawal, Thomas Turnbull, Tom Small, Tyler Russell) 및 Google 검색(Agustin Pesciallo, Bill Myers, Danny Cheresnick, Lior Cohen, Maca Piombi , Maia Diamant, Max Kamenetsky, Maya Ekron, Mor Schlesinger, Neta Gefen-Doron, Nofar Peled Levi, Ofer Lehr, Or Hillel, Rotem Wertman, Vinay Ruelius Shah, Yechie Labai).