14-01-2020 7:28 am Gepubliceerd door Nederland.ai Laat uw gedicht achter

Machine Learning gebruiken om te ‘Neerslag’ te voorspellen in hoge resolutie

Geplaatst door Jason Hickey, Senior Software Engineer, Google Research

Het weer kan iemands dagelijkse routine op zowel gewone als serieuze manieren beïnvloeden, en de precisie van voorspellingen kan sterk beïnvloeden hoe ze ermee omgaan. Weersvoorspellingen kunnen mensen informeren of ze een andere route naar hun werk moeten nemen, of ze de geplande picknick voor het weekend opnieuw moeten plannen of zelfs als ze hun huizen moeten evacueren vanwege een naderende storm. Maar het maken van nauwkeurige weersvoorspellingen kan bijzonder uitdagend zijn voor gelokaliseerde stormen of evenementen die zich ontwikkelen op tijdschalen per uur, zoals onweer.

In “Machine Learning for Precipitation Nowcasting from Radar Images” presenteren wij nieuw onderzoek naar de ontwikkeling van machine learning-modellen voor neerslagprognoses die deze uitdaging aanpakken door zeer gelokaliseerde “fysica-vrije” voorspellingen te doen die van toepassing zijn op de nabije toekomst. Een belangrijk voordeel van machine learning is dat de inferentie computationeel goedkoop is, gegeven een reeds getraind model, waardoor prognoses mogelijk zijn die bijna onmiddellijk en in de oorspronkelijke hoge resolutie van de invoergegevens zijn. Deze neerslag nu, die zich richt op 0-6 uur voorspellingen, kan voorspellingen genereren met een resolutie van 1 km met een totale latentie van slechts 5-10 minuten, inclusief vertragingen bij het verzamelen van gegevens, die beter presteren dan traditionele modellen, zelfs in deze vroege ontwikkelingsstadia.

 

Voorbij traditionele weersvoorspellingen

Weerbureaus over de hele wereld hebben uitgebreide monitoringfaciliteiten. Bijvoorbeeld Doppler radar maatregelen neerslaan in real-time weer satellieten multispectrale beeldvorming, grondstations maatregel wind en neerslag rechtstreeks, etc. De onderstaande figuur, in vergelijking kunstmatig gekleurde samenstelling radarbeeldvorming neerslag via continentale VS bewolking belichte door geosynchrone satellieten, illustreert de behoefte aan weersinformatie met meerdere bronnen. Het bestaan ​​van regen is gerelateerd aan, maar niet perfect gecorreleerd met, het bestaan ​​van wolken, dus het afleiden van neerslag uit satellietbeelden alleen is een uitdaging.

Boven: afbeelding toont de locatie van wolken zoals gemeten door geosynchrone satellieten. Onder: Radarbeeld dat de locatie van regen toont zoals gemeten door Doppler-radarstations. (Credit: NOAA, NWS, NSSL)

Helaas zijn niet al deze metingen overal ter wereld even aanwezig. Radardata zijn bijvoorbeeld grotendeels afkomstig van grondstations en zijn over het algemeen niet beschikbaar via de oceanen. Verder varieert de dekking geografisch, en sommige locaties kunnen een slechte radardekking hebben, zelfs wanneer ze een goede satellietdekking hebben.

 

Toch zijn er zoveel observatiegegevens in zoveel verschillende variëteiten dat voorspellingssystemen moeite hebben om het allemaal op te nemen. In de VS bereiken teledetectiegegevens die zijn verzameld door de National Oceanic and Atmospheric Administration (NOAA) nu 100 terabytes per dag. NOAA gebruikt deze gegevens om de enorme weersvoorspellingsmotoren te voeden die op supercomputers draaien om 1- tot 10-daagse wereldwijde voorspellingen te bieden. Deze motoren zijn ontwikkeld in de loop van de laatste halve eeuw en zijn gebaseerd op numerieke methoden die fysieke processen direct simuleren, waaronder atmosferische dynamiek en tal van effecten zoals thermische straling, vegetatie, meer- en oceaaneffecten en meer.

 

De beschikbaarheid van rekenbronnen beperkt echter de kracht van numerieke weersvoorspelling op verschillende manieren. Rekenkundige eisen beperken bijvoorbeeld de ruimtelijke resolutie tot ongeveer 5 kilometer, wat niet voldoende is om weerpatronen in stedelijke gebieden en landbouwgrond op te lossen. Numerieke methoden kunnen ook meerdere uren duren. Als het 6 uur duurt om een ​​voorspelling te berekenen, staat dat slechts 3-4 runs per dag toe en dit resulteert in voorspellingen op basis van 6+ uur oude gegevens, wat onze kennis van wat ergebeurt beperkt nu.daarentegen met Nowcasting isname handig voor directe beslissingen van verkeersroutering en logistiek tot evacuatieplanning.

 

Radar-naar-radar voorspelling

Als een typisch voorbeeld van het type voorspellingen dat ons systeem kan genereren, overweeg dan het radar-naar-radar voorspellingsprobleem: geef een reeks radarbeelden van het afgelopen uur, voorspel wat het radarbeeldzal zijn N uurvanaf nu, waar N meestal varieert van 0-6 uur. Omdat radargegevens in afbeeldingen zijn georganiseerd, kunnen we deze voorspelling als een probleem met de computervisie stellen, waarbij de meteorologische evolutie wordt afgeleid uit de reeks invoerbeelden. Op deze korte tijdschalen wordt de evolutie gedomineerd door twee fysieke processen: advectie voor de wolkbeweging en convectie voor wolkvorming, die beide aanzienlijk worden beïnvloed door lokaal terrein en geografie.

Boven (van links naar rechts): de eerste drie panelen tonen radarbeelden van 60 minuten, 30 minuten en 0 minuten eerder, het punt waarop een voorspelling gewenst is. Het meest rechtse paneel toont het radarbeeld 60 minuten later, dat wil zeggen de grondwaarheid voor een nowcasting-voorspelling. Linksonder: ter vergelijking, een vectorveld geïnduceerd door het toepassen van een optisch stroom (OF) algoritme voor het modelleren van advectie op de gegevens van de eerste drie panelen hierboven. Optische stroming is een computervisiemethode die in de jaren veertig is ontwikkeld en die vaak wordt gebruikt om weersevolutie op korte termijn te voorspellen. Rechtsonder: een voorbeeldvoorspelling van OF. Merk op dat het de beweging van de neerslag in de linkeronderhoek goed volgt, maar geen rekening houdt met de rottende kracht van de storm.

We gebruiken een datagestuurde fysica-vrije benadering, wat betekent dat het neurale netwerk de atmosferische fysica alleen uit de trainingsvoorbeelden zal leren benaderen, niet door vooraf kennis te nemen van hoe de atmosfeer eigenlijk werkt. We behandelen weersvoorspelling als een beeld-naar-beeld vertaalprobleem en maken gebruik van de huidige stand van zaken in beeldanalyse: convolutionele neurale netwerken (CNN’s).

 

CNN’s zijn meestal samengesteld uit een lineaire reeks lagen, waarbij elke laag een set bewerkingen is die een bepaald invoerbeeld omzetten in een nieuw uitvoerbeeld. Vaak verandert een laag het aantal kanalen en de algehele resolutie van de afbeelding die wordt gegeven, naast het convolueren van de afbeelding met een set convolutionele filters. Deze filters zijn zelf kleine afbeeldingen (voor ons zijn dit meestal slechts 3×3 of 5×5). Filters drijven een groot deel van de kracht van CNN’s aan en resulteren in bewerkingen zoals het detecteren van randen, het identificeren van betekenisvolle patronen, enz.

 

Een bijzonder effectief type CNN is het U-Net. U-netten hebben een reeks lagen die in eenzijn gerangschikt coderingsfase , waarbij lagen iteratief de resolutie van de afbeeldingen die er doorheen gaan, verlagen en vervolgens een decodering fase waarin de laag-dimensionale representaties van het beeld gecreëerd door de coderingsfase worden uitgebreid terug naar hogere resoluties. De volgende afbeelding toont alle lagen in ons specifieke U-net.

(A) De algemene structuur van ons U-NET. Blauwe vakken komen overeen met basis CNN-lagen. Roze vakken komen overeen met down-sample-lagen. Groene vakken komen overeen met up-sample lagen. Ononderbroken lijnen geven invoerverbindingen tussen lagen aan. Stippellijnen geven lange skip-verbindingen aan die de coderings- en decoderingsfasen van de U-NET doorkruisen. Gestippelde lijnen geven korte skip-verbindingen voor afzonderlijke lagen aan. (B) De bewerkingen binnen onze basislaag. (C) De operaties binnen onze down-sample-lagen. (D) De operaties binnen onze up-sample lagen.

De invoer voor het U-Net is een afbeelding die één kanaal bevat voor elk multispectraal satellietbeeld in de reeks waarnemingen van het afgelopen uur. Als er bijvoorbeeld in het afgelopen uur 10 satellietbeelden werden verzameld en elk van die multispectrale beelden werd genomen op 10 verschillende golflengten, dan zou de beeldinvoer voor ons model een beeld met 100 kanalen zijn. Voor radar-naar-radar voorspellingen is de invoer een reeks van 30 radarwaarnemingen gedurende het afgelopen uur, met een tussenafstand van 2 minuten, en de uitvoer bevat de voorspelling voor N uur vanaf nu. Voor ons eerste werk in de VS hebben we een netwerk getraind van historische waarnemingen over de continentale VS uit de periode tussen 2017 en 2019. De gegevens zijn opgesplitst in perioden van vier weken, waarbij de eerste drie weken van elke periode worden gebruikt voor training en de vierde week wordt gebruikt voor evaluatie.

 

Resultaten

We vergelijken onze resultaten met drie veelgebruikte modellen. Ten eerste, de hoge resolutie Rapid Refresh numerieke voorspelling met(HRRR) van NOAA. HRRR bevat eigenlijk voorspellingen voor veel verschillende weerhoeveelheden. We vergeleken onze resultaten met hun totale geaccumuleerde neerslagvoorspelling van 1 uur , omdat dat hun neerslagvoorspelling van de hoogste kwaliteit was. Ten tweede, een optische stroom (OF) -algoritme, dat probeert bewegende objecten door een reeks afbeeldingen te volgen. Deze laatste benadering wordt vaak toegepast op weersvoorspelling, hoewel het de veronderstelling maakt dat de totale hoeveelheid regen over grote gebieden constant is gedurende de voorspellingstijd – een veronderstelling die duidelijk wordt geschonden. Ten derde, het zogenaamde persistentiemodel, is het triviale model waarin wordt aangenomen dat elke locatie in de toekomst met dezelfde snelheid regent als nu, dat wil zeggen het neerslagpatroon verandert niet. Dat lijkt misschien een te simplistisch model om mee te vergelijken, maar het is gebruikelijk gezien de moeilijkheid van weersvoorspelling.

Een visualisatie van voorspellingen in de loop van ongeveer een dag. Links: de HRRR-voorspelling van 1 uur bovenaan elk uur, de limiet voor hoe vaak HRRR voorspellingen geeft. Midden: de grondwaarheid, dat wil zeggen, wat we proberen te voorspellen. Rechts: de voorspellingen van ons model. Onze voorspellingen zijn elke 2 minuten (hier elke 15 minuten weergegeven) op ongeveer 10 keer de ruimtelijke resolutie gemaakt door HRRR. Merk op dat we de algemene beweging en de algemene vorm van de storm vastleggen.

We gebruiken precisie- en recall (PR) -grafieken om de modellen te vergelijken. Omdat we directe toegang hebben tot onze eigen classifier, bieden we een volledige PR-curve (in de onderstaande afbeelding weergegeven als de blauwe lijn). Omdat we echter geen directe toegang hebben tot het HRRR-model, en omdat noch het persistentiemodel noch OF de mogelijkheid hebben om precisie af te wisselen en terug te roepen, worden die modellen alleen weergegeven door individuele punten. Zoals te zien is, overtreft de kwaliteit van onze voorspelling van het neurale netwerk alle drie van deze modellen (omdat de blauwe lijn boven alle resultaten van het andere model staat). Het is echter belangrijk op te merken dat het HRRR-model onze huidige resultaten begint te overtreffen wanneer de voorspellingshorizon ongeveer 5 tot 6 uur bereikt.

Precisie- en terugroepkrommen (PR) die onze resultaten vergelijken (ononderbroken blauwe lijn) met: optische stroom (OF), het persistentiemodel en de HRRR-voorspelling van 1 uur. Omdat we geen directe toegang hebben tot hun classificaties, kunnen we geen volledige PR-curve bieden voor hun resultaten. Links: Voorspellingen voor lichte regen. Rechts: Voorspellingen voor matige regen.

Een van de voordelen van de ML-methode is dat voorspellingen effectief ogenblikkelijk zijn, wat betekent dat onze voorspellingen zijn gebaseerd op nieuwe gegevens, terwijl HRRR wordt gehinderd door rekenlatentie van 1-3 uur. Dit leidt tot betere voorspellingen voor computervisiemethoden voor prognoses op zeer korte termijn. Het numerieke model dat in HRRR wordt gebruikt, kan daarentegen betere langetermijnvoorspellingen doen, deels omdat het een volledig fysiek 3D-model gebruikt – wolkvorming is moeilijker waar te nemen vanuit 2D-afbeeldingen, en het is voor ML-methoden moeilijker om convectieve processen te leren. Het is mogelijk dat de combinatie van deze twee systemen, ons ML-model voor snelle prognoses en HRRR voor langetermijnvoorspellingen, over het algemeen betere resultaten oplevert, een idee dat centraal staat in onze toekomstige werkzaamheden. We kijken ook naar het rechtstreeks toepassen van ML op 3D-waarnemingen. Ongeacht de voorspelling is een belangrijk hulpmiddel voor realtime planning, het faciliteren van beslissingen en het verbeteren van levens.

 

Met

dank aan Carla Bromberg, Shreya Agrawal, Cenk Gazen, John Burge, Luke Barrington, Aaron Bell, Anand Babu, Stephan Hoyer, Lak Lakshmanan, Brian Williams, Casper Sønderby, Nal Kalchbrenner, Avital Oliver, Tim Salimans, Mostafa Dehghani, Jonathan Heek , Lasse Espeholt, Sella Nevo, Avinatan Hassidim.

 

bron : https://ai.googleblog.com/

Tags : , , ,

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.

1 × 1 =

The maximum upload file size: 256 MB. You can upload: image, audio, video, document, spreadsheet, interactive, text, archive, code, other. Links to YouTube, Facebook, Twitter and other services inserted in the comment text will be automatically embedded. Drop file here