Ontwikkeling van deze experimentele HIRLAM berekeningen

• Vanaf 12 januari 2009 maak ik experimentele verwachtingen met HIRLAM op mijn PC draaiend onder GNU/Linux (CPU: Core(TM)2 Quad CPU Q6600 @ 2.40GHz, geheugen: 4 Gbyte, gebruik makend van gfortran en OpenMPI).
• Oorspronkelijk was het de bedoeling om met deze berekeningen programmeerfouten in de ontwikkeling van HIRLAM te ontdekken, maar ze waren ook in staat meteorologische fouten bloot te leggen (bijvoorbeeld in de behandeling van water in de vaste, vloeibare en gasvormige toestand aan de rand van het rekengebied).
• Op 9 maart 2012 vond de laatste officiële uitgifte van HIRLAM plaats (versie nummer 7.4).
• Vanaf 7 augustus 2012 worden de berekeningen - met een verhoogd oplossend vermogen - uitgevoerd op een PC met een quad core (hyperthreaded) Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz en 32 Gbyte RAM. Gebruik makend van hyperthreading om 8 MPI processen te laten rekenen verminderde de doorlooptijd met 20 % (vergeleken met 4 MPI processen).
• Beginnend op 10 september 2012 heb ik een verwachting met HARMONIE toegevoegd (waarvan geen grafieken gemaakt worden). Deze verwachting legde ook meteorologische fouten bloot, en wel in de behandeling van sneeuw.
• Op 25 juli 2013 verving ik het moederbord van de computer door één met een Haswell processor; helaas leidde deze verandering tot instabiliteit. Dit was ook het einde van de HARMONIE verwachtingen.
• Op 14 mei 2015 slaagde ik erin de HIRLAM berekeningen nieuw leven in te blazen door ze bestand te maken tegen spontane reboots van de computer.
• Tot aan mei 2017 dacht ik dat mijn volgende computer een Ninja Developer Platform Pedestal zou zijn, maar het bleek te moeilijk te zijn er een in Nederland te krijgen. Daarom kocht ik een speciaal gebouwde Skylake i9-7900 (10 cores) gebaseerde computer met 128 Gbyte geheugen (en een 4Tbyte SSD data disk) [mogelijk gemaakt door PC Alternate]. Dit geeft me de mogelijkheid weersverwachtingen te maken (vanaf 9 september 2017) tot het detailniveau van waterschappen of hoogheemraadschappen.
• Dit is wat ik beschouw als KNMI's nulhypothese, met andere woorden: de weersverwachting die ons werk bij het KNMI moet verslaan om relevant te blijven. We beginnen dit te bereiken met ensemble forecasting gebruik makend van HARMONIE, dat sinds december 2019 operationeel rekent op de supercomputer van het KNMI.
• Vanaf 14 februari 2018 verschaf ik de ruwe gegevens die gebruikt worden bij het maken van de grafieken. Dit maakt het mogelijk voor weeramateurs om hun eigen analyses te doen. Op dit moment is deze data beperkt tot atmosferische grootheden nabij het aardoppervlak. Realiseer je dat deze gegevens niet 24x7 uur gegarandeerd kunnen worden, omdat ze berekend worden op een enkele computer, die geen stand-by elektriciteit heeft, en verbonden is via een gewone consumenten internet verbinding.
• In de week van 15 tot 22 april 2018 heb ik animaties toegevoegd van verschillende atmosferische grootheden over de verwachtingsperiode op het gehele rekengebied; ook hierbij (net als bij de grafieken) maak ik gebruik van het gnuplot pakket. De animaties worden gemaakt met ffmpeg; hierbij is vooral opmerkelijk de beeldinterpolatie van de neerslagradaranimatie (vanaf september 2019). Vanaf 20 januari 2023 is de beeldinterpolatie vervangen door een animatie van 10 minuut stappen.
• Tussen 2 en 8 mei 2018 heb ik kaarten toegevoegd van de waarnemingen die gebruikt worden om HIRLAM bij te sturen in de richting van de feitelijke weersontwikkeling.
• Rond 20 februari 2019 heb ik verificatie grafieken toegevoegd. Op 10 maart 2019 voegde ik tekstuele verwachtingen toe.
• Op 18 augustus 2019 heb ik waarnemingsgegevens (wanneer voorhanden) toegevoegd aan de verwachtingsgrafieken.
• In mei 2019 werd HIRLAM enige keren afgebroken met de melding: WRONG LANDCOVER, dat veroorzaakt werd door de volgende foutieve selectie statement function:

  C jqif=1 if xxxz > yyyz else jqif = 0
        JQIF(XXXZ,YYYZ)=NINT(((XXXZ-YYYZ)/
       +                (ZEPS+ABS(XXXZ-YYYZ))+1.)*0.5-1.e-7)
  

  (met ZEPS gelijk aan 1.e-20). Dit werkt niet voor alle drijvende komma getallen. Het is beter dit als volgt te formuleren, zoals gerepareerd op 23 augustus 2019 (mogelijk gemaakt in Fortran 2008):

        JQIF(XXXZ,YYYZ)=FINDLOC([.FALSE.,.TRUE.],XXXZ>YYYZ,DIM=1)-1
  

• Op 25 augustus 2019 heb ik kaarten toegevoegd die weergeven welke data van het scatterometer instrument op de METOP satellieten gebruikt (groen) of verworpen (rood) zijn.
• Vanaf 6 september 2019 is een animatie van de 'neerslagradar' beschikbaar (deze werkt met het kleurschema dat bij het KNMI in gebruik is).
• Op 19 september 2019 heb ik grafieken van relatieve vochtigheid op 2 meter hoogte toegevoegd, om grip te krijgen op de merkwaardige verificatiecijfers boven Nederland (Bias > +30 %, RMSE > 50 %).
• Op 12 oktober 2019 heb ik grafieken toegevoegd die het effect van waarnemingen op de model aanpassing beschrijven en - gedurende de verwachtingsperiode - de maximum windsnelheid in de straalstroom en de variatie in de oppervlaktedruk.
• Op 10 januari 2020 verving ik de oude fysiografische (oppervlakte) gegevens op 0,025 graad resolutie door nieuwe op 0,0125 graad resolutie. Om dit te effectueren in de model beschrijving van oppervlakte parameters was een koude start (volledige herinitialisatie) nodig.
• Op 24 januari 2020 arriveerde de Cavium ThunderX (48 core SoC Aarch64) gebaseerde blade die ik enkele maanden daarvoor gekocht had. Op de 29ste lukte het mij voor het eerst een HIRLAM verwachting met deze machine te maken. De doorlooptijd is ongeveer twee keer zo lang als op het Skylake-gebaseerde werkstation. Ter vergelijking:

  	Intel Skylake machine	ARM ThunderX machine
  Semiconductor technology	14 nm	28 nm
  Cores	10 (x2 Hyperthreads)	48
  Clock Frequency	3.3 GHz	2.0 GHz
  Memory Frequency	2133 MHz	1866 MHz
  Memory Layout	4x32 Gbyte	8x16 Gbyte

• Op 26 juli 2020 heb ik de tabel van verificatiegegevens uitgebreid met tijdreeksen. Dit maakt het mogelijk de prestaties van het model te beoordelen bij meteorologisch lastige episodes.
• Op 18 augustus 2020 heb ik kaarten toegevoegd die weergeven welke vliegtuigwaarnemingen gebruikt (groen) of verworpen (rood) zijn.
• Op 23 augustus 2020 heb ik het berekenen van het convectieve deel van de neerslag gestopt. De reden hiervoor is dat naarmate het oplossend vermogen van het model hoger wordt, het onderscheid tussen "stratiforme" (fronten) en "convectieve" (buien) aspecten van neerslag in het model vervaagt en het beter is deze neerslag op slechts één manier te berekenen. Dit wordt belangrijker als ik volgend jaar het oplossend vermogen met een factor 1,6 verhoog. Het effect van deze wijziging kan kwalitatief beoordeeld worden door de neerslaganimaties van 20200823 en 20200824 te vergelijken. Ook in dit opzicht is deze versie van HIRLAM experimenteel.
• Op 13 en 14 augustus 2021 heb ik kaarten toegevoegd met het gebruik van alle tot dan toe nog niet weergegeven waarnemingen: Te land (SYNOP), ter zee (SHIP - schepen, en DRIBU - boeien) en in de lucht (TEMP - ballonoplatingen). Tevens laat ik nu het onderscheid zien tussen verworpen waarnemingen (die beschouwd worden niet betrouwbaar te zijn) en redundante waarnemingen (die niet gebruikt worden omdat later een nieuw rapport van hetzelfde station binnen kwam, of omdat zij niet voldoende toevoegen aan de vele waarnemingen in de omgeving).
• Op 24 februari 2022 heb ik de frequentie van randgegevens van eens per drie uur naar eens per uur gebracht. Dit leidt tot minder drastische laagfrequente golven in de oppervlaktedruk (vergelijk 2022022318 met 2022022418). Op 26 februari 2022 stopte ik de relaxatie van specifieke vochtigheid in het randgebied - dit leidt tot beter gedrag in vochtontwikkeling aan de randen van het rekengebied (vergelijk 2022022518 met 2022022618). Op 20220527 heb ik deze wijziging weer ongedaan gemaakt, omdat het onafhankelijk van elkaar aanpassen van vocht en temperatuur tot instabiliteiten leidt (geconstateerd in de verwachtingen startend vanaf 2022052518 en 2022052618 rond het middaguur op 20220528).
• Op 25 juni 2022 kocht ik een nieuwe computer voor de HIRLAM berekeningen, met een AMD Ryzen 9 5950X (16 cores/32 threads) processor. Het wereldwijde tekort aan "chips" (verschillende electronische componenten voor computers) leidde ertoe dat deze pas op 15 juli kon worden geleverd; op 16 juli installeerde ik het operating system en de HIRLAM programmatuur.

  Twee volkomen verschillende ongeparallelliseerde hulppprogramma's in het verwachtingssysteem laten een snelheidsverhoging met een factor 1,6 zien: een van 1 minuut 15 seconden naar 45 seconden doorlooptijd (gebruikt 5 Gbyte geheugen), een andere van 35 naar 21 seconden (gebruikt 1,5 Gbyte).

  Maar voor de weersverwachtingsprogammatuur zelf is de nieuwe computer maar ongeveer 35 % sneller dan zijn voorganger en verbazingwekkend genoeg vermindert het rekenvermogen indien ik de hyperthreads inzet voor extra MPI processen:

  CPU	Jaar aanschaf	CPU Mhz (max)	Geheugen Mhz	Cores	Hyperthreads	MPI processen	Tijdstaplengte (s)
  Skylake	2017	4000	2133	10	2	20	21,0 +/- 0,3
  Ryzen 9	2022	4500	2400 (!)	16	2	32	16,9 +/- 0,3
  Ryzen 9	2022	4500	2400 (!)	16	2	16	16,0 +/- 0,3
  Ryzen 9	2022	4500	2400 (!)	16	2	8	17,6 +/- 0,3
  Ryzen 9	2022	4500	3600	16	2	32	16,6 +/- 0,3
  Ryzen 9	2022	4500	3600	16	2	16	15,6 +/- 0,3

  (!) De BIOS rapporteert dat het moederbord geheugen tot 3600 Mhz ondersteunt, hetgeen ik ook besteld had - De BIOS rapporteert ook dat de actuele snelheid maar 2400 Mhz is. Na analyse door de fabrikant heb ik het door hen gebruikte "profiel" voor de BIOS opnieuw geladen; dat had effect - ook het OS rapporteert nu 3600 Mhz in plaats van 2400 in de lijst hieronder. De conclusie van deze exercitie moet zijn dat de doorlooptijd van het verwachtingssysteem niet erg afhankelijk is van de snelheid van het geheugen en dat de beperkende factor(en) dus ergens anders zit(ten). Aan de andere kant rapport de BIOS ook dat de bandbreedte van het geheugen zoals ondersteund door het moederbord maar 2400 Mhz is (waarschijnlijk wordt hier bedoeld: 2400 miljoen "transfers" per seconde) - 3600 Mhz geheugen installeren is dus niet zo erg zinvol.

  En dit is wat het operating system er eerst van vond:

  root@moene:~# lshw  -short -C memory
  H/W path                Device     Class          Description
  =============================================================
  /0/0                               memory         64KiB BIOS
  /0/37                              memory         128GiB System Memory
  /0/37/0                            memory         32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
  /0/37/1                            memory         32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
  /0/37/2                            memory         32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
  /0/37/3                            memory         32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
  /0/3a                              memory         1MiB L1 cache
  /0/3b                              memory         8MiB L2 cache
  /0/3c                              memory         64MiB L3 cache
  

• Op 23 oktober 2022 vond ik de oplossing voor een probleem in het berekenen van "Convective Available Potential Energy", die leidt tot een vermindering van 8,5 % in rekentijd van de weersverwachting. Bij het berekenen van deze grootheid ("CAPE") is het nodig een "evenwichtstemperatuur" te bepalen door middel van een stapsgewijze procedure die deze temperatuur steeds dichter benadert. De procedure werd beeindigd bij het bereiken van een verschil van een miljoenste graad tussen twee opeenvolgende waarden. Aangezien beide getallen 32 bits groot zijn, met een mantisse van 24 bits, werd dit eindcriterium alleen gehaald als dat verschil exact nul was (omdat het maximum aantal stappen op tien gezet was, leverde deze procedure altijd een resultaat op). Door het criterium op een tienduizendste graad te zetten (ruim voldoende nauwkeurigheid !), wordt over het algemeen in twee tot drie stappen het eind van deze berekening bereikt.
• Op 18 november 2022 heb ik het horizontaal oplossend vermogen van het model verhoogd van 0,067 graad (7,4 km) naar 0,05 graad (5,5 km). Omdat de verticale verdeling in de modelatmosfeer hetzelfde blijft, betekent dit een reducering van de hoeveelheid lucht per "modeleenheid" tot 55 % van voorheen. Dit zal voor het eerst zichtbaar zijn in de grafieken en kaarten van 19 november 2022. Omdat mijn computer niet genoeg rekenvermogen heeft voor een volledig identieke overgang, zal dit ook inhouden dat vanaf die datum de verwachting maar tot 54 uur vooruit reikt. Dit is de eerste resolutieverhoging in vijf jaar - de transitie zal waarschijnlijk op de 18e al tot wijzigingen in grafieken leiden, die pas op de 19e voltooid zijn.
• Op 25 november 2022 heb ik de staplengte van de tijdsintegratie van het model teruggebracht van 240 naar 200 seconden. Dit was nodig om de ruis in de oppervlaktedruk terug te dringen - vergelijk druktendens 24/11/2022 met druktendens 25/11/2022. Dit betekent ook dat de verwachting later afgeleverd wordt.
• Op 20 januari 2023 heb ik sub-uurlijkse uitvoerstappen ingevoerd. Dit is zichtbaar gemaakt in de lokale animaties, waarbij de plaatjes met een frequentie van één per tien minuten afgespeeld worden.
• Op 27 mei 2024 werd de operationele HPC bij het KNMI getroffen door verschillende problemen, die er toe leidden dat waarneemdata daarvandaan niet naar mijn machine gestuurd werd. Automatisch werd daarop overgeschakeld op waarneemdata beschikbaar gesteld door het ECMWF. Helaas is de verwerking van die data nog niet geheel geschikt gemaakt voor HIRLAM. Het netto effect hiervan was dat slechts een deel (ongeveer tweederde) van de normaal aanwezige gegevens verwerkbaar waren. Deze situatie duurde van de run 2024052712 UTC tot en met die van 2024052818 UTC (zes data assimilatie cycli).
• Op 1 juli 2024 werd de operationele HPC bij het KNMI definitief uitgezet. Vanaf de 12 UTC run van die dag gebruikt HIRLAM waarnemingen die opgehaald worden van het ECMWF. Deze overstap maakt het ook mogelijk windstoten en uurlijkse neerslaggegevens in de tijdreeksen weer te geven.
• Na ruim een week deze nieuwe waarneemstroom van het ECMWF verwerkt te hebben wordt duidelijk dat niet alle waarnemingen van de typen SYNOP (oppervlakte waarnemingen), TEMP (ballon oplatingen) en AIREP/AMDAR (vliegtuig waarnemingen) gebruikt worden. SYNOP waarnemingen worden op twee manieren verwerkt: Voor de waarnemingen van oppervlakte druk (grootschalige atmosfeerbewegingen) en het bijstellen van temperatuur en vochtinhoud van de modelbodem. Om na te gaan of beide analyses dezelfde waarnemingen wel (of niet) gebruiken, ben ik er vanaf 10 juli 2024 toe overgegaan het gebruik van waarnemingen in oppervlakte data assimilatie in kaarten weer te geven. Hieruit blijkt duidelijk dat er voor beide typen gebruik dezelfde "gaten" bestaan. Dat maakt het gemakkelijker om na te gaan waar dit aan ligt.