DEL063 11200986 Continuous Integration of Models and Data

Aanleiding van het project

Kennisinstellingen ontwikkelen numerieke modellen voor ontwerp en toetsing van waterkeringen en andere infrastructuur. Een numeriek model is zo goed als de metingen waarop het model gekalibreerd en gevalideerd is. Metingen zijn echter vaak in handen van private partijen. Bovendien vergt het kalibreren van complexe modellen veel rekenkracht, en ook rekenkracht is veelal in handen van private partijen. Het gevolg is dat kalibratie en validatie van numerieke modellen sporadisch gebeurt tegen een beperkte dataset. Dit project faciliteert en automatiseert de uitwisseling van deze 4 essentiële componenten binnen een ontwerpcyclus voor numerieke modellen via een online cloud platform: modellen + expertise (publiek) en meetgegevens + rekenkracht (privaat) (zie figuur). Daarmee komt (her)kalibratie en (her)validatie ook voor complexe numerieke modellen (hybride hard/zachte keringen, nature-based solutions) en voor specifieke (engineering) toepassingen binnen handbereik.

Doel van het project

Het doel van dit project ligt in het verlengde van het doel van het OpenEarth initiatief, dat standaardisatie en ontsluiting van data, modellen en tools nastreeft. (Gestandaardiseerde) data, modellen en tools zijn de basis voor veel processen, zoals:
• Compute as a service (CaaS)
• Validatie van numerieke modellen
• Kalibratie van numerieke modellen
• Operationele modellen
Het doel van dit project is om ook deze processen te standaardiseren, te automatiseren, objectief, transparant en reproduceerbaar te maken door middel van een online cloud platform.

Bij de standaardisatie van processen zal de nadruk liggen op connectiveit. Standaardisatie van data en modellen is alleen bruikbaar voor automatisering als dit leidt tot gestandaardiseerde uitwisseling. Hierbij wordt zoveel mogelijk gebruik gemaakt van bestaande technieken (BMI, netCDF, OPeNDAP). Met name voor het toegankelijk maken van (geschematiseerde) data zullen nieuwe standaarden ontwikkeld worden (zie figuur).
Ontwikkeling van een online cloud platform:
• Stelt gebruikers in staat numerieke modellen en meetgegevens (vertrouwelijk) uit te wisselen.
• Automatiseert de kalibratie en validatie van (complexe) numerieke modellen tegen meetgegevens.
• Faciliteert de kalibratie en validatie van (complexe) numerieke modellen voor specifieke (engineering) toepassingen.
• Stelt kennisinstellingen in staat om complexe modellen (hybride keringen, nature-based solutions) beschikbaar te stellen aan marktpartijen als service.
• Stelt marktpartijen in staat (vertrouwelijk) meetgegevens beschikbaar te stellen aan kennisinstellingen voor de ontwikkeling, kalibratie en validatie van modellen.
• Monitort verbeteringen, sterktes en zwaktes van numerieke modellen objectief, transparant en reproduceerbaar.
• Voorziet in een generieke werkwijze om data en modellen te integreren voor andere toepassingen, zoals operationele modellen, compute as a service (CaaS), snelle numerieke verkenningen (3-click

Omschrijving van de activiteiten

Deze aanvraag voorziet in de ontwikkeling van de eerste fase van het online cloud platform waarop in een eventueel vervolg kan worden voortgebouwd. Deze eerste fase zal zich concentreren op twee van de vier voorziene toepassingen van het online cloud platform: CaaS en validatie. In deze eerste fase worden concreet de volgende ontwikkelingen voorzien.
• Inventarisatie van bestaande technieken voor cloud computing.
• Ontwikkeling van een applicatie voor uitwisseling van gestandaardiseerde data naar model schematisaties (Model Configuration Abstraction Layer, MCAL). Deze applicatie kan ook gebruikt worden voor andere model/data toepassingen, zoals OpenDA en FEWS en maakt het schrijven van model specifieke adapters voor deze toepassingen potentieel overbodig.
• Ontwikkeling van een applicatie voor het aansturen en verbinden van MCAL en gestandaardiseerde BMI-compatible numerieke modellen.
• Ontwikkeling van een applicatie voor het verwerken van gestandaardiseerde modeluitvoer in visualisaties en vergelijkingen met gestandaardiseerde data.
In een eventueel vervolg wordt gebreid aan uitbreiding van het online cloud platform voor kalibratie, operationele modellen en use cases. In de tweede fase van dit project zal concreet voorzien worden in de volgende ontwikkelingen:
• Uitbreiding van de applicatie voor het verwerken van gestandaardiseerde modeluitvoer met het uitvoeren van gestandaardiseerde statistische analyses.
• Ontwikkeling van een MCAL adapter voor OpenDA voor de standaardisatie van kalibratieprocessen.
• Ontwikkeling van een MCAL adapter voor FEWS voor de standaardisatie van operationele processen.
• Kalibratie van DFLOW-FM 2DH instationaire solver voor orkaanimpact op eilanden voor de Amerikaanse kust.
• Validatie van 3D DCSM hydrodynamische model voor de Noordzee.
• Validatie van een samengesteld wind/water/vegetatie model voor storm/herstel cycli op de Zandmotor en eilanden voor de Amerikaanse kust.
• Ontwikkeling van een web

Verwachte resultaten

De concrete tool die resulteert uit dit project is een online cloud platform dat gebruikers in staat stelt numerieke modellen en meetgegevens uit te wisselen en volgens gestandaardiseerde, objectieve, transparante en reproduceerbare procedures in te zetten voor uitvoeren, kalibratie, validatie en het operationeel inzetten van die modellen.
De finale versie van het online cloud platform biedt een generieke grafische interface die toegang verschaft tot de 4 essentiële componenten in een ontwerpcyclus van een numeriek model: modellen, expertise, meetgegevens en rekenkracht. De grafische interface vormt een essentiële schakel tussen modelexperts en modelgebruikers.
Geautomatiseerde en gestandaardiseerde uitvoering, kalibratie, validatie en operationeel inzetten van numerieke modellen heeft de volgende voordelen voor kennisinstituten:
• Ook complexe numerieke modellen kunnen door kennisinstellingen aangeboden worden als CaaS, gevalideerd en gekalibreerd worden.
• De beschikbaarheid van meetgegevens voor kalibratie en validatie wordt vergroot, waardoor de toepasbaarheid van numerieke modellen inzichtelijk wordt gemaakt en vergroot kan worden.
• De beschikbaarheid van rekenkracht voor kalibratie en validatie wordt vergroot, waardoor ook complexe en reken-intensieve numerieke modellen gekalibreerd en gevalideerd kunnen worden.
• Kalibratie en validatie wordt geautomatiseerd en kan daardoor eenvoudig opgenomen worden in de ontwikkelcyclus van numerieke modellen.
• Niet alleen de ontwikkeling en verbetering van nieuwe modelfunctionaliteiten, maar ook de beschikbaarheid van nieuwe datasets kan leiden tot herkalibratie en hervalidatie van een numeriek model en completeert daarmee de ontwikkelcyclus van numerieke modellen.
• Uniforme infrastructuur voor data/model integratie zorgt voor minder onderhoud.
Geautomatiseerde en gestandaardiseerde uitvoering, kalibratie, validatie en operationeel inzetten van numerieke modellen heeft de volgende (concurentie)voo

Innovativiteit

Binnen het consortium zijn de volgende initiatieven ontwikkeld of in ontwikkeling die relevant zijn in het kader van dit project:
OpenEarth: Van Oord en Deltares hebben een leidende rol gespeeld in de ontwikkeling van OpenEarth, een initiatief dat de standaardisatie en ontsluiting van data, modellen en tools nastreeft.
DigiShape: Van Oord heeft recent het DigiShape initiatief gelanceerd. DigiShape streeft er, net als OpenEarth, naar om data en tools te standaardiseren en te ontsluiten, maar dan in de cloud. Het voordeel is dat data en tools in de cloud fysiek dicht bij elkaar staan waardoor grote datasets eenvoudig bewerkt kunnen worden. Bovendien is in de cloud nagenoeg ongelimiteerde rekenkracht aanwezig waardoor ook complexe en reken-intensieve bewerkingen mogelijk zijn.
Skillbed: Deltares is in 2010 begonnen met het geautomatiseerd valideren van haar numerieke modellen door middel van een zogenaamd skillbed. Dit skillbed vergelijkt de modelresultaten met een vaste dataset zodra de programmeercode van het model wordt gewijzigd. De ontwikkelaars worden automatisch geïnformeerd over de laatste vergelijking.
OpenDA: Deltares heeft de open-source tool OpenDA ontwikkeld voor data assimilatie en kalibratie van modellen. OpenDA is potentieel geschikt voor kalibratie op cloud platforms.
FEWS in the cloud: Deltares heeft plannen om haar operationele model runner FEWS te migreren naar de cloud. Synergievoordelen kunnen worden behaald door deze migratie aan te laten sluiten bij onderhavig voorstel.
3-clicks-to-a-model: Deltares heeft plannen om het opzetten van verkennende numerieke modellen voor offerte- en planfase te vereenvoudigen volgens de 3-clicks-to-a-model filosofie. Een dergelijke strategie zou voordeel hebben bij de gestandaardiseerde processen voor modelontwikkeling en –toepassing waarin in dit voorstel wordt voorzien.

Deze bestaande initiatieven zijn allen van grote meerwaarde voor de ontwikkeling van numerieke modellen voor de Nederlandse sector

Valorisatie

Het beoogde online cloud platform zal beschikbaar komen voor geregistreerde gebruikers binnen de sector Deltatechnologie bij een nader te kiezen cloud provider. Bij de uitwisseling van modellen en data geldt in beginsel dat de gebruiker betaalt.
Bovendien zal het cloud platform ook als stack beschikbaar worden gesteld. Gebruikers kunnen deze stack installeren op een eigen rekencluster of cloud omgeving voor eigen gebruik of om modellen, data en tools (vertrouwelijk) uit te wisselen.
De resultaten van het cloud platform zullen leiden tot betrouwbaardere schattingen tijdens aanbestedingen en in de uitvoerings- en onderhoudsfase, omdat kalibratie en validatie van numerieke modellen toegesneden kan worden op specifieke (engineering) toepassingen. Bovendien zal de kwaliteit en toepasbaarheid van numerieke modellen vergroot worden, omdat bestaande zwaktes automatisch inzichtelijk worden gemaakt.

Link naar projectresultaten…