DEL128 11206187 HYDROLIB

Aanleiding van het project

Voor overheden, adviesbureaus en kennisinstituten zijn data en hydrologische en hydrodynamische simulatiemodellen essentieel bij hun werk aan watervraagstukken. Dit geld zowel voor klimaatbestendig zijn en blijven (KIA Landbouw, Water, Voedel, missie C “Klimaatbestendig landelijk en stedelijk gebied”) als voor beschermd zijn en blijven tegen extreme gebeurtenissen (KIA Landbouw, Water, Voedsel, missie F “Nederland best beschermde delta”).
De processen rondom de data en simulatiemodules worden in toenemende mate geautomatiseerd. Deze automatisering versnelt het proces, vraagt (hernieuwde) aandacht voor de kwaliteit van o.a. brondata, voorkomt (menselijke) fouten en maakt optimalisatie mogelijk. Deze automatisering draagt direct bij aan MMIP F3 “Nederland Digitaal Waterland”.
Natuurlijk is deze automatisering deels generiek en deels projectspecifiek. Met de ingebruikname van de nieuwe D-HYDRO Suite 1D2D modules voor oppervlaktewater is dit het moment om de handen ineen te slaan en samen verder te werken aan gevalideerde en goed ondersteunde automatisering van D-HYDRO Suite 1D2D modellering. Uiteraard voortbouwend op de relevante bestaande data- en modelleerstandaarden, zoals o.a. HyDAMO (afkomstig uit het Nederlands Hydrologisch Instrumentarium).
Deltares neemt daarom samen met publieke en private partners het initiatief voor HYDROLIB: een softwarebibliotheek ter automatisering van hydrologische en hydrodynamische dataverwerking en modellering.

Doel van het project

Het doel van HYDROLIB is het realiseren van een gedeelde softwarebibliotheek voor een geautomatiseerde workflow van hydrologische en hydrodynamische modellering, beschikbaar in een open community van ontwikkelaars en gebruikers.
Een set kernalgoritmes en tools voor interacties met D-HYDRO Suite 1D2D, en onder andere ook de HyDAMO-datastandaard, zorgen dat adviesbureaus deze ontwikkelingen niet zelfstandig en dubbelop hoeven te doen. Voor overheden geeft een gestandaardiseerde toolset bovenop de vastgelegde datastandaarden ook meer duidelijkheid in hun modelleertrein. Binnen en buiten het project zullen de private partners ook voortbouwen op deze toolset in afgeleide en meer geavanceerde tools voor watermanagement en analyse van toekomstscenario’s. Deze projectdoelstellingen dragen direct bij aan de doelstellingen van MMIP F3 “Nederland Digitaal Waterland”.
In meer detail gaat HYDROLIB op Python gebaseerde data- en softwaretools bevatten voor:
– Consistentie en validatie modelinvoer, ook in relatie met de brondata3,
– Modelgeneratie vanuit HyDAMO-brondata,
– Snel en automatisch simuleren (bijv. toetsing, stochastische reeksen of optimalisatie), lokaal of in een cloud-omgeving,
– Reproduceerbare uitkomsten en nabewerking (zoals statistiek en visualisatie)
Deze tools voor de keten data-modelgeneratie-modelsimulaties-resultatenanalyse past daarmee goed in het MMIP F3 deelprogramma “Modellering en scenario-building”.

Omschrijving van de activiteiten

De geplande acties zijn in zes werkpakketten verdeeld (WP1 t/m WP6).
Samengevat over alle werkpakketten: in de begroting wordt aanspraak gemaakt op 50% tki-toeslag voor de onderzoeks- en ontwikkelonderdelen van het type “Industrieel onderzoek” en 25% tki-toeslag voor het onderdeel Pilots (type “Experimentele ontwikkeling”). De pilots in dit onderzoeksvoorstel (WP3) omvatten een relatief beperkt deel van het project; hierdoor komen we in totaal uit op een reëel geschat maximaal percentage van 43% voor de TKI-toeslag, zie onderstaande Tabel 1.

Onderdeel – Projectbegroting – TKI-toeslag – TKI-toeslag als % van begroting

Onderzoek & ontwikkeling (industrieel onderzoek) – € 769.526 – € 384.763 – 50%
Pilotstudies (experimentele ontwikkeling) – € 275.736 – € 68.934 – 25%

TOTAAL € 1.045.262 – € 453.697 – 43%

Verwachte resultaten

1 – Way-of-working documentatie voor open source samenwerkingsplatform (uit WP1 – Open source community). – 2021
2 – Architectuur-ontwerp HYDROLIB (uit WP2 – Architectuur). – 2021
3 – HYDROLIB-releases, bevattende de kernscripts (inclusief API-documentatie), D-HyDAMO en verder te ontwikkelen tools (uit WP3 – Scripting). – 2021, 2022
4 – Publicaties in een vakblad over pilotstudies (uit WP4 – Pilots). – 2022
5 – 1 vakpublicatie en 2 peer-reviewed wetenschappelijke publicaties (submitted) (uit WP5 – Modelleerkeuzes en automatisering). – 2022
6 – Bèta-projectversie van D-HYDRO Suite 1D2D, waarin de parallellisatie en rekenhartverbeteringen uit WP6 zijn opgenomen. Indien dit TKI-project gegund wordt, zal dezelfde functionaliteit ook onderdeel worden van de eerstvolgende General Availability (GA)-release van de D-Hydro Suite 1D2D (open source). – 2021

Innovativiteit

Startpunt van dit project “HYDROLIB” is de D-HYDRO Suite 1D2D die in recente jaren al uitgebreid doorontwikkeld is voor inzetbaarheid op landelijke en stedelijke watertoepassingen.
Binnen dit project wordt onder andere ook een High Performance Computing (HPC)-uitbreiding op D-HYDRO Suite 1D2D ontwikkeld, voor distributed-memory rekenclusters.
Daarnaast wordt gewerkt aan automatische modelgeneratie vanuit brondata volgens de HyDAMO-datastandaard. De datastandaard is gereed (vanuit het Nederlands Hydrologisch Instrumentarium4), nu is de volgende stap het automatisch opbouwen van de modelschematisaties. In samenwerking met Wageningen Universiteit wordt hierbij ook onderzoek gedaan naar de positie van menselijke expert-keuzes in deze meer geautomatiseerde werkwijze: waar vindt de hydrologische modelleerkennis zijn plek in deze workflow?
Ook gaat gewerkt wordt aan stochastische reeksberekeningen van hydrologische oppervlaktewatermodellen. Nieuw is dat dit uitgebreid gaat worden met de nieuwe geïntegreerde D-HYDRO Suite 1D2D modules. Onder andere wordt ook onderzocht hoe deze berekeningen in de cloud uitgevoerd kunnen worden, waarbij gelet moet worden op de API van het rekenhart, en de mogelijke keuze voor remote nabewerken van de data.

Valorisatie

1. – Way-of-working documentatie voor open source samenwerkings-platform.
De adviesbureaus en waterschappen die tijdens dit project scripts gaan ontwikkelen binnen WP3 zullen met elkaar de procedures zo opstellen, dat deze ook gehanteerd blijven worden tijdens de verdere duur van dit project.
Na afronding van dit project kan deze documentatie richtlijn zijn voor nieuwe gebruikers van de open source HYDROLIB-code, tenminste wanneer zij contributies willen maken aan de officiële HYDROLIB-releases. – Deltares coördineert de werkzaamheden, maar bouwt op bijdragen van de adviesbureaus. Alle bijdragende adviesbureaus kunnen hieraan meeschrijven en sommige waterschappen kunnen de documentatie reviewen.
2. – Architectuur-ontwerp HYDROLIB – De adviesbureaus en waterschappen die tijdens dit project scripts gaan ontwikkelen binnen WP3 zullen gaan voortbouwen op het ontwerp in dit document. Na afronding van dit project kunnen ook nieuwe gebruikers van de open source HYDROLIB-code ook dit architectuurdocument gaan gebruiken als documentatie. – Deltares trekt dit product en voert de eindregie. Enkele bijdragende adviesbureaus zullen mee schrijven hieraan.
3. HYDROLIB-releases – Tijdens het project zullen de deelnemende waterschappen en adviesbureaus al gebruik maken van alle ontwikkelde functionaliteiten in HYDROLIB. Gedurende het project zullen deelproducten in de hoofdlijn ook al publiek toegankelijk zijn. De uiteindelijke release bij projectoplevering zal als open source voor iedereen beschikbaar zijn. – Deltares zal een coördinerende rol spelen. De uitvoering op deelproducten binnen HYDROLIB zal liggen bij het trekkende adviesbureau op het betreffende onderdeel.
4. – Publicaties in een vakblad over pilotstudies – Beschikbaar voor alle betrokkenen binnen het (regionaal) waterbeheer. – Adviesbureaus nemen de lead en zullen in samenwerking met Waterschappen en Deltares de publicaties verzorgen.

Link naar projectresultaten…