1.3.2 Benchmark
De theoretische modelbeschrijving van het Nieuw Nationaal Model (NNM) is door TNO en door KEMA gebruikt voor een eigen software-implementatie. Na het op de markt brengen van deze 2 modelimplementaties, bleken de uitkomsten in een aantal gevallen grote verschillen te vertonen.
Dit ondanks dat beide modellen gebaseerd waren op dezelfde theoretische uitgangspunten, het NNM, zoals beschreven in het 'Paarse boekje'. In opdracht van het toenmalige ministerie van VROM, is in 1999 een benchmarkonderzoek gestart om de verschillen in beide implementaties op te heffen. De benchmark heeft geleid tot aanvullingen en het verbeteren van onvolkomenheden in de modellen. Hierdoor zijn de verschillen tussen beide modelimplementaties kleiner (zie deel I, paragraaf 3.2).
Bij de benchmark van de 2 NNM-implementaties in 1999 zijn metingen gebruikt. Het model is op een zodanige wijze aangepast dat de resultaten van het model zoveel mogelijk overeenkomen met de metingen. Hiervoor zijn de 4 verschillende meetsets gebruikt, die in Nederland beschikbaar waren.
De NNM-implementaties die na de deze benchmark door KEMA en TNO op de markt zijn gebracht, zijn niet identiek. De verschillen in de uitkomsten voor een aantal goed gedefinieerde, veel voorkomende gevallen, bedragen nog maximaal 5-10% tussen de beide implementaties.
Het is niet bekend hoe groot de verschillen in de overige situaties kunnen zijn. De gebruiker moet altijd kritisch blijven over de modelresultaten.
Kleine verschillen in de meteorologische voorbewerking
In 2010 is er een benchmark uitgevoerd om PluimPlus, Stacks en ISL3A (rekenmodel voor eenvoudige situaties) met elkaar te vergelijken. Na de nodige aanpassingen zijn de overeenkomsten in vrijwel alle gevallen weer minder dan 5%, op minstens 90% van de receptorpunten. De hoogste concentraties voldoen in alle situaties aan dit criterium. Alleen voor zeer hoge bronnen (zoals een 125 m hoge schoorsteen) blijken er verschillen te kunnen zijn, die net niet aan de gestelde voorwaarde voldoen. De verschillen zijn te wijten aan kleine verschillen in de meteorologische voorbewerking. In 2010 is besloten om in NNM-verband alleen de primaire meteorologische parameters uit de software PreSRM te betrekken. Vanaf 2011 worden álle meteoparameters via de PreSRM betrokken.