Met AI toepasbare regels verbeteren voor Vergunningcheck (deel 2)

Dit is een vodcast van IPLO (Informatiepunt Leefomgeving) de video duurt ongeveer 17 min. In de video zijn twee sprekers die een presentatie geven: Stephan Stikdonk en Joyce Boes.

BEELD: Logo Informatiepunt Leefomgeving, kenniscentrum van de overheid. Een wit vlak met daarop de tekst: "Slim uitvragen. Betere check. Inzichten en tips voor betere vragen in het Omgevingsloket. Aflevering: Met AI een vergunningscheck verbeteren - Deel 2: Inhoud van de vragen.

BEELD: Joyce en Stephan staan vóór een Digibord te presenteren.

JOYCE: Welkom bij aflevering 5 van de vodcast ‘slim uitvragen, betere check’. Dit is het tweede deel in een tweeluik over het verbeteren van de vergunningcheck met behulp van AI. In de vorige aflevering keken we hoe je zaken kunt uitvragen hoe je vragen beter op volgorde kunt zetten en hoe je vragen anders kunt clusteren met behulp van AI. Waar gaan we het vandaag over hebben, Stephan?

STEPHAN: Vandaag gaan we kijken naar de begrijpelijkheid van de vragen en de toelichtingen. We gaan verder waar we de vorige keer gebleven zijn, de vergunningcheck voor erfafscheidingen.

JOYCE: We weten nu welke dingen we willen uitvragen en ook in welke volgorde. Maar de teksten van de vragen, de toelichtingen en de antwoordopties kunnen echt nog wel verbeterd worden. En ook daarbij kun je AI goed gebruiken.

STEPHAN: Ja, en ook deze keer hebben we criteria opgesteld waar begrijpelijke vragen en toelichtingen aan moeten voldoen. Laten we daar eerst naar kijken voor we ze gaan gebruiken in Copilot.

JOYCE: Laten we dat doen.

STEPHAN: We staan hier voor het scherm en op het scherm staan vijf criteria. Het eerste criterium gaat over begrijpelijke taal. Dus gebruik begrijpelijke taal op B1-niveau, zodat iedereen het kan volgen. En vermijd het gebruik van vakjargon. En als het niet anders kan, geef dan een korte toelichting.

JOYCE: Maak abstracte zaken echt concreet door gebruik te maken van voorbeelden. Vragen moeten echt te beantwoorden zijn zonder allerlei juridische teksten te moeten interpreteren. Dat betekent dus dat je een vraag moet kunnen beantwoorden alleen met algemene kennis of met een toelichting die bij de vraag aanwezig is.

STEPHAN: Het tweede punt gaat over de formulering die je gebruikt. Dus gebruik steeds dezelfde woorden- en zinsopbouw. Ga geen verschillende woorden gebruiken voor hetzelfde begrip, waardoor de gebruiker in verwarring kan raken. En spreek de gebruiker bijvoorbeeld aan met ‘u’ en houd dat consequent overal aan.

JOYCE: Bezoekers van het Omgevingsloket krijgen in één vergunningscheck vragen te zien van verschillende overheden. En daarom is het belangrijk dat we allemaal op dezelfde manier schrijven voor het Omgevingsloket. De schrijfwijzer toepasbare regels, die je kunt vinden op de IPLO website, geeft daarbij handige tips. En de link naar die schrijfwijzer kun je vinden op dezelfde pagina waar je deze aflevering van de vodcast hebt gevonden.

STEPHAN: Het derde criterium gaat over antwoordopties. Zorg dat de antwoordopties duidelijk en concreet zijn, elkaar niet overlappen en dat alle logische situaties erdoor gedekt zijn, zodat mensen niet hoeven te twijfelen.

JOYCE: Voeg zo nodig ook de optie “iets anders” toe, zodat als men twijfelt over een van de keuzeopties men niet gedwongen wordt een van die opties te kiezen waar ze eigenlijk niet zo zeker van zijn.

STEPHAN: En bij ja en nee antwoorden, vermijd dan dubbele ontkenningen en geef een korte beschrijving bij ja of nee, wat ja of nee eigenlijk betekent en zet dat in de antwoordoptie. We laten AI ook kijken naar of vragen objectief en consistent te beantwoorden zijn. Dus we willen vragen vermijden waarbij de beantwoording afhankelijk is van de interpretatie van de context. Of de inschatting van de gebruiker. Dus wat we bijvoorbeeld niet willen doen is mensen vragen of een nieuwe situatie met een te bouwen uitrit, of dat gevaar oplevert. Want dat hangt maar helemaal ervan af hoe iemand daar tegenaan kijkt en wat iemand zijn inschatting is.

JOYCE: Ik zou natuurlijk altijd antwoorden dat het geen gevaar op gaat leveren. En als het gaat om vragen over bijvoorbeeld hoeveelheden, dan geven we ook altijd aan hoe nauwkeurig het antwoord moet zijn. Zo maak je zelfs vragen waarbij iets moet worden ingeschat, zo objectief mogelijk. Met andere woorden, hoe duidelijker en concreter de vraag, hoe betrouwbaarder het antwoord zal zijn.

STEPHAN: Ook laten we AI kijken naar de ondersteunende informatie. En bij ondersteunende informatie is belangrijk dat het de juiste informatie is en op het juiste moment. JOYCE: We tonen daarbij eigenlijk alleen een toelichting die essentieel is om de vraag te kunnen beantwoorden. En zo houden we het gebruiksvriendelijk en overzichtelijk.

STEPHAN: We kijken ook naar externe informatie, dus informatie die mensen via links bereiken. En wat dan natuurlijk belangrijk is, is dat de link het doet. Dat mensen direct op de goede pagina terechtkomen dus dat ze niet via eerst een homepagina ergens moeten terechtkomen. En dat de informatie die er staat correct en gericht is. Dus dat er niet ook nog een heleboel andere informatie op staat waar mensen de weg in kwijt kunnen raken.

JOYCE: We gaan dus bijvoorbeeld niet linken naar uitgebreide juridische teksten waar gebruikers ook nog een interpretatie op moeten doen. Nou Stephan, dat zijn eigenlijk best veel criteria waar je rekening mee moet houden bij het opstellen van vragen en toelichtingen. Aan de andere kant kun je AI daar juist heel goed bij gebruiken. AI kan een snelle screening voor je doen om te kijken waar verbetering nodig is en ook helpen met suggesties.

STEPHAN: Ja, en we hebben deze criteria weer verwerkt in een prompt. In de eerste aflevering over AI hebben jullie kunnen zien hoe we het eerste deel van de prompt hebben gebruikt. We gaan nu het tweede deel gebruiken. En de prompt kun je downloaden van de webpagina waar deze vodcast op staat.

JOYCE: Ja en in de prompt vragen we AI te kijken naar de vragen en toelichtingen zoals die zijn opgenomen in het STTR-bestand dat je eerder hebt geüpload. Maar je hebt deze vragen en de vraagstructuur natuurlijk ook al verbeterd in aflevering 1 van deze vodcast. En we gebruiken dat als uitgangspunt. Dus AI neemt deze verbeteringen ook mee.

STEPHAN: We laten AI dus de vragen en toelichtingen beoordelen op grond van de vijf criteria die we net hebben toegelicht. En daarna kan je samen met AI aan de slag om deze vragen en toelichtingen te verbeteren.

JOYCE: Wij gaan Copilot nu opstarten om jullie te laten zien hoe dat gaat.

STEPHAN: Ik ben benieuwd.

BEELD: Het chat-programma Copilot is beeldvullend te zien. Joyce en Stephan geven op basis hiervan hun toelichtingen.

JOYCE: Ik ga verder in de chat waar we vorige keer gebleven zijn. Dus we hebben vorige keer een dialoog gehad met Copilot om de vraagstructuur te verbeteren. Na afloop hebben we die vraagstructuur nog een beetje aangepast. Ik ga verder in dezelfde chat en wat ik ga doen is een prompt erin plakken. In die prompt heb ik in geel nog even de verbeterde vragengroepen neergezet zoals we die hebben gemaakt zelf. Eerst in dialoog en daarna nog een beetje geoptimaliseerd. En ook de criteria die we net allemaal hebben uitgelegd, die zitten erin. Die plak ik gewoon huppakee in Copilot. En dan gaan we kijken waar Copilot mee komt. Hij slaat aan op een aantal begrippen. Dat het toch te abstract is, alleen uit beplanting, direct bij het gebouw openbaar toegankelijk, dat is niet voor iedereen vanzelfsprekend. Nou, daar kunnen we misschien wel wat mee. Woningtype. En je ziet dat we al best veel feedback terugkrijgen. Er zijn een aantal ja-nee vragen die nog concrete invulling missen, dus er alleen een ja of een nee staat. Dus daar kunnen we vrij makkelijk wat aan doen, denk ik. De grootste knelpunten zitten in de restanten van interpretatie. Direct, voorkant, openbaar gebied en te zware hoogtevraag. Zeg maar wat je wil. Ik zou zeggen, zullen we de vragen stuk voor stuk langslopen?

STEPHAN: Ja, laten we inderdaad gewoon één voor één doen, want dan is het een beetje bij te houden.

JOYCE: Staat er al een gebouw op het perceel waar u de afscheiding wilt plaatsen? De antwoordopties: ja, er staat al een gebouw, nee, er staat nog geen gebouw. Met gebouw bedoelen bijvoorbeeld een woning, schuur, garage of een ander bouwwerk op het perceel. Wat vind jij hiervan?

STEPHAN: Nou, het valt me sowieso op dat hij die antwoordopties expliciet heeft gemaakt. Dus dat inderdaad achter ja en nee ook direct staat van wat ja en nee betekent. Wat ja, toch een soort prettige bevestiging geeft. Ja, verder gewoon eh kort en bondig geformuleerd. Volgens mij is het vrij helder.

JOYCE: Denk jij dat iedereen weet wat een perceel is? Want hij gaat nu wel een gebouw toelichten, maar vraag me toch af of iedereen weet wat een perceel is.

STEPHAN: Ja, nu je het zegt, dat is eigenlijk inderdaad wel, het schoot even door mijn hoofd, een perceel. Ik denk dat dat het enige lastige woord is.

JOYCE: Hier staat ook dat AI er zelf ook een mini-kritische noot bij heeft, namelijk “perceel kan nog abstract zijn voor sommige gebruikers, maar meestal goed te begrijpen.” Kijk, hij is het nu toch met me eens. Wat fijn. Hij heeft er nu terrein van gemaakt.

STEPHAN: Ik denk dat het best wel lastig is, want voor veel mensen zal perceel best wel duidelijk zijn. Terrein. Terrein zou ik persoonlijk niet zo snel gebruiken in combinatie met woning. Maar ja, dat is misschien mijn persoonlijke associatie. Bij terrein heb ik ook een groter gebied in gedachten. Als er al een woning op staan, dan is dat een woning op echt een heel flink stuk grond. Maar een rijtjeswoning zou ik niet zeggen dat die op een terrein staat.

JOYCE: Ik vraag gewoon om toch perceel te gebruiken en het kort toe te lichten. Kijk, nu luistert hij. Met perceel bedoelen we het stuk grond dat bij uw woning of gebouw hoort. Dit is het terrein waar u de afscheiding wilt plaatsen. Een gebouw is bijvoorbeeld een woning, schuur of garage. Nou, dit lijkt me prima.

STEPHAN: Helemaal, ja.

JOYCE: Oh ja, wij zaten nog in een soort modus van wat voor soort gebouw is dit? Woning, bedrijf of iets anders? Maar het is nu gewoon eigenlijk een hele gerichte vraag. Is dat een woning? Ja, het is een woning. Nee, het is geen woning. Met woning bedoelen we een gebouw waar mensen in wonen, zoals huis of appartement. Wat denk jij?

STEPHAN: Ja, ik denk het voordeel is. Is dat het heel gericht is inderdaad, van is het wel of geen woning? Ja, aan de andere kant, als je vraagt van wat voor soort gebouw is het, dan kan je direct zeg maar een rijtje met opties geven. Want dan zie je de dingen waar je uit kunt kiezen.

JOYCE: Ik ga er even van uit dat de happy flow het merendeel van de mensen die gaat checken voor die afscheiding zal een burger zijn die het doen bij een woning. En daar is deze vraag weer heel herkenbaar voor. En het levert ook geen stress op om te kijken wat die andere opties zijn, toch?

STEPHAN: Dat klopt. Ik ben gewoon een beetje verrast omdat wij inderdaad eigenlijk al in een soort andere denkflow zaten van soort gebouw. En dit is eigenlijk een verrassende suggestie, maar op zich best wel goed.

JOYCE: Je ziet toch eigenlijk dat AI je dan kan helpen om creatieve ideeën waar we zelf eigenlijk nog niet aan gedacht hadden, zomaar voor je naar voren te brengen en je hiermee te helpen, toch? En ik zou zeggen, dit zou ik wel willen verwerken. Is dat een woning met deze antwoordopties?

STEPHAN: Ja het is gewoon nog net één stukje concreter dan, weet je, wat voor soort gebouw is het? Een woning is inderdaad gewoon nog directer.

JOYCE: Het moet wel echt direct bij die vraag staan of er al een gebouw staat, want anders krijg je verwarring dat het nog wel duidelijk is dat het over dat gebouw gaat. Ik zou zeggen dat ik dit wel, dit een mooie suggestie vind. Onderaan is nog het alternatief “is het gebouw een woning?”

STEPHAN: Ik denk dat dat iets vollediger is inderdaad.

JOYCE: De volgende vraag, dan zitten we nu bij vraag 7. Komt de afscheiding direct bij het gebouw te staan? Nou, het is wel goed om hier ‘gebouw’ te doen, want we hadden hier een gebouw wat geen woning is. Dus fijn dat hij inderdaad onthouden heeft dat we hier niet woning gebruiken. Ja, direct bij het gebouw. Nee, ergens anders op het perceel. En dat was wel wat we net ook al zagen. Hij geeft eigenlijk nu door die instructie al gelijk goede antwoordopties met duidelijk waar je voor kiest naast de ja of nee. En de toelichting, kies ja als de afscheiding direct rondom of naast het gebouw komt te staan. Bijvoorbeeld om een tuin of erf bij het gebouw af te schermen. Kies nee als de afscheiding verder op het perceel staat los van het gebouw, bijvoorbeeld op afstand of rond een ander deel van het terrein. Wat vind jij hiervan, Stephan?

STEPHAN: Die antwoordopties zijn inderdaad gewoon lekker helder. Bij de toelichting refereert hij naar een tuin of erf. Dat is natuurlijk juist een situatie waarbij het niet om een woning gaat. Dus dat zou ik tekstueel nog even aanpassen. Ja, ik zou me ook even afvragen van oké, wat zijn de meest voorkomende situaties? Van afscheidingen bij andere gebouwen dan woningen. Ik kan me voorstellen dat het bedrijfsgebouwen zijn of zo en daar dan misschien een beetje de formulering op aanpassen.

JOYCE: Maar dat zou ik wel eerst bij mijn collega navragen. Van goh, wat zijn in onze gemeenten nou situaties dat het om afscheiding gaat, niet bij woningen? Ik kan me voorstellen dat dat in de gemeente Den Haag misschien iets anders is dan een gemeente in meer landelijk gebied. Wat zou jij vinden van deze toelichting? Zou je die altijd in beeld zetten? Want in de vraag staat natuurlijk "direct bij". Of zeg je, nou mensen doen zelf een interpretatie van wat "direct bij" is. En als ze die toelichting nodig hebben dan vinken ze hem vanzelf wel aan.

STEPHAN: Ik denk dat het hier eigenlijk best wel belangrijk is, omdat dit was natuurlijk eigenlijk een vervanging of een manier om die functionele relatie in te vullen zonder het direct over een functionele relatie te hebben. Bij die toelichting staat dan ook bij dat eerste voorbeeld van oké dat het echt gaat om het gebouw wat op het terrein staat af te schermen. Dus dan is er dus een functionele relatie. Ik denk dat het wel belangrijk is om dat expliciet te maken. “Direct bij” zeg maar, het wordt ook iets breder getrokken dan alleen maar de afstand. Heb jij het idee van oké, dit is nu helder genoeg? Of willen we juist dat mensen contact gaan opnemen?

JOYCE: Ik vind dat een heel lastig ding. Het kan ook op een heel groot perceel zijn waar je een stukje wil afschermen...wat niet direct bij het gebouw staat. Ik vind het op zich een veel duidelijkere vraag dan de functionele relatie, waar dit soort opties ook in de toelichting staan, en nu haal je het expliciet naar voren. Waar ik een beetje over twijfel is of dit nu de hele lading dekt. Voordat ik hiermee verder zou gaan, zou ik echt even afstemmen met mijn collega's maar ik vind dit echt wel veel beter dan dat het was. Zoals ik al zei, welke voorbeelden komen nu binnen onze gemeente voor moeten echt in die toelichting komen.

BEELD: Joyce en Stephan staan weer voor het Digibord te presenteren.

JOYCE: We hebben jullie in twee afleveringen laten zien hoe je AI kunt gebruiken bij het verbeteren van de vergunningcheck.

STEPHAN: Ja, laten we kijken naar de pluspunten en de aandachtspunten die we hebben ervaren.

JOYCE: We staan hier voor het scherm en op het scherm hebben we aan deze kant de pluspunten neergezet. en aan die kant de aandachtspunten zoals wij die hebben ervaren.

STEPHAN: Ja, laten we beginnen met de pluspunten. Wat heel fijn is aan AI is dat het kan functioneren als een soort sparringspartner. Een sparringspartner die er gewoon altijd is. Als jij het wil, je hoeft alleen je computer open te doen en in ons geval Copilot op te starten. En dat kan gewoon helpen om een vliegende start te maken met het verkennen van het genereren van verschillende ideeën. En AI geeft daarbij best wel vaak creatieve verbetersuggesties.

JOYCE: Wat we ook gemerkt hebben is dat AI in staat is om snel knelpunten van een vergunningcheck boven water te krijgen. En dat helpt je om daarna te kunnen focussen op het verbeteren van die knelpunten. We hebben ook gezien dat het goed in staat is om een consistentiecheck op taalgebruik te doen. Iets wat je zelf nog wel eens uit het oog verliest. En AI komt met mooie suggesties om toelichtingen en vragen die je al geschreven had om te zetten in meer begrijpelijke taal en dus meer B1 taalgebruik.

STEPHAN: Er zijn ook aandachtspunten bij het gebruik van AI. Niet alle suggesties die AI geeft, zijn goed. Sommige zijn misschien zelfs niet correct. En andere zijn misschien gewoon geen verbetering. Dus ja, je moet zelf blijven nadenken en beschouw het gewoon als een soort gratis suggesties die je zelf nog moet beoordelen over wat je ermee moet doen.

JOYCE: Ook hebben we gemerkt dat AI niet alle problemen spot in de vergunningcheck. Onze grove inschatting is dat ongeveer 75% van de issues ook naar voren komen. Met name op het gebied van het spotten van juridisch taalgebruik en abstracte taal. Daar scoort AI eigenlijk best heel goed. Op andere fronten waren we wat minder tevreden. Met name als het gaat om de volgorde van de vragen en de clustering van de vragen.

STEPHAN: AI is van zichzelf niet heel kritisch. Dus als je wil voorkomen dat al jouw ideeën klakkeloos worden aangenomen en als fantastisch worden bestempeld, moet je van tevoren echt aangeven wat je wil. Maar als je dat doet, dan kan je ervoor zorgen dat AI echt kritisch is en ook jouw ideeën gaat challengen.

JOYCE: Verder moet je oppassen dat je niet wordt overladen met informatie. Door het feit dat je een hele check gaat aanpakken en het feit dat AI best veel informatie teruggeeft kan het gebeuren dat je door de bomen het bos niet meer ziet. Je moet zorgen dat je zelf focus aan gaat brengen. En dat kan je doen door bijvoorbeeld aan AI aan te geven welke zaken je wil aanpakken in welke volgorde je dat wil doen en dat je dat graag één voor één wil doen. En zo kun je zorgen dat je zelf het overzicht houdt.

STEPHAN: Wat het beste werkt in de communicatie met AI is eigenlijk als je gewoon heel direct en specifiek communiceert. En ook de suggesties die je terugkrijgt van AI, die kun je dus of gebruiken of negeren. Dat is helemaal niet erg. Je hoeft helemaal niet bang te zijn dat je hem kunt beledigen. Je kunt niet op lange tenen stappen ofzo. Je kunt gewoon expliciet zeggen wat je wel en niet wil en bepaalde dingen negeren.

JOYCE: Ga er nou niet van uit dat de AI ook de juridische regels echt helemaal begrijpt. En gebruik het dan ook niet op de automatische piloot, maar gebruik het echt als sparringspartner en als inspirator. AI zal niet jou en je collega's vervangen. Een kritische blik en afstemming met je collega's zal altijd nodig blijven.

STEPHAN: Alle informatie over de prompts en de gesprekken die we met Copilot hebben gevoerd zijn te vinden op de IPLO pagina.

JOYCE: We hopen dat het gebruik hiervan jullie kan helpen bij het verbeteren van de vergunningchecks. Schroom niet om dus prompts aan te passen zodat je hem beter kunt gebruiken. En deel vooral jullie ervaringen en verbeteringen van de prompt via de Pleio Community.

STEPHAN: Er is ook al een clubje regelanalisten vanuit de DSO Leergang aan de gang gegaan met de prompt. Zij hebben er een AI agent van gemaakt. Ze zullen dit delen via de Pleio Community.

JOYCE: Wij gaan samen sowieso nog één aflevering van de Vodcast maken. Hebben jullie suggesties voor het onderwerp? Reageer dan via de PLEIO Community of via de IPLO Helpdesk.

STEPHAN: Tot de volgende keer.

JOYCE: Tot de volgende keer.

BEELD: wit scherm met logo en tekst: 'Informatiepunt Leefomgeving, iplo.nl'.