Dit document bevat een overzicht van hoe AI (specifiek LLM’s) wordt toegepast binnen de producten van Lowerdeck, en wat de gevolgen daarvoor zijn op het gebied van beveiliging & privacy.

Voor een vollediger overzicht van privacy in Conraad, zie Conraad & Privacy.

Voor vragen zijn wij altijd bereikbaar op info@lowerdeck.io.

Algemeen

In vogelvlucht ons AI beleid:

1. We gebruiken Anthropic (Claude). Omdat we de voorkeur geven aan een Europese partij houden we de markt in de gaten. Echter, tot nu toe is de kwaliteit van de grote partijen zoals Anthropic & OpenAI doorslaggevend. OpenAI weren we voor nu vanwege hun politieke houding.

2. We geven LLM’s expliciet de opdracht om informatie alleen uit aangeleverde bestanden te halen, om op die manier het risico op “hallucinaties” zo klein mogelijk te houden. Echter, we kunnen hallucinaties nooit 100% voorkomen. In de verschillende toepassingen hieronder geven we aan hoe we kwaliteit waarborgen.

Per product

Allereerst, Lowerdeck biedt twee producten:

• Randall - workflow optimalisatie voor DLS- en graphics rendering

• Conraad - compliancy tool voor inhuur zelfstandigen in AV sector

Randall

Hierover kunnen we snel zijn: Randall bevat geen LLM programmatuur. We hebben voor een toekomstige versie mogelijk een toepassing van LLM’s, en dat zal dan verband houden met de “Template Editor” - het scherm waarin een grafische vormgever templates kan maken. LLM’s kunnen hier handig zijn om de gebruiker in staat te stellen templates te wijzigen zonder in-depth kennis van hoe de template editor werkt.

Conraad

In Conraad worden LLM’s wel toegepast. Specifiek voor 3 toepassingen binnen het systeem:

1. Extraheren criteria uit beheersmaatregelen

2. Opstellen van antwoordsuggesties voor vragenlijsten

3. Genereren van opdrachtbeschrijving

1. Extractie criteria uit beheersmaatregelen

We gebruiken een LLM-assisted workflow voor het inlezen en analyseren van beheersmaatregelen. De deliverable is hier per beheersmaatregel een lijst van criteria voor de opdracht(beschrijving).

Hoewel we het hier voor de volledigheid opnemen valt dit feitelijk niet binnen de code van Conraad. Dit is meer een productiviteitstool voor ons als ontwikkelaars: wij controleren nadien de gegenereerde criteria met de juristen van de NCP. De kwaliteit van de gegeven informatie wordt op deze manier dus ook gewaarborgd.

Overzicht gestuurde data

2. Opstellen van antwoordsuggesties voor vragenlijsten

Voor een opdrachtbeschrijving wordt gegenereerd stellen wij de gebruiker vragen, o.a. omtrent de verwachtingen van de werkende, over hoe de werkende betrokken is bij de productie, en diens gespecialiseerde kennis. Deze vragen zijn voorzien van een aantal makkelijk aantikbare antwoordsuggesties.

Elke keer als een nieuwe opdracht wordt gemaakt begint een LLM met het genereren van deze suggesties. Daarbij wordt ingevoerde informatie over de Productie en over de Opdracht meegestuurd, maar niets over de opdrachtnemer.

De kwaliteit van de gegeven informatie wordt hierbij niet goed door ons gewaarborgd. Echter, omdat het hier slechts om antwoordsuggesties gaat is het afbreukrisico hiervan laag – immers, de gebruiker schrijft & controleert zelf hun antwoorden. NB; voor deze toepassingen geven we de LLM wat meer ruimte om ook “externe” informatie te gebruiken.

Voorbeeld van antwoordsuggesties

Overzicht gestuurde data

3. Genereren van een opdrachtbeschrijving

Als de vragenlijst eenmaal is voltooid gaat Conraad een opdrachtbeschrijving genereren. Dat bestaat feitelijk uit twee stappen: het genereren van de tekst zelf, en het analyseren van de tekst adhv de criteria uit de beheersmaatregel. Ook hierbij wordt informatie meegestuurd over de Opdracht, de Productie, de antwoorden op de vragenlijst, maar geen gegevens van de Opdrachtnemer. Niet eens geanonimiseerd, gewoon geen informatie over de opdrachtnemer.

Onder deze toepassing valt ook het door Conraad laten aanpassen van een bestaande opdrachtbeschrijving, of het toetsen van een door de gebruiker ingevoerde beschrijving langs de criteria uit de beheersmaatregel.

De kwaliteit van de gegenereerde tekst waarborgen wij door deze criteria. We vragen de LLM om per criterium aan te geven in hoeverre de tekst aan het criterium voldoet (rood, oranje, groen), hoe zeker de LLM daarvan is (0-100%) en tekst & uitleg. Deze is door de gebruiker in te zien.

Overigens geldt ook hier weer: de gebruiker leest de tekst nog door en kan aanpassingen maken. Alles is zichtbaar.

Een voorbeeld van hoe de LLM tekst & uitleg geeft aan hoe een gegenereerde tekst voldoet aan criteria

Overzicht gestuurde data