AI kræver validering – ikke bare gode prompts

AI fylder mere og mere i analysearbejdet. Det gælder også hos os. Sprogmodeller åbner nye muligheder for at arbejde med store tekstmængder, identificere mønstre, strukturere indsigter og understøtte analyser på måder, som tidligere var svære eller meget ressourcekrævende.  

Men netop fordi mulighederne er store, er det afgørende at bruge teknologien metodisk ansvarligt.  

Hos Epinion arbejder vi derfor med validering som en integreret del af vores analysepraksis, når vi anvender AI. Det gør vi, fordi sprogmodeller kan være stærke redskaber, men deres output kan ikke tages for givet uden systematisk kvalitetssikring. Det handler i bund og grund om sprogmodellers stokastiske natur. Validering er derfor ikke noget, der kommer til sidst. Den indgår fra starten af projektet som en naturlig del af designet af løsningen.  

Formålet er at sikre, at output er relevant for opgaven, tilstrækkeligt præcist, domænespecifikt og forankret i det anvendte materiale. På den måde kan vi bruge AI på en måde, der både er metodisk ansvarlig og fagligt transparent. Samtidig gør det os i stand til at skabe værdi på to fronter: ved at styrke kvaliteten i analyserne og ved at afsøge muligheder for analyser, som tidligere ikke var praktisk mulige.  

 

Validering er en forudsætning for kvalitet  

Der er i øjeblikket stor opmærksomhed på, hvordan AI kan effektivisere arbejdsprocesser. Men for os er det ikke den primære pointe. Det afgørende er, om AI kan bidrage til bedre analyser.  

Det kræver, at man ikke forveksler overbevisende sprog med faglig validitet. Et output kan fremstå overbevisende, uden nødvendigvis at være præcist, dækkende eller tro mod datagrundlaget. Derfor er det ikke nok at fokusere på, om modellen “kan svare”. Vi må også spørge, om svaret er anvendeligt, dokumenterbart og metodisk forsvarligt. Det er her validering bliver central.  

Validering gør det muligt at vurdere, om en AI-løsning faktisk lever op til det formål, den skal bruges til. Den skaber transparens om kvalitet, begrænsninger og anvendelighed. Og den giver et mere solidt grundlag for at afgøre, hvornår AI kan bruges som en meningsfuld del af analysearbejdet.  

 

Vores valideringsproces  

På baggrund af flere års erfaring med AI i analyse har vi i Epinion udviklet en struktureret valideringsproces – et valideringsframework – hvor metode og valideringsniveau tilpasses den konkrete opgave.  

1. Vurdering af valideringsbehov: Vi starter med at vurdere opgavens krav til præcision, verificerbarhed og anvendelsesformål. Det giver et grundlag for at fastlægge, hvor omfattende valideringen skal være. 
2. Udvikling efter best practice: Løsningen udvikles med afsæt i anerkendt best practice, herunder prompting og domænespecifik kontekst. Det sikrer et solidt kvalitetsniveau allerede i udviklingsfasen.  
3. Valg af valideringsmetoder: På baggrund af valideringsbehovet udvælger vi de metoder, der bedst matcher opgaven. Ved højere krav til robusthed kombinerer vi typisk flere valideringsmetoder fra både datalogien (computer science) og fra samfundsvidenskaben.  
4. Gennemførelse af validering: Vi tester systematisk outputtet og vurderer blandt andet, om det er relevant for opgaven, og om det er tro mod input og kildemateriale. 
5. Kalibrering og forbedring: Hvis valideringen viser behov for justeringer, kalibrerer vi løsningen og gentager valideringen. Processen fortsætter, indtil modellen performer tilfredsstillende i forhold til formålet. 
6. Dokumentation: Hele processen dokumenteres, herunder valideringsbehov, metodevalg, resultater og ændringer i løsningen. Det sikrer transparens og reproducerbarhed. 

 

Et valideringsniveau, der passer til opgaven  

Vi arbejder ikke med én standardmetode for validering. Valideringsniveauet afhænger af, hvad opgaven kræver, og hvor stor sikkerhed der er behov for.  

I nogle tilfælde vil en lettere validering være tilstrækkelig. I andre tilfælde kræver opgaven et mere omfattende setup, hvor flere metoder kombineres. Det afgørende er, at valideringen matcher anvendelsesformålet.  

Det handler om at vælge et valideringsdesign, der gør det muligt at stole på outputtet i den konkrete kontekst.  

 

Overblik over valideringsmetoder  

Vi anvender forskellige valideringsmetoder afhængigt af opgaven og det ønskede sikkerhedsniveau.  

• Unit-tests 
  Her opstiller vi konkrete forventninger til output og tester modellen op mod disse. Det er en effektiv metode til at kvalitetssikre bestemte funktioner eller outputkrav tidligt i udviklingen.  
• Face-validity test 
  Her vurderes det, om output umiddelbart fremstår rimeligt, relevant og troværdigt i forhold til opgaven. Det er ofte et naturligt første trin i evalueringen.  
• LLM-as-a-judge 
  Her anvendes en sprogmodel til at evaluere en anden sprogmodels output ud fra faste kriterier. I praksis bruger vi ofte mål som relevans og faithfulness for at vurdere, om output er anvendeligt og forankret i kildematerialet.  
• Validation set vurderet af mennesker 
  Her sammenlignes modellens output med et datasæt, der er kodet eller vurderet af mennesker. Det er en stærk valideringsmetode, fordi den forankrer evalueringen i menneskelig faglig vurdering.  
• Klassiske valideringsmetoder fra samfundsvidenskaben
  Hvor det er relevant, supplerer vi med mere klassiske valideringsgreb, fx krydsvalidering, korrelationsanalyser eller sensitivitetsanalyser. Det giver et vigtigt reality check og kan styrke den samlede metodiske robusthed.  

 

AI skal udvide det analytiske mulighedsrum  

Når vi arbejder med AI i analyser, er ambitionen ikke blot at gøre kendte processer hurtigere. Ambitionen er også at forbedre kvaliteten og åbne for analyser, som tidligere var vanskelige eller umulige at gennemføre i praksis.  

Det kan være analyser, hvor store mængder tekst skal bearbejdes systematisk. Det kan være opgaver, hvor der er behov for mere konsistent kodning, bedre dokumentation af vurderinger eller nye måder at forbinde kvalitative og kvantitative indsigter på. Men potentialet bliver først reelt interessant, når output kan valideres og sættes ind i en metodisk ramme.  

Det er derfor, vi ser validering som en forudsætning og ikke blot et supplement for at bruge AI meningsfuldt. Ansvarlig brug af AI kræver metodisk kvalitetssikring, ikke bare gode prompts.  

Hvis AI skal bidrage til analyser, der kan bruges som grundlag for beslutninger, skal kvalitet, begrænsninger og anvendelighed kunne dokumenteres. Det kræver, at validering tænkes ind fra starten, tilpasses opgaven og gennemføres systematisk. Måske lidt kedeligt, men ret vigtigt.

 

……………………….

Om forfatterne 

Bag denne artikel står Allan Toft Hedegaard Knudsen, der leder Epinions Data Science & Analytics-hub, og hans to kollegaer Thomas Skaalum Bargisen og Simon Emil Simmelkjær Andersen. Teamet arbejder i krydsfeltet mellem “AI, analyse og rådgivning” med fokus på, hvordan analyse- og rådgivningsbranchen kan anvende særligt store sprogmodeller på nye måder: Hvordan vi kan bruge de bedste ting fra data science, computervidenskab og samfundsvidenskab sammen med ny teknologi indenfor AI. De fokuserer særligt på at anvende store sprogmodeller i interne arbejdsgange og i eksterne kundeleverancer – men altid med øje for, at kvaliteten ikke kompromitteres.