Alt det, du ikke skal gøre, når du bruger sprogmodeller

Sprogmodeller læser interviews fra dit feltarbejde, skaber overblik over observationsnoter, spotter mønstre på tværs af data og formulerer pointer i et lokkende højt tempo.

Men de kan også gøre præcis det modsatte: forstyrre, fordreje og forfladige analysen. Og det er endda svært at vide hvornår. I hvert fald hvis vores brug af sprogmodeller ikke bunder i solide faglige refleksioner. 

Som menneske tilskriver vi menneskelig adfærd og træk til alle mulige og umulige genstande og væsener. Biler har ”ansigter”, dyr kan være ”søde” og AI kan ”skrive, skabe og analysere”. 

Men i sidste ende er outputtet fra sprogmodellerne et logisk udfald af en automatisk maskinel proces. Er man ligeglad og vurderer, at begreber som unik menneskelig kontekstforståelse og -sansning samt analytisk træning og sensibilitet er overflødigt, så læs videre. 

For modsat min tidligere blog er dette en guide til jer, der ønsker at fare vild og skabe meningsfattigt fyld i jeres arbejde med at bedrive kvalitativ research.  

 

1. Lad AI definere analysen, sandheden, empirien og arbejdsmetoden for dig

Start med at overlade valg af undersøgelsesmetoder og -design til din sprogmodel, for derefter at få den til at generere en spørgeguide.  

Efter endt feltarbejde, skal du hurtigst muligt få sprogmodellen til at generere en tematisk analyse og en færdig tekst om indsigterne. Her er det vigtigt, at du fastholder overfor dig selv, at denne tekst er fyldestgørende og værdiskabende for dit projekts formål. Alt er jo under kontrol – ikk?

Uanset om pointerne faktisk har hold i empirien, så lyder svarene så selvsikre, at det føles forkert at tvivle på dem. Og skulle modellen opfinde et par mønstre, sammenhænge eller citater, der ikke fremgår af dine interview, så er det trods alt stadig velskrevet og giver semantisk god mening. Er det ikke det vigtigste? 

Bonustip: Hvis du undlader at give modellen en faglig ramme eller strukturerende prompts (se forrige blog), bliver analysen ekstra kreativ.  

Og for at fuldende opskriften på den uansvarlige research-proces: Drop fælles prompting-standarder og retningslinjer for anvendelse af AI i din organisation. Jo flere forskellige prompting-stile, ustrukturerede input og individuelle arbejdsgange, jo bedre. Så bliver det næsten umuligt at reproducere eller forstå, hvordan AI overhovedet er nået frem til sine indsigter. Hvem gider rygdækning? 

Kort sagt: Lader du AI styre metode, empiri og dømmekraft, får du flotte resultater – men ikke nødvendigvis rigtige. 

 

2. Context is king – og forskellen på genererende og verificerende brug 

Det er vigtigt at være bevidst om, om du anvender sprogmodellen til at generere tekst, eller du søger at verificere din analyse. Et essentielt begreb er i denne sammenhæng: kontekst. 

I de tidlige 2010’eres Tumblr tider sagde man, at “Content is King.”
I sprogmodellernes tidsalder er det blevet til “Context is King.” Det betyder i praksis, at sprogmodeller skal have en grundig indføring i projektets kontekst for at kunne lykkes med at generere og verificere dit analysearbejde. 

Den genererende rolle:  

Når modellen arbejder genererende, skal du tænke på den som en analytisk medforfatter, der bl.a. kan: 

• foreslå temaer, kategorier og segmenter 
• generere opsummeringer, teori-ideer eller begreber 
• formulere brugerfortællinger, metaforer eller perspektiver 
• skabe overblik i store mængder ustrukturerede data 

Den genererende rolle fungerer bedst tidligt i processen, hvor du stadig er åben og undersøgende. Her kan modellen hjælpe dig med at få øje på ting, du (endnu) ikke har ord for – præcis som dygtige analytikere også kan, men med en betydeligt større tekstmængde i spil. 

Men generering kræver stadig kontekst. Uden, foreslår modellen temaer ud fra sin generelle viden. Og da du er specialisten, må du se at komme til tasterne! 

Den verificerende rolle:  

Når modellen arbejder verificerende, vurderer den, om din tolkning rent sprogligt og tematisk ligner det materiale, du har givet den. Det er afgørende at forstå. For AI kan ikke verificere i klassisk metodisk forstand. Den sammenligner sprog, ikke sandhed. Den arbejder kort sagt med semantiske betydningsmønstre, ikke facit. Det betyder, at når du bruger AI for at verificere, så får du: 

• et semantisk spejl, der viser, om din læsning ligner datasprog 
• en anden perspektivering på dine egne tolkninger 
• en mulighed for at opdage mønstre eller nuancer, du måske har overset 

Her er det vigtigt at nuancere:
AI’s måde at verificere på ligger faktisk tættere på menneskelig analyse, end man ofte tror. Når vi selv læser og kategoriserer tekster, arbejder vi også med betydningsmønstre, intuition og sproglig lighed. Vi kan være uenige med hinanden, overse noget i materialet – eller kategorisere forskelligt. Og på flere områder viser forskning, at stærke sprogmodeller kan være lige så gode – eller endda bedre – end mennesker til visse typer tekstkategorisering. Men de gør det stadig statistisk, ikke metodisk. 

Og her ligger forskellen:
AI kan spejle vores analyse – men ikke erstatte den.

 

3. Ignorér GDPR, datasikkerhed og kundens fortrolighed

Hvis du gerne vil gøre dit arbejde både let og ekstremt risikabelt, kan du frit indsætte personfølsomme interviews i åbne AI-modeller. Det er hurtigt, nemt – og fuldstændig uforeneligt med god dataetik. 

Antag, at alle platforme håndterer data på samme måde. Antag, at alt er sikkert, bare fordi det er populært. Antag, at ingen tredjeparter får adgang. Antag at din kunde er ligeglad med forretningskritiske informationer, og at din organisations ry og rygte sagtens kan overleve et datalæk. 

 

Afslutning: En god og forstående ping-pong makker  

Okay, slut med sarkasme. I Epinion er ovenstående præcis derfor, vi arbejder med en lukket, GDPR-sikker model. For datasikkerhed er ikke en eftertanke. Det er fundamentet.  

Sprogmodeller er ikke en genvej til dybe analyser og meningsgivende indsigter. De kan derimod være en genvej til bedre spørgsmål og et udvidet overblik, hvis man som analytiker har sat sig grundigt ind i projektets kontekst, problemstilling og formål. Den form for forståelse kræver et højere niveau af dømmekraft, kontekstfornemmelse og nysgerrighed, som er værd at være opmærksom på. 

Så prompt dig endelig frem – og brug sprogmodellen dér, hvor den skaber værdi. 

Har du idéer, erfaringer eller spørgsmål om AI i kvalitative analyser? Så er du som altid velkommen til at række ud. 

Kasper Wejse
MANAGER
kawe@epinionglobal.com