Surveyeksperimenter: Hvad koster kausalitet?

I den samfundsmetodiske værktøjskasse står surveyeksperimentet frem som en kosteffektiv metode til at opnå generaliserbar kausal indsigt. 

Hvor meget vil en lavere kilopris øge kundernes købetrang? Kan vælgernes holdning til et emne vejledes med en skarp vinkling? Hvilke faktorer påvirker unges uddannelsesvalg? Kort sagt: Hvad påvirker hvad? 

Denne type spørgsmål kan besvares ved tilfældigt at tildele surveyrespondenter stimuli – f.eks. forskellige prispunkter, vinklinger eller uddannelsesinformation – og så sammenligne besvarelserne mellem respondenter, der fik forskellige stimuli. 

Historisk har de randomiserede eksperimenter især været brugt klinisk, hvor deltagere møder fysisk op og tildeles f.eks. medicin. Også i psykologien har eksperimenter med fysisk fremmøde i kontrollerede miljøer været anvendt bredt til at belyse menneskelig adfærd. Men mens disse laboratorieeksperimenter er dyre at gennemføre og tidskrævende at planlægge, kan både randomisering af nogle stimuli og måling af nogle outcomes nemt og billigt gennemføres i et spørgeskema. Og ved at lade en repræsentativ stikprøve besvare skemaet, kan eksperimentets resultater infereres bredt til f.eks. hele vælgerbefolkningen.  

Surveyeksperimenter er derfor blevet en vigtig komponent i den jagt på valide årsagssammenhænge, som har kendetegnet den empiriske samfundsvidenskab det sidste årti. Det skyldes særligt, at surveyeksperimenter er overskuelige at udtænke og kræver mindre kompleks statistisk analyse bagefter. Men netop fordi metoden er så intuitiv, gemmer den også på en række faldgruber, hvis man ikke ser sig for! Derfor stræber vi hos Epinion efter at rådgive vores kunder til de bedste beslutninger om fornuftig anvendelse af surveyeksperimenter. 

 

Vores tre anbefalinger ift. surveyeksperimenter 

1. Gennemtænk dit surveyeksperiments generaliserbarhed 
Surveyeksperimenters eksterne validitet, dvs. generaliserbarhed til en bredere målgruppe end stikprøven, er sjældent udfordret. For det første fordi stikprøven relativt nemt kan indsamles til at afspejle målgruppen, og for det andet fordi langt de fleste surveyeksperimentelle effekter har vist sig at gælde på tværs af langt de fleste målgrupper. Vigtigere synes det derimod at overveje eksperimentets hverdagsrealisme, dvs. om éns stimuli lader sig generalisere til det virkelige fænomen, vi undersøger. Hvis vi skal undersøge effekten af en nyhedsartikel, så skal den tekst, vi viser respondenten, layoutes til at ligne en nyhedsartikel. Med billede, byline og det hele.
Derudover er det vigtigt at overveje, hvor snævert ens stimuli er. Hvis vi f.eks. vil undersøge vinkling af nyhedsartiklers påvirkning af politiske holdninger, så er det mere interessant at udtale sig om nyheder og politiske emner bredt set end én særegen artikels påvirkning af ét særegent politisk emne. Hvor simple surveyeksperimenter måske varierer én tekstbid mellem to forskellige artikler om ét emne, forsøger nye surveyeksperimenter derfor at variere mellem 20 eller 30 artikeltyper og emner. Dette betyder selvsagt mere arbejde med at opstille eksperimentet og producere stimuli – men meget af dette arbejde er med store sprogmodeller blevet markant nemmere, end det nogensinde har været.

2. Planlæg dig til mere intern validitet
Det er essentielt for surveyeksperimenters udsagnskraft, at vi på forhånd har besluttet os for så meget som overhovedet muligt:

• Hvilken outcome-variabel vil vi sammenligne mellem de eksperimentelle grupper?
• Hvilken statistisk test vil vi lave for at validere vores resultater?
• Skal vi sandsynliggøre, at respondenterne rent faktisk modtog vores stimuli – f.eks. ved at bede dem svare på et faktuelt spørgsmål om det stimuli, de blev tildelt (et såkaldt manipulationstjek)?
• Hvor mange respondenter skal vi bruge, for at finde den effekt, vi regner med?
• Er der andre måder, vi kan øge den statistiske udsagnskraft? F.eks. ved at blokere vores randomisering efter sociodemografiske variable, gennemføre eksperimentet med både en præ-test og en post-test eller bare gentage vores eksperiment, så hver respondent måske skal læse flere forskellige artikler og svare på spørgsmål om disse flere forskellige gange (en metode særligt udbredt i f.eks. conjoint-eksperimenter).

Ved at planlægge disse ting – og ikke mindst ved at notere planen i en præregistrering – kan vi fjerne nogle af de frihedsgrader, der potentielt kan føre til efterrationaliseret misbrug af de eksperimentelle data. 

3. Simulér dig til sikkerhed
Endelig anbefaler vi, at man altid tjekker sit surveyeksperimentelle setup med en simulation, inden undersøgelsen går i gang. Ved at få en computergenereret besvarelse til tilfældigt at klikke sig igennem skemaet, kan man tjekke, at alle aktiveringer, randomiseringer og fordelinger opfører sig, som man forventer. Det kan man i princippet også med en pilottest, men fordelen ved disse simulerede data er, at man som analytiker holder sig helt i skyggen, indtil man ser resultatet af sit eksperiment. Herved undgår man at tilpasse sin analyse til de resultater, der efter piloten ser mest lovende ud.  

……………

Kilder

• Coppock, Alexander. Persuasion in parallel: How information changes minds about politics. University of Chicago Press, 2023. 

• Skytte, Rasmus. “The Effect of Party Cues in Real News.” American Journal of Political Science (2024).