nyhet
AI bedömer vetenskaplig reproducerbarhet automatiskt – ny studie väcker hopp om skalbar kvalitetskontroll
Forskare har visat att stora språkmodeller (LLM) kan automatisera bedömningar av om studier inom samhälls- och beteendevetenskap går att reproducera – ett potentiellt genombrott för skalbar vetenskaplig granskning.
Vad har hänt
En ny studie publicerad på arXiv den 16 juni 2026 beskriver hur forskare systematiskt testat LLM:ers förmåga att automatiskt bedöma reproducerbarheten hos publicerade studier inom samhälls- och beteendevetenskap. Projektet har använt sig av etablerade reproducerbarhetsdatasätt – däribland resultat från det välkända Reproducibility Project – för att utvärdera hur väl AI-modellerna stämmer överens med mänskliga expertbedömningar. Modellerna ombads analysera studiers metodik, statistik och slutsatser för att förutsäga om ett fynd sannolikt håller vid oberoende replikation. Resultaten visar att LLM:erna presterade över slumpmässig nivå och i flera fall nådde en precision jämförbar med specialiserade mänskliga granskare, dock med variationer beroende på studietyp och ämnesdomän. Studien specificerar inte ett enskilt forskarnamn som huvudansvarig i den tillgängliga informationen, men arbetet placerar sig i en växande forskningstrend där AI används som komplement till traditionell peer review.
Vad det betyder
Reproducerbarhetskrisen inom samhälls- och beteendevetenskap är välkänd: ett stort antal publicerade studier har visat sig svåra eller omöjliga att replikera, vilket underminerar tilltron till hela forskningsfält. Manuell granskning är kostsam och tidskrävande, och kapaciteten hos vetenskapliga tidskrifter räcker inte till för att hantera den växande volymen av ny forskning. Om LLM-baserad automatisering kan skalas upp erbjuder det ett verktyg för tidskriftsredaktioner, finansiärer och forskningsinstitutioner att prioritera granskningsresurser mer effektivt. Samtidigt väcker resultaten frågor om transparens och ansvar: vem ansvarar när en AI-modell felbedömer en studies kvalitet? Europeiska kommissionen har i sin AI-förordning (AI Act), som trädde i full kraft 2025, ställt krav på transparens i högriskapplikationer, och vetenskaplig granskning kan på sikt falla inom detta regelverk. Studien är ett tidigt steg, men signalerar att AI-stödd kvalitetskontroll av forskning kan gå från experiment till praktik inom de närmaste åren.