Chatbots lyver!

Feil og misrepresentasjon i AI-genererte svar

Selv om nyhetsmedier verden over en dag skulle inngå lisensavtaler med selskapene bak AI-verktøy som ChatGPT, Google Gemini eller Microsoft Copilot, vil innholdet deres likevel kunne bli misrepresentert eller feiltolket.

En undersøkelse utført av BBC viser at tjenester som Gemini, ChatGPT, Copilot og Perplexity gir feilinformasjon, selv når de har tilgang til faktasjekket og upartisk nyhetsinnhold.

Det skriver 3min.dk.

BBCs forskere testet AI-verktøyene ved å gi dem tilgang til BBC News-nettstedet og be dem svare på hundre spørsmål om nyhetene, med instruks om å bruke BBC-artikler som kilder.

Les mer: AI på vei inn i det offentlige

Resultatene var nedslående:

• 19 prosent av AI-svarene som siterte BBC-innhold, inneholdt faktiske feil, inkludert uriktige påstander, tall og datoer.
• 51 prosent av svarene hadde betydelige problemer, som uklarhet om hva som var mening og hva som var fakta, manglende kontekst, feilaktig representasjon av BBC-kilder eller påstander uten kildehenvisninger.
• 13 prosent av sitatene fra BBC-artikler var enten endret fra originalen eller ikke til stede i den siterte artikkelen.

Sannheten blir tilpasset

I en artikkel om butikktyveri hevdet Microsoft Copilot for eksempel at politiet over hele landet hadde begynt å samarbeide med private sikkerhetsfirmaer for å redusere butikktyveri. Ingen av de BBC-artiklene som ble sitert som kilde, nevnte private sikkerhetsfirmaer.

Deborah Turness, administrerende direktør for BBC News and Current Affairs, understreker i en blogg at AI har «uendelige muligheter», men at selskapene bak generativ AI «leker med ilden».

Google Gemini kom med en feilaktig uttalelse om at «NHS råder folk til ikke å begynne med e-sigaretter og anbefaler at røykere som ønsker å slutte, bør bruke andre metoder». Faktisk anbefaler NHS e-sigaretter som en metode for røykeslutt.

En Perplexity-generert respons om konflikten i Midtøsten påsto at Iran opprinnelig viste «tilbakeholdenhet» og beskrev Israels handlinger som «aggressive» med henvisning til en BBC-kilde. Den siterte BBC-artikkelen beskrev imidlertid ikke Iran eller Israels handlinger på denne måten, og ingen av de andre kildene i svaret støttet denne fremstillingen.

Les mer: Forsvaret forbyr bruk av AI-appen DeepSeek