AI-assistenten gikk amok – fant opp regler og skremte bort brukerne

Det har gått fort for AI-selskapet Anysphere. Etter lanseringen av kodeskriveverktøyet Cursor i 2023, har programvaren rukket å bli så populær at selskapet har nådd 100 millioner dollar i årlig inntekt. Cursor ble hyllet som fremtiden for utviklere, og selskapet ble verdsatt til nær 100 milliarder kroner.

Men denne uken gikk det viralt av helt feil grunn.

AI-assistenten svarte feil – og fant opp en regel

Det hele startet da flere brukere av Cursor plutselig ble logget ut når de byttet enhet. Da de kontaktet kundeservice, fikk de svar fra en «ansatt» som kalte seg Sam – og som forklarte at dette var «forventet oppførsel» etter innføringen av en ny regel for innlogging.

Problemet? Det var aldri innført noen ny regel – og «Sam» var ingen ekte person. Det var en AI-bot som hadde funnet opp forklaringen helt på egen hånd.

Les også: Elbiler kan forurense mer enn diesel – men ikke fra eksosen

Brukerne følte seg lurt

Flere brukere reagerte sterkt og sa opp abonnementet sitt. Selskapets gründer, Michael Truell, måtte selv inn og forklare seg på Reddit. Der beklaget han og innrømmet at AI-assistenten hadde svart feil – og at det hele skyldtes en teknisk feil.

– Folk hater å bli lurt av en maskin

Reaksjonene lot ikke vente på seg. «Dette kunne vært unngått om ledelsen hadde skjønt én ting: AI gjør feil, og folk hater å bli lurt av en maskin som utgir seg for å være et menneske,» skrev AI-rådgiver Cassie Kozyrkov på LinkedIn.

Eksperter påpeker at mange bedrifter undervurderer risikoen ved å overlate kundeservice til kunstig intelligens. En AI kan virke troverdig, men når den bommer, gjør den det med stor selvtillit – og ofte uten at noen oppdager det med én gang.

– Det finnes ingen unnskyldning for slurvete forklaringer

Cursor retter seg mot teknisk avanserte brukere, som utviklere og gründere. Og her er det liten tålmodighet for unøyaktige svar. «Støtten var rett og slett frustrerende,» sa Melanie Warrick, medgründer av Fight Health Insurance, til Fortune. Hun fikk flere identiske, antakelig AI-genererte svar – uten at problemet hennes ble løst.

Et forvarsel om fremtidens AI-trøbbel

Ifølge Fortune er det ikke første gang dette skjer – og det blir neppe den siste. Flere selskaper, som Klarna og Air Canada, har måttet tåle storm etter at deres AI-assistenter ga ut feilinformasjon.