AI-overvåkning feilet: Klarinetten førte til full alarm

Et AI-basert våpengjenkjenningssystem gikk nylig helt i stå da det forvekslet en elevs klarinett med et skytevåpen. Feilvurderingen førte til at en hel skole ble satt i umiddelbar lockdown, uten at det på noe tidspunkt fantes en reell trussel. Hendelsen har igjen reist spørsmål om hvor pålitelig denne typen overvåkning faktisk er.

AI trodde musikkinstrument var våpen

Det automatiserte overvåkningssystemet analyserte livebilder fra skolens kameraer og tolket instrumentet eleven bar som et håndvåpen. Alerten ble sendt videre til operatørene som skal kvalitetssikre funnene før politi varsles, men også denne kontrollen sviktet. Resultatet ble at skolens sikkerhetsrutiner ble utløst på sekundet.

Skoleledelsen bekreftet senere at det aldri hadde vært noen fare, og at situasjonen skyldtes en teknologisk feiltolkning av et helt ufarlig objekt.

Overvåkning med våpengjenkjenning øker

Den aktuelle sikkerhetsplattformen, levert av et kommersielt selskap, er trent på tusenvis av bilder av forskjellige våpentyper. Systemet markedsføres som et preventivt tiltak som skal oppdage trusler raskere og sende varsler videre til menneskelige operatører for verifisering. Hvor nøyaktig teknologien faktisk er, finnes det imidlertid lite offentlig dokumentasjon på.

Det er heller ikke kjent hvor mange ganger systemet har gitt falske alarmer eller om det har forhindret reelle hendelser.

Eksperter etterlyser mer åpenhet

Teknologieksperter mener episoden tydelig illustrerer svakhetene ved AI-basert trusselgjenkjenning. Halvskjulte gjenstander, uvanlige vinkler og objektlikheter kan føre til feil selv i avanserte modeller. Kritikken dreier seg særlig om:

• mangel på dokumenterte treffsikkerhetstall
• mangelfull uavhengig testing
• risikoen for unødvendige og stressende lockdowns
• svikt i menneskelig etterkontroll

Flere stiller spørsmål ved om systemene gir reell trygghet, eller bare en følelse av det.

Falske alarmer skaper usikkerhet

Personvern- og sikkerhetsforskere advarer om at hyppige falske alarmer kan skape det som kalles “alarmtretthet”. Når elever og ansatte stadig opplever lockdowns uten grunn, kan den reelle beredskapen svekkes. I tillegg kan stressnivået blant elever øke, særlig blant yngre grupper.

Er teknologien egentlig moden nok?

AI-direktet våpengjenkjenning blir stadig mer utbredt, men hendelsen synliggjør at teknologien fortsatt har betydelige svakheter. Under realistiske forhold kan systemene feilvurdere hverdagslige gjenstander og utløse fullskala nødprosedyrer.