850 forskere krever stans i utviklingen av superintelligens – er det allerede for sent?

1. En uvanlig allianse roper varsko

En global koalisjon av forskere, teknologieksperter og offentlige personer ber nå om et umiddelbart stopp i utviklingen av såkalt superintelligent AI. Budskapet er tydelig: Teknologien kan overgå menneskelig kontroll, og risikoen for misbruk og samfunnsmessige konsekvenser er for høy uten solide sikkerhetsmekanismer.

2. Hva betyr «superintelligens»?

Superintelligens beskriver AI-systemer som ikke bare matcher menneskelig intelligens i spesifikke oppgaver, men som potensielt kan overgå oss på tvers av alle kognitive områder. Det handler ikke bare om større datamengder, men om systemer som kan sette egne mål, optimalisere seg selv og handle autonomt i verden.

3. Derfor kommer kravet nå

Utviklingen innen generativ AI, autonome agenter og enorme datasentre har eksplodert. De neste generasjonene av AI forventes å bli langt mer kapable – og samtidig vanskeligere å forutsi og kontrollere. Koalisjonen mener at kappløpet mellom teknologigigantene øker risikoen for uopprettelige feil.

4. De største bekymringene

Forskerne peker på tre hovedfarer: tap av menneskelig kontroll, svekkelse av frihet og demokratiske institusjoner, og økt sårbarhet i sikkerhet og økonomi. Kombinasjonen av manipulasjon, automatisert hacking og økonomisk makt kan skape destabilisering i hele samfunn.

5. Hva de faktisk ber om

Erklæringen oppfordrer til et midlertidig forbud mot å skape eller trene superintelligente systemer inntil det finnes offentlig støtte og vitenskapelig konsensus om at slike systemer kan kontrolleres sikkert. Forskerne etterlyser bindende regler, uavhengige revisjoner og muligheten til å stanse utviklingen ved behov.

6. Motargumentene – og svaret

Kritikere hevder at et forbud vil hemme innovasjon og svekke Vesten i den teknologiske konkurransen. Tilhengerne svarer at det ikke handler om å stoppe nyttig AI, men om å kontrollere tempoet og unngå et kappløp mot bunnen. «Det handler ikke om frykt – det handler om ansvar», som Yoshua Bengio uttrykte det.

7. Hva betyr dette for Norden?

I Norge, Sverige og Danmark øker presset for klare nasjonale rammer for AI. Forslag inkluderer lisensiering av store treningsmodeller, åpenhet om data og energibruk, samt krav om «nødknapp» og forsikringsordninger ved feil. Offentlige institusjoner kan gå foran med ansvarlige standarder.

8. Hva skjer nå?

Spørsmålet er ikke lenger bare teknologisk, men politisk: Skal superintelligens i det hele tatt skapes? Hvis ja – under hvilke betingelser, og med hvilke garantier? Tiden for regulering er nå. Når først systemene lærer å forbedre seg selv, kan det være for sent å trekke i nødbremsen.