«99 prosent av trafikken min er bots»: Nettstedeier viser hva AI-crawlerne koster det åpne nettet

For hver ekte sidevisning på nettstedet PatronView i én bestemt uke, hentet automatiserte roboter 214 sider. Til sammen serverte serveren over 1,28 millioner sidevisninger til bots, mens bare 5.977 kom fra reelle brukere.

Tallene stammer fra grunnleggeren Nick Gray, som la ut analysen på egen blogg 7. august 2026. PatronView er en amerikansk forskningsdatabase over donorer til museer og kulturinstitusjoner, bygget opp av rundt 1,5 millioner sider hentet fra skatteskjemaer, donortavler og årsrapporter. Etter 18 måneder med logging konkluderte Gray med at over 99 prosent av trafikken kom fra maskiner, ifølge PPC Land som har gjennomgått publiseringen.

Én bot hentet 420.000 sider, sendte 12 lesere tilbake

De verste synderne var AI-selskapenes egne søkeroboter. Anthropics Claude-SearchBot hentet 420.680 sider på én uke og sendte 12 brukere til nettstedet i retur. Amazons Amzn-SearchBot, som mater både handleassistenten Rufus og Alexa, banket på med rundt 117.000 sidevisninger daglig, uten å sende noen som helst tilbake.

Båndbredden ble slukt tilsvarende. Claude-SearchBot lastet ned 4,63 gigabyte fra serveren, mens de refererte menneskene til sammen brukte 175 kilobyte.

Les også: Hackere utnytter Windows-feil aktivt akkurat nå: Installer oppdateringen innen tre dager

Cloudflare bekrefter mønsteret bransjebredt

Grays private opplevelse er langt fra unik. Cloudflare Radar dokumenterte i juni 2026 at automatiserte forespørsler for første gang oversteg trafikken fra mennesker og utgjorde 57,5 prosent av HTML-trafikken på nettet, skriver Nobori med henvisning til Cloudflares egne målinger.

Samme rapport rangerer AI-selskapenes forhold mellom sider hentet og brukere sendt tilbake. Anthropic lå i juni på rundt 4.580 til 1, OpenAI på 848 til 1 og Perplexity på 186 til 1. Til sammenligning gir Google rundt én referert bruker per fem crawlerforespørsler, fordi søkemotoren tradisjonelt sender folk videre til kilden.

Angrepsbølge fra Kina og en brannmur i konstant kamp

Gray har brukt måneder på å bygge forsvar. Ni ulike regler i webapplikasjons-brannmuren Cloudflare fanger opp navngitte crawlere, blokkerer hele land og utfordrer besøk fra kjente datasenter-nettverk. I løpet av et 48-timers testvindu ble 106.437 forespørsler møtt med en utfordring, og bare 252 ble løst, altså 0,24 prosent.

Trafikken har også en geopolitisk dimensjon. 22. april 2026 traff 3,6 millioner forespørsler nettstedet på ett døgn, fordelt på 361.844 unike IP-adresser med hovedvekt i Kina. Cloudflares automatiske utfordring absorberte 1,18 millioner forsøk i løpet av ti timer, og Gray svarte med å blokkere Kina, Vietnam og Singapore på nettverkskanten.

Les også: Verdens største elektriske fly lettet for første gang: Strømregningen ble under 50 kroner

Regningen alle betaler

For små driftere som PatronView har regningen vært konkret. Den ordinære infrastrukturkostnaden på rundt 90 dollar (cirka 970 kroner) i måneden kan stige med 500 prosent under kraftige crawler-bølger.

Konsekvensen rammer bredere enn ett nettsted. Når AI-crawlere høster innhold uten å sende lesere tilbake, forsvinner både annonsegrunnlaget og motivasjonen for å publisere. Grays viktigste tekniske lærdom er å se på serverlogger, ikke på JavaScript-baserte besøksstatistikker: bots kjører sjelden JavaScript, og skjules dermed i vanlige analyseverktøy.

Les også: David Beckham ga bort elektrisk Jaguar fra 1954 som bryllupsgave: Prislapp over fem millioner kroner