AI-robotter overbelaster Wikipedias servere

Wikimedia Foundation har slået alarm over det stigende pres på deres servere på grund af automatiserede bots, der skraber data for at træne kunstige intelligensmodeller.

Fonden rapporterede for nylig i et indlæg, at maskin-genereret trafik fortsat vokser med en hidtil uset hastighed, mens mennesker kun udgør en lille del af denne trafik.

“Siden januar 2024 har vi set båndbredden, der bruges til at downloade multimedieindhold, vokse med 50%,” udtaler indlægget.

“Denne stigning kommer ikke fra menneskelige læsere, men hovedsageligt fra automatiserede programmer, der skraber Wikimedia Commons billedkatalog af åbent licenserede billeder for at fodre billeder til AI-modeller,” tilføjede indlægget.

Bots kendt som crawlers stjæler store mængder data fra Wikimedia’s projekter, herunder Wikipedia og Wikimedia Commons, uden korrekt kredit eller offentlige adgangsværktøjer. Processen gør det svært for nye brugere at opdage Wikimedia og lægger et overdrevent pres på deres tekniske systemer.

For eksempel bemærker indlægget, at Jimmy Carters Wikipedia-side modtog mere end 2,8 millioner visninger den dag, han døde i december 2024. Videoen fra 1980-debatten forårsagede en betydelig stigning i webtrafikken. En video af hans debat i 1980 forårsagede også en trafikspids. Wikimedia håndterede det – men kun lige nøjagtigt. Det egentlige problem ifølge ingeniørerne er den kontinuerlige strøm af bottrafik.

“65% af vores dyreste trafik kommer fra bots,” skrev fonden. Bots “bulk læser” indhold, især mindre populære sider, hvilket udløser dyre anmodninger til Wikimedias kerne datacentre.

Selvom Wikimedias indhold er gratis at bruge, er deres servere det ikke. “Vores indhold er gratis, vores infrastruktur er ikke,” sagde fonden. Teamet fortsætter med at udvikle metoder til at fremme “ansvarlig brug af infrastrukturen” ved at opfordre udviklere til at bruge API’en i stedet for at skrabe hele webstedet.

Problemet påvirker Wikimedia såvel som utallige andre hjemmesider og udgivere . Men for verdens største åbne videnplatform truer det stabiliteten af de tjenester, millioner er afhængige af.