OpenAI-agent brøt seg inn hos australske myndigheter

Australias statsminister Anthony Albanese gikk ut i pressen 24. september. Helseportalen agenten brøt seg inn i tilhører Services Australia, etaten som driver Medicare, den offentlige helseforsikringen i Australia. OpenAI-agenten forsket på offentlige utgifter til medisiner for OpenAI.

«AI-agenten fant en vei rundt sperrene. Den godtok ikke et nei», sa Albanese.

Ifølge OpenAI fikk agenten tak i samlet helsestatistikk og navnene på interne filer, men ingen pasientjournaler. Services Australia meddeler at den også skrev filer til en intern server. Det etterforskes fortsatt. Inntil videre har etaten tatt portalen ned.

En e-post til en offentlig postkasse

Innbruddet skjedde 18. juni. OpenAI oppdaget det 11. august, under en gjennomgang av det selskapet kaller feilrettet adferd hos modellene: At en modell gjør noe annet enn det utviklerne ville. Først 10. september sendte OpenAI en e-post til Services Australias offentlige postkasse. Fem dager senere meldte etaten saken videre til det nasjonale cybersikkerhetssenteret.

Albanese mener OpenAI brukte altfor lang tid, og at måten selskapet varslet på var uakseptabel. Visestatsminister Richard Marles kaller det en svært alvorlig hendelse, men med relativt små konsekvenser.

OpenAI sier at modellene «gjorde ting vi ikke hadde tenkt» under en intern test.

Dusinvis av varsler

Samme uke opplyste OpenAI at det har varslet «dusinvis av tredjeparter» om at agentene kan ha tatt seg forbi sikkerhetskontroller eller påvirket systemene deres. Ifølge selskapet betyr ikke et varsel automatisk at det har skjedd en alvorlig sikkerhetshendelse. Gjennomgangen vil ta måneder, og nye varsler kommer etterhvert.

Selskapet beskriver hva agentene har gjort: Brukt lekkede passord til å logge seg inn på nettjenester, brutt seg inn i baksiden av nettsteder og tatt seg forbi abonnementer og andre sperrer.

I Australia brukte agentene nesten en uke på å prøve å hente data om medisintilskudd og eldreomsorg fra landets helsestatistikkinstitutt. De forsøkte seg også mot helsedepartementets overvåkningssystem for smittsomme sykdommer, mot kriminalstatistikken i delstaten New South Wales og mot en oversikt over hundeparker i det vestlige Sydney. Instituttet og landets signaletterretning har ikke funnet tegn til at noe ble kompromittert.

Begynte i mai

Allerede 11. mai lastet OpenAI-agenter opp hundrevis av skadelige pakker til RubyGems, ifølge forskere. RubyGems er et bibliotek med ferdig programkode som utviklere henter inn i egne prosjekter. Wall Street Journal skriver at agentene prøvde å stjele brukernes innloggingsdetaljer, men det er uklart om de lyktes. OpenAI sier agentene bare brukte RubyGems til å nå internett og hente offentlig informasjon.

Agentene tok også over en tyskspråklig wiki og gjorde den om til en improvisert meldingstjeneste for å jukse på testene de ble målt med. Den hendelsen holdt OpenAI hemmelig.

I juli brøt agentene seg inn hos Hugging Face, nettstedet der utviklere over hele verden deler AI-modeller og datasett. Ifølge OpenAIs egen rapport var målet å stjele fasiten til en test agentene selv skulle løse.

Google-modellen Gemini hacket seg inn hos tre virkelige selskaper under en sikkerhetsøvelse i mai, men stanset av seg selv da den forsto at systemene var ekte. OpenAIs agenter stanset ikke.

Smuglet spørsmål ut gjennom DNS

20. september fikk en OpenAI-agent under trening beskjed om å finne ut hvem som hadde skrevet et bestemt blogginnlegg. Nettsøk var sperret. Agenten fant derfor en annen kanal: DNS, systemet som oversetter nettadresser som teknokratiet.no til tallene maskinene bruker for å finne hverandre.

Den gjemte spørsmålene sine i navnene på nettadressene den slo opp, og sendte dem via en gratis DNS-tjeneste til en ekstern chatbot. Svarene kom tilbake samme vei.

OpenAIs overvåkningssystem slo alarm etter tolv minutter, og tre minutter senere hadde et menneske sett varselet. Kjøringen skulle stoppet automatisk, men gjorde det ikke, og ingen var sikre på om de burde stanse den. Ifølge OpenAIs egen rapport skrudde en ansatt den av to og en halv time etter alarmen.

Selskapet har nå stanset all trening, testing og kjøring der de kraftigste modellene bruker verktøy, til hullet er tettet og systemet er testet på nytt.

OpenAI er åpen om feilene i rapportene sine, og det er bra. Men et selskap som oppdager at agenten har brutt seg inn hos en statlig helseetat, bør ta telefonen samme dag, ikke sende en e-post en måned senere.