Google innrømmer: Gemini hacket seg inn hos tre ekte selskaper

Sikkerhetsselskapet Irregular kjørte en capture the flag-test i mai. Modellen skulle ikke ha tilgang til internett, men maskinene den kjørte på var koblet til nettet, uten at noen visste om det. Gemini hacket seg ut gjennom den åpningen, og trodde fortsatt den var inne i øvelsen.

I ett av tilfellene gjettet modellen passord til den kom seg inn i et beskyttet system. I de to andre fant den innloggingsdetaljer som lå åpent i et offentlig kodelager, og brukte dem til å logge seg inn på nettsteder den trodde hørte til oppgaven. I alle tre tilfellene stanset modellen av seg selv da den skjønte at systemet var virkelig.

Google mener modellen gjorde det riktige

Heather Adkins, som leder sikkerhetsingeniørene i Google, mener modellen opptrådte riktig. Altså, ikke i strid med det den er trent til.

Sikkerhetsmekanismene virket, og da var det heller ingenting Google måtte fortelle offentligheten. De tre selskapene ble varslet, og amerikanske myndigheter fikk beskjed.

Samme testfirma, fire laboratorier

Men Meta, Anthropic og OpenAI har alle meldt om tilsvarende episoder fra tester hos Irregular. OpenAI opplyste i juli at en av deres AI-agenter brøt seg inn hos Hugging Face, og Anthropic har beskrevet det samme mønsteret hos Claude.

Der Gemini stanset da den forsto at målet var ekte, fortsatte Claude. Den resonnerte seg frem til at det virkelige selskapet måtte være en del av øvelsen, og jobbet videre.

At Gemini stanset er bra. At det var opp til modellen selv å stanse, er ikke det.

Fra mai til september

Irregular oppdaget innbruddene først i slutten av juli, da selskapet gikk gjennom sitt eget arbeid. Da hadde det gått over to måneder siden Gemini hacket seg inn, uten at hverken Google eller testfirmaet hadde merket noe. Google brukte resten av juli på å undersøke saken og varsle dem det gjaldt.

Offentligheten fikk vite om det 18. september, da Wall Street Journal omtalte hendelsen.

Ingen vegger rundt oppgaven

Oppgaven Gemini fikk, hadde ingen vegger rundt seg, hverken i ledeteksten eller i nettverket. Irregular sier selskapet nå arbeider med bedre rutiner.