Anthropic-sjefen vil ha uavhengige kontrollører inn i alle KI-selskaper

Dario Amodei leder Anthropic, selskapet bak språkmodellen Claude. I et essay denne måneden skriver han at KI-selskapene må sette ned farten. «Vi må senke tempoet vi gjør KI-modellene bedre i», skriver han.

Han har to grunner. Den første er at vi siden i sommer har begynt å bygge neste generasjon KI. Såkalt selvforbedrende KI. Den andre er hendelsen hos OpenAI, der en sverm av KI-agenter angrep mål ingen hadde bedt dem angripe, og brøt seg inn hos Hugging Face.

Ingen ble skadet. Men innen 6–12 måneder kan en mer kapabel sverm være i stand til å ta over hele internett, frykter Amodei.

Å bremse betyr ifølge ham ikke å stoppe. Selskapene skal fortsatt trene modeller, men bruke mer tid på å gjøre dem trygge.

Kontrollører på innsiden

Det første steget har Anthropic forpliktet seg til på egen hånd. Selskapet skal slippe inn et team av uavhengige kontrollører, for eksempel fra METR, en organisasjon som tester KI-modeller. På engelsk kaller han dem embedded evaluators.

De får skrivebord i Anthropics lokaler, adgangskort, jobb-PC og omtrent samme tilgang som selskapets egne risikoteam. De skal sjekke at selskapet gjør det det sier, melde fra om hendelser og vurdere ikke bare ferdige modeller, men også hvordan de trenes.

Funnene kan de publisere uten at Anthropic redigerer. Selskapet kan sladde forretningshemmeligheter og sikkerhetssensitiv informasjon, men ikke funn bare fordi de er ubehagelige.

Forbildet er bankene, der tilsynsfolk i noen tilfeller sitter sammen med de ansatte. Amodei vil at myndighetene skal kreve det samme av de andre KI-selskapene.

Fartsgrense for KI

Steg to er at KI-selskapene i demokratiske land blir enige om felles sikkerhetsstandarder. Det krever hjelp fra myndighetene, fordi konkurrenter ellers ikke lovlig kan avtale slikt seg imellom.

Steg tre er avtaler med Kina. Amodei skisserer fire nivåer. Det enkleste er et forbud mot å bruke KI til å lage biologiske våpen. Det vanskeligste er en full pause, som han selv ikke tror kommer med det første.

Midt imellom ligger en «fartsgrense» for hvor raskt KI kan forbedre seg selv. Han sammenligner den med SALT-avtalene, der USA og Sovjetunionen satte tak på antall atomraketter.

Vi har vært her før

At noen vil ha regler for ny teknologi, er ikke nytt. Men reglene har kommet på ulike måter.

Bilen: Reglene kom etter

Bilen kom først. Så kom veiene, fortauene og fartsgrensene. Norges første motorvognlov i 1912 satte grensen til 15 km/t i tettsteder og 35 km/t utenfor.

Fra 1971 måtte nye biler ha bilbelte. Fra 1975 ble det påbudt å bruke det i forsetet. Ikke alle likte det. VG trykket leserinnlegg med overskrifter som «Jeg bestemmer over mitt eget liv».

Jernbanen: Pioneren ba om regler

Jernbanepioneren George Stephenson var sjefingeniør på banen mellom Liverpool og Manchester, som åpnet i 1830. I 1841 skrev han til det britiske handelsdepartementet: «Jeg er helt sikker på at myndighetene må gripe inn. Kanskje burde jeg være den siste til å innrømme det, siden hele jernbanesystemet er kommet i stand ved min innsats.» Han foreslo fartsgrense, felles signaler og krav om bremser.

Sønnen hans, Robert Stephenson, laget planene for Norges første jernbane, mellom Christiania og Eidsvoll. Da britiske entreprenører i 1850 tilbød seg å bygge den, la de til «en electrisk Telegraph fra Yderpunkt til Yderpunkt». Stortinget kjøpte i 1851 en «Locomotiv-Jernbane med tilhørende electrisk Telegraph». En stortingsrepresentant mente telegrafen var «hensigtsløs» og burde strykes.

Flyet: Bransjen ba om det

I 1926 ba flyindustrien i USA om det samme. Den ville ha statlige regler. Bransjelederne mente flyet ikke kunne bli en god forretning uten statlige sikkerhetsstandarder, ifølge den amerikanske luftfartsmyndigheten FAA.

Resultatet ble Air Commerce Act i 1926. Staten fikk ansvar for sertifikat til flygere, godkjenning av fly og granskning av ulykker.

Baksiden

Regler kan også beskytte dem som allerede er inne. Tolv år etter flyloven kom en ny lov i USA. Etter den fikk ingen nye flyselskaper starte på de store rutene før markedet ble åpnet i 1978.

Den samme kritikken treffer Anthropic. David Sacks, som var Det hvite hus' KI-rådgiver fram til mars, har anklaget selskapet for å bruke frykt til å styre reguleringen, som vi skrev om i forrige uke. Amodei nevner det selv: Anthropic blir beskyldt for hype, dommedagstenkning og for å bruke regler til å stenge ute konkurrenter.

Planen hans skal også beskytte USAs forsprang. Han vil stanse salg av avanserte KI-brikker til Kina og slå ned på kinesiske selskaper som kopierer amerikanske modeller.

Onsdag skal Geoffrey Hinton orientere amerikanske senatorer om farene ved KI, i et lukket møte Bernie Sanders har invitert til. Ingen fra KI-selskapene skal tale.