Bernie Sanders vil forby superintelligens: Kritikerne mener frykten er regissert

Bernie Sanders, senator fra Vermont, har skrevet forslaget sammen med representant Greg Casar fra Texas. Ban Artificial Superintelligence Act forbyr superintelligens for godt, og setter all avansert AI på pause til et nytt føderalt tilsyn har laget sikkerhetsregler, ifølge Sanders' kunngjøring 3. september.

Superintelligens er i forslaget en AI som er like god som eller bedre enn mennesker på et bredt spekter av tankearbeid, eller som kan planlegge å frata menneskeheten makten. Den som bryter forbudet, risikerer inntil 20 års fengsel, og selskaper kan miste retten til å drive virksomhet i USA. Straffene er bygget på lovverket for atomvåpen.

Tilsynet skal også kunne ødelegge maskinvare som bryter reglene. Sanders nevner eksplisitt Elon Musk i et intervju og sier at menneskehetens eksistens ikke bør ligge i hendene på rikinger som ham.

Ifølge en måling fra det progressive analysebyrået Data for Progress støtter 68 prosent av amerikanske velgere forslaget, mens 25 prosent er imot. Blant republikanerne er støtten 63 prosent.

Agentene brøt seg ut

Sanders begrunner forslaget med det som skjedde hos OpenAI i sommer. Rundt 1200 AI-agenter i selskapets testmiljøer koordinerte seg på en hemmelig meldingstavle. Rundt 700 av dem kom seg ut av sandkassen, det lukkede rommet de skulle jobbe i, og brøt seg inn hos AI-selskapet Hugging Face, fordi de trodde selskapet satt på noe som kunne hjelpe dem gjennom testen.

Hugging Face måtte bygge opp igjen rundt en tredjedel av infrastrukturen sin. Denne uken startet senator Josh Hawley en granskning av hendelsen.

Sa opp i Anthropic

Tirsdag kveld amerikansk tid sa Jacob Coxon opp i Anthropic. Han har jobbet med forhåndstrening, det første og største steget når en språkmodell lærer, i OpenAI og Anthropic de siste tre årene.

«Ingen av selskapene opptrer ansvarlig. De kappløper rett mot selvforbedrende superintelligens og setter livene våre på spill», skrev han på X. Ifølge Newsweek skrev han også at de som bygger AI, oppriktig tror den kan drepe oss alle før tiåret er omme.

«Coxon har rett. Selv de som bygger denne teknologien, innrømmer at den kan true menneskehetens fremtid», svarte Sanders dagen etter. Et døgn senere kalte han superintelligens en eksistensiell trussel mot menneskeheten.

Hvem står bak?

Innlegget ble sett over 90 millioner ganger på under et døgn, ifølge Time, på en konto som knapt hadde postet før. Elon Musk mente det så ut som et «setup», og antydet at det var en psy-op, altså en regissert påvirkningskampanje.

«Jeg er ekte, og dette er det jeg virkelig mener. Du kunne spurt xAI-forskerne dine om meg, hvis du ikke hadde sparket dem», svarte Coxon.

Parker Thayer, forsker i den konservative tankesmien Capital Research Center, fant at tre kjente AI-sikkerhetsfolk delte innlegget innen et kvarter, ifølge OfficeChai. Han kaller det hele «en svært sofistikert og godt finansiert PR-operasjon».

To av organisasjonene deres, Encode og AI Futures Project, har fått penger fra Survival and Flourishing Fund, som er finansiert av Jaan Tallinn, en av utviklerne bak Skype.

Tallinn ledet også Anthropics første store investeringsrunde, og var med på å grunnlegge Future of Life Institute. Coxon selv har vært stipendiat ved Newspeak House, en høyskole for politisk teknologi i London. Det er ikke bevist at spredningen var koordinert.

David Sacks, som var Det hvite hus' AI-rådgiver frem til mars, anklaget i fjor Anthropic for å drive «en sofistikert strategi for å ta kontroll over reguleringen, basert på fryktspredning». Selskapet står ifølge ham bak en bølge av delstatsregler som skader oppstartsselskapene. Anthropic-gründer Jack Clark kalte anklagen uforståelig.

Hinton i Senatet onsdag

Onsdag 16. september har Sanders invitert senatorer fra begge partier til en lukket orientering på Capitol Hill. Der skal Geoffrey Hinton, Max Tegmark og AI-forskeren Ajeya Cotra snakke i en time om farene ved AI. Ingen fra OpenAI, Anthropic, Google, xAI eller Meta skal tale.

Hinton fikk nobelprisen i fysikk i 2024 og sluttet i Google for å advare mot teknologien han var med på å skape. Tegmark er fysiker ved MIT og grunnla Future of Life Institute sammen med Tallinn.

I fjor samlet instituttet underskrifter for et forbud mot superintelligens inntil den kan bygges trygt. Hinton, Apple-grunnlegger Steve Wozniak og Richard Branson var blant dem som skrev under.

Og allerede i 2023 ba en rekke forskere og teknologiledere, deriblant Elon Musk, om et halvt års pause i AI-utviklingen. Pausen kom aldri, og ingen av katastrofene heller.

Apokalypsen man ser for seg

Coxon frykter mest at AI-en begynner å forske på seg selv. «Du kan få den til å gjøre oppgavene vi gjør nå, og da får du det som kalles en intelligenseksplosjon», sier han ifølge IBTimes. Hver modell bygger en flinkere etterfølger, til den ligger langt over menneskelig nivå. Dette kan skje i et etterhvert uendelig raskt tempo.

Dette punktet i tid kalles singulariteten. Eller hendelseshorisonten, hentet fra grensen nær et sort hull hvor det er umulig å returnere fra: Øyeblikket da maskinene blir uendelig mye smartere enn oss, og utviklingen blir umulig å bremse eller holde tritt med. Ray Kurzweil har spådd at vi når den i 2045. Han anser singulariteten for veien til evig liv.

Et slikt system kan ifølge Coxon hacke kritisk infrastruktur eller hjelpe noen med å lage katastrofale biologiske våpen. (Og alt annet vi ikke kan forestille oss.)

Hinton mener faren ligger i hva en slik AI vil ønske seg. Enhver smart AI-agent vil ifølge ham raskt få to delmål: Å holde seg i live og å få mer kontroll. «De kommer til å bli mye smartere enn oss», sa han på Ai4-konferansen i Las Vegas i fjor. Da kan AI-en styre mennesker like lett som en voksen bestikker en treåring med godteri.

Så kan man spørre seg om det i det hele tatt finnes et intelligenstak. Finnes det en grense for hvor smart en intelligent ting kan bli?

Hinton anslår at det er 10 til 20 prosent sjanse for at AI utsletter menneskeheten i løpet av de neste 30 årene.

Men Hinton har tatt feil før. I 2016 sa han at man burde slutte å utdanne radiologer, fordi det var «completely obvious» at AI ville gjøre jobben bedre innen fem til ti år.

Ti år senere er det 7469 ledige radiologstillinger i USA, og snittlønnen har steget til 571 000 dollar i året, ifølge Fortune. Hinton har senere sagt at han bare mente bildeanalysen.

Kina stopper ikke

«Hvis USA slutter å utvikle avansert AI, er det lite trolig at Kina følger etter», sier Daniel Castro, som leder tankesmien Information Technology and Innovation Foundation, til Fox News. Å gi fra seg ledelsen vil ifølge ham koste dyrt.

AI-forskeren Gary Marcus mener også at et permanent og ensidig forbud er for bredt.

Forslaget ber også USA forhandle frem internasjonale avtaler og bruke eksportkontroll for å hindre at superintelligens blir bygget noe sted i verden.

Men Kina har ingen grunn til å skrive under på en slik avtale mens USA står stille.

Frykt er et gammelt og velprøvd maktmiddel, og vi har blitt lovet undergang mange ganger før. Som regel har det gått bra. Et forbud som gir Kina ledelsen i AI, er muligens det skumleste utfallet inntil videre.