DeepMinds egen AI-ekspert: Kunstig intelligens kan aldri skape vitenskapelige gjennombrudd

Tom Zahavy leder Discovery-teamet i Google DeepMind og står bak AlphaProof, som sammen med AlphaGeometry 2 løste fire av seks oppgaver i den internasjonale matematikkolympiaden IMO i 2024 og fikk sølvmedalje.

På ICML-konferansen i juli la han frem et notat som stiller ett enkelt spørsmål: Kunne en moderne kunstig intelligens, utstyrt med nøyaktig den kunnskapen Albert Einstein hadde, funnet opp den generelle relativitetsteorien?

Nei, sier Zahavy, og det sier noe generelt om vitenskapelige gjennombrudd.

Et brev til en gammel venn

Notatet heter «LLMs can't jump» og tar utgangspunkt i en tegning Einstein laget i et brev til vennen Maurice Solovine.

Oppdagelse går i sirkel, mente han. Man starter i det man ser og opplever. Derfra tar man et byks og gjør noen antagelser, og lager noen grunnregler, aksiomer, som man ikke kan bevise, men som resten hviler på. Deretter bruker man logikken og regner seg frem til konsekvenser man kan gå ut i den virkelige verden og måle.

Bykset eller spranget, er det eneste steget uten oppskrift.

Deler tenkning i tre former

Oppå dette legger Zahavy et skjema fra filosofen Charles Sanders Peirce, som delte tenkning i tre former. Si at du kommer hjem til et vått gulv. Deduksjon er å bruke en regel du allerede har: Vann renner nedover, altså kom det ovenfra. Slike slutninger er riktige så lenge regelen holder.

Induksjon er å lese regelen ut av mange tilfeller. Gulvet har vært vått fem ganger, hver gang etter regnvær, så det har nok regnet.

Abduksjon er å finne på en forklaring ingen har gitt deg. Taket lekker. Svaret bygger ikke på data, men du gjettet – og gjetningen kan være helt feil. Til gjengjeld er det den eneste av de tre formene for tenkning som kan gi deg en idé som ikke fantes fra før.

Generativ AI «nailer» induksjon og er godt i gang med deduksjon. Men byksene gjør den ikke.

Zahavy illustrerte notatet med en AI-generert rekonstruksjon av Einsteins tegning. Modellen hallusinerte symbolene i diagrammet, og han lar den stå med en tørr merknad om at feilen understreker nettopp hvor vanskelig dette bykset er å automatisere.

Fysikeren i heisen

Einsteins gjennombrudd kom verken fra mengder data eller en kraftig kalkulator. Han så for seg en fysiker i en lukket heis som akselererer jevnt gjennom verdensrommet. Slipper fysikeren en gjenstand, farer gulvet opp og møter den, og alt faller like fort uansett hva det er laget av. Dette gjelder uansett hvor: Hjemme og på en stjerne i en annen galakse.

Siden fysikken i de to opplevelsene ikke lar seg skille fra hverandre, konkluderte Einstein med at det må være samme fenomen. Det som skjer i heisen er ingen innbilt effekt av akselerasjonen. Det er tyngdekraft.

Simuleringen foregår ikke i symboler, men i kroppslig erfaring.

Newton hadde ingen feil å rette

Da Einstein gikk i gang, sto Newtons fysikk beinstøtt. Forholdet mellom treg og tung masse var etterprøvd med en nøyaktighet på én milliarddel. Man kjente til ett eneste avvik, nemlig en bitteliten forskyvning i Merkurs bane, men det var ikke nok til at folk flest sådde tvil rundt Newtons fysikk.

Istedet antok astronomene at det måtte ligge en uoppdaget planet nært solen som påvirket Merkurs bane. De ga den til og med et navn: Vulcan.

Poenget til Zahavy er enkelt: En kunstig intelligens som optimaliserer induktivt, lærer ved å bomme. Den ser hvor langt unna fasit den var, og justerer seg i den retningen som gjør bommen mindre. Men Newtons fysikk bommet ikke. En slik maskin ville målt feilmarginen til omtrent null, og da finnes det ingen retning å gå i. Ingenting ber den bygge om rom og tid fra grunnen av.

Modellen ville sett på 1915-fysikken og konkludert at alt var i skjønneste orden.

Beviset som bekreftet Einsteins teori kom først i 1919, da Arthur Eddington målte hvordan stjernelyset bøyde seg rundt solen under en total solformørkelse. Tallene som ga Einstein rett, fantes ikke da han gjorde oppdagelsen.

Ordene spilte ingen rolle

Midt i argumentet siterer Zahavy Einstein selv:

«Ordene eller språket, slik de skrives eller uttales, ser ikke ut til å spille noen rolle i min tenkemekanisme.»

Dagens modeller fungerer som høydimensjonale kinesiske rom, skriver Zahavy, med en henvisning til det klassiske tankeeksperimentet der en person flytter symboler etter en regelbok, uten å forstå et eneste ord kinesisk. Modellene behandler fysikkens språk uten tilgang til de fysiske tingene som gir språket mening.

En moderne AI kunne trolig regnet seg frem til relativitetsteorien om noen først ga den ekvivalensprinsippet. Men logikken kan bare knytte sammen begreper som allerede finnes. Den lager dem ikke selv.

Løsningen ligger i simulerte verdener

Zahavy peker samtidig på en vei ut, og skiller skarpt mellom å se på verden og å gripe inn i den.

Videomodeller som Veo lager et fallende eple helt riktig, men ikke fordi de har noen modell av tyngdekraften. De gjør det fordi et eple som henger uten støtte, statistisk sett pleier å falle i treningsdataene. Det er fortsatt mønstergjenkjenning.

Genie, som genererer interaktive 3D-verdener, er noe annet, mener Zahavy, fordi modellen lærer et handlingsrom en agent kan gripe inn i. Skal en AI gjenskape Einsteins tankeeksperiment, holder det ikke å se en video av en heis. Den må kunne ta kontroll over simuleringen og klippe over vaieren.

Slik vil Zahavy gjøre det abduktive bykset om fra mystisk innskytelse til noe en maskin kan gjenta.

Ikke DeepMinds offisielle linje

Notatet står for Zahavys egen regning. Han har presisert på X at «LLMs can't jump» ikke er selskapets standpunkt, og at han slett ikke mener AI er ubrukelig i jakten på vitenskapelige gjennombrudd.

Han har tross alt bygget karrieren sin på å vise hva den duger til. Påstanden er snevrere: Modellene klarer ikke å finne opp nye grunnaksiomer når det ikke finnes data å lene seg på.

Forresten spådde DeepMind-sjef Demis Hassabis at AGI kan komme allerede innen 2029. Og samtidig sitter en av selskapets egne stjerneforskere og argumenterer for at modellene mangler noe av det mest grunnleggende ved menneskelig intelligens.

Kan ha rett

Zahavys eget system beviser at AI matcher verdens skarpeste matematiske hoder på oppgaver noen andre har formulert. Det er ikke lite. Men en høy poengsum på en test sier ingenting om modellens evne til å oppdage selve spørsmålet.

Likevel, vi er helt i AI-startgropen. Fysikken kjenner i mine øyne ingen grenser. Fysikken imploderer i et sort hull. Alt er mulig. Så lenge vi kan forestille oss det.