I et lekket internt dokument fra en Google-ansatt, hevder avsenderen at kampen om kunstig intelligens i form store språkmodeller, allerede er tapt. Uavhengige private språkmodeller fra de mange gutterom, basert på åpen kildekode, kommer til å utkonkurrere de store selskapene.
I dokumentet «Vi har ingen vollgrav, og det har heller ikke OpenAI» uttrykker forfatteren bekymring for at kappløpet mot kunstig intelligens i form av store språkmodeller, allerede er tapt. Teksten reflekterer kun én ansatt sitt syn.
Fordeler ved små språkmodeller
Slik det ligger an er ikke store språkmodeller fra store selskaper som Google og OpenAI veldig mye bedre enn private språkmodeller bygget på åpen kildekode. ChatGPT som med 100 billioner parametere krever enorme datasentre og koster mye å trene og kjøre, mens mindre språkmodeller med færre parametere kan gjøre en nærmest like god jobb i mange tilfeller. En stor fordel er dessuten at de er mer effektive og i noen tilfeller kan kjøre på forbrukerteknologi.
Modeller basert på åpen kildekode er raskere, mer tilpasningsvennlige, mer private og mer kapable krone-for-krone. De gjør ting med 100 dollar og 13 milliarder parametere som vi har problemer med å klare med 10 millioner dollar og 540 milliarder parametere.
Anonym avsender, lekket dokument
Dette skjedde
I begynnelsen av mars lekket Metas store språkmodell på nettstedet 4chan. Modellen hadde tidligere kun vært tilgjengelig for forskere, enkelte organisasjoner og myndigheter. Uten instruksjoner eller samtalefunksjoner var den som et sett byggeklosser uten forklaring. Men Internett skjønte umiddelbart hvilken enorm gavepakke dette var.
På noen måneder har det dukket opp modeller som gjør mye av det samme som ChatGPT, men som krever langt mindre regnekraft. Og det er hovedproblemet, slik avsenderen i skrivet ser det. Hvem vil betale for tilgang til store språkmodeller, om mindre, vel så gode språkmodeller er gratis?
OpenAIs Sam Altman har allerede uttalt at store språkmodeller ikke blir bedre enn de er nå. Ifølge Altman er det ikke bare å utvide modellene med antall parametere i all evighet. På et tidspunkt blir modellen for stor, for ressurskrevende.
LoRA
Avsenderen mener at man både burde sett konkurransen fra det private komme, og at Google har oversett en viktig teknikk. Nå er det tid for å lære og ta inspirasjon av de mindre språkmodellene som har dukket opp, istedet for å konkurrere. LoRA er en kraftig teknikk som avsenderen mener Google bør se nærmere på:
Ved å representere modelloppdateringer som lavrangsfaktoriseringer, reduserer man størrelsen på oppdateringsmatrisene med faktorer på flere tusen. Det gjør det mulig å finjustere modellen til en brøkdel av kostnaden og tiden det vanligvis tar.
Det å kunne tilpasse en språkmodell på noen få timer på vanlig maskinvare gir store muligheter, særlig om man ønsker å flette inn ny og variert kunnskap i nær sanntid. Dette betyr at når nye og bedre datasett og oppgaver blir tilgjengelige, kan modellen holdes billig oppdatert uten å måtte betale prisen for en fullstendig gjennomkjøring.
Til sammenligning kaster trening av enorme modeller fra bunnen av ikke bare bort forhåndstreningen, men også eventuelle iterative forbedringer som er gjort på toppen.
Mindre, men bedre data
I tillegg til LoRA viser avsenderen til andre muligheter ved de mindre modellene. Mindre prosjekter kan spare tid og resurser ved å trene på bedre kuraterte data, istedet for enorme datasett med dårligere data. Det er også fordelaktig å være sin egen kunde, slik private utviklere og institusjoner kan være. Da kan man lage et produkt som er skreddersydd egne behov, fremfor å skulle lage et produkt som passer for alle. Private er heller ikke like begrenset av lisenser som store selskaper, og trenger ikke forholde seg til selskapenes etiske retningslinjer (red. anm.).
Ironisk nok, skriver den anonyme avsenderen, kommer Meta best ut av at språkmodellen deres lekket på nett. Siden det er deres produkt har de fått en hel verden av utviklere til å jobbe gratis på sitt eget prosjekt. Skal vi tro avsenderen, er det ingenting som stopper dem fra å inkorporere ulike prosjekter i sin egen modell.
