Fredag annonserte Meta, Facebooks moderselskap, språkmodellen LLaMA som de mener er bedre enn OpenAIs GPT-3, med kun en brøkdel så mange parametere.
Hvor mange parametere en språkmodell har, sier både noe om hvor avansert den er, og hvor tung den er å drive. ChatGPT har 175 milliarder parametere, mens Metas nye LLaMA-13B er langt enklere. Den kommer i fire forskjellige versjoner som spenner fra 7 til 65 milliarder parametere. Tross en tiendel av størrelsen til GPT-3, skal LLaMA ifølge Meta, være bedre enn GPT-3 i de fleste tester.
I motsetning til GPT-3, modellen bak ChatGPT, som drives av OpenAIs datasentre, kan den enkleste utgaven av Metas nye språkmodell kjøre på én enkelt grafikkprosessor.
LLaMA i lommen om ikke lenge?
Om språkmodellen er så god som Meta skal ha det til betyr det kanskje at vi kan ha ChatGPT-lignende programmer på mobiltelefonene om ikke så lenge. En lokal kunstig intelligens vil kunne svare lynraskt. Den vil også kunne ta seg av oppgaver som krever raskere responstid enn det man har i skyen.
Jeg tenker at vi kommer til ha språkmodeller med en god porsjon av ferdighetene til ChatGPT kjørende på våre egne mobiltelefoner og bærbare maskiner om ett år eller to.
Simon Willison, KI-forsker til Mastodon
Selv sier Meta at med mindre språkmodeller som krever mindre regnekraft, koster det mindre å teste løsninger og undersøke nye bruksområder. At de i det hele tatt melder seg på kampen om kunstig intelligens, er interessant.
Kan frigis med åpen kildekode
Metas LLaMA (Large Language Model Meta AI) er trent på offentlig tilgjengelig informasjon som Wikipedia, Common Crawl og C4. Det betyr at den i teorien kan slippes med åpen kildekode. Frem til nå har utviklerne bak de avanserte språkmodellene holdt koden tett til brystet.
En enkel versjon av LMaMA ligger allerede tilgjengelig på GitHub. Om man melder sin interesse kan man få tilgang på den fulle koden. Når språkmodellen slippes offentlig sier ikke Meta noe om foreløpig.
