Nvidia har lansert Jetson Nano, en liten, men svært kraftig datamaskin skreddersydd for å kjøre store språkmodeller lokalt.
At kunstig intelligens primært kjøres av store sentraliserte datasentre eid av Google, OpenAI, Microsoft, Amazon og andre store tekselskaper, er egentlig ikke optimalt. Strukturen gir ikke den demokratiske og åpne tilgangen til kunstig intelligens (KI) som man ideelt sett kunne ønske seg.
De store selskapene sitter på teknologien, og derav makten til å velge hvordan de skal fungere, hvem som skal ha tilgang, hvor mye det skal koste og hva modellene skal trenes på. Dessuten er forsinkelsestiden problematisk for flere bruksområder. Det at dataene må behandles sentralt gjør at teknologien ikke egner seg for alle typer oppgaver, som for eksempel å styre en bil.
En Raspberry Pi for kunstig intelligens
Å holde KI sentralisert er selvfølgelig ønskelig for de store selskapene som tjener penger på tjenestene sine. Men for forbrukere vil lokalt kjørt kunstig intelligens kunne by på enorme muligheter. Lokalt, betyr nemlig null forsinkelsestid.
Derfor velger Nvidia å «forstyrre» KI-bransjen ved å lansere den superkraftige mini-datamaskinen Jetson Nano, som er skreddersydd for å kjøre KI.
Jetson Nano kjører på en NVIDIA GPU med Maxwell-arkitektur med 128 CUDA-kjerner. Den lille maskinen klarer opptil 472 GFLOPS, og kan håndtere komplekse KI-oppgaver som bilde- og talegjenkjenning og maskinlæringsoppgaver i sanntid. Dette betyr at brukere kan utføre alt fra objektdeteksjon til autonome robotikk-prosjekter uten behov for kraftige, dyre servere.
Dessuten er Jetson Nano en gave til bedrifter og folk som har behov for å behandle sensitive data med kunstig intelligens. Det å sende slike data til en server er ikke alltid så greit.
Med kraftig GPU og støtte for KI-rammeverk som TensorFlow og PyTorch, kan Jetson Nano brukes i mange applikasjoner. Noen foreslåtte bruksområder er:
- Robotikk: Autonome roboter som kan navigere og samhandle med miljøet.
- Smart Hjem: Overvåking og kontroll av hjemmeautomatisering.
- Utdanning: Læringsverktøy for datavitenskap og KI i skoler og universiteter.
- Agritech: Overvåking av avlinger, dyr og klimaforhold i landbruket.
I korte trekk kan Jetson Nano komme til å revolusjonere kunstig intelligens. Og den er tilgjengelig allerede idag, også i Norge.
Instead of all AI running in centralized data centers…
— GC Cooke (@thegrahamcooke) December 18, 2024
We're moving to "edge computing" – where AI runs directly on devices.
Imagine your smart home devices, cars, and phones all running their own AI models.
The implications are massive: pic.twitter.com/eeihWXXxBY
