Ako ste si možno všimli, OpenAI práve vydala dva nové AI modely – gpt‑oss‑20b a gpt‑oss-120b – ktoré sú prvými modelmi s otvorenou váhou od tejto spoločnosti od čias GPT‑2.
Tieto dva modely – jeden je kompaktnejší a druhý oveľa väčší – sa vyznačujú tým, že ich môžete spustiť lokálne. Budú fungovať na vašom stolnom počítači alebo notebooku – priamo na zariadení, bez potreby pripojenia k internetu alebo využitia sily cloudu, za predpokladu, že je váš hardvér dostatočne výkonný.
Takže si môžete stiahnuť buď verziu 20b – alebo, ak je váš počítač výkonný stroj, verziu 120b – a hrať sa s ňou na svojom počítači, skontrolovať, ako funguje (v režime text-to-text) a ako model uvažuje (celý proces jeho uvažovania je rozdelený do krokov). A naozaj, môžete tieto otvorené modely vylepšovať a stavať na nich, hoci bezpečnostné zábrany a cenzúrne opatrenia budú, samozrejme, zavedené.
Aký hardvér však potrebujete na spustenie týchto AI modelov? V tomto článku skúmam požiadavky na špecifikácie PC pre oba modely gpt‑oss‑20b – model s menšími nárokmi s 21 miliardami parametrov – a gpt‑oss-120b, ktorý ponúka 117 miliárd parametrov. Druhý menovaný je určený na použitie v dátových centrách, ale spustí sa aj na špičkovom PC, zatiaľ čo gpt‑oss‑20b je model navrhnutý špeciálne pre spotrebiteľské zariadenia.
Keď Sam Altman oznamoval tieto nové AI modely, spomenul, že 20b funguje nielen na bežných notebookoch, ale aj na smartfónoch – ale stačí povedať, že je to ambiciózny nárok, ku ktorému sa neskôr vrátim.
Tieto modely si môžete stiahnuť z Hugging Face (gpt‑oss‑20b a gpt‑oss-120b) pod licenciou Apache 2.0, alebo pre tých, ktorí sú len zvedaví, existuje online ukážka, ktorú si môžete pozrieť (bez nutnosti sťahovania).
Menší model gpt-oss-20b
Potrebná minimálna RAM: 16 GB
Oficiálna dokumentácia od OpenAI jednoducho stanovuje požadované množstvo RAM pre tieto AI modely, čo je v prípade tohto kompaktnejšieho úsilia gpt-oss-20b 16 GB.
To znamená, že môžete spustiť gpt-oss-20b na akomkoľvek notebooku alebo PC, ktorý má 16 GB systémovej pamäte (alebo 16 GB video RAM, alebo kombináciu oboch). Platí však, že čím viac, tým lepšie – alebo skôr rýchlejšie. Model môže pracovať s tým minimálnym množstvom 16 GB, ale ideálne by ste chceli mať k dispozícii o niečo viac.
Čo sa týka CPU, AMD odporúča použitie CPU Ryzen AI 300, ktorý je spárovaný s 32 GB pamäte (a polovica z toho, 16 GB, nastavená na Variable Graphics Memory). Pre GPU spoločnosť AMD odporúča akýkoľvek model RX 7000 alebo 9000, ktorý má 16 GB pamäte – ale toto nie sú striktné požiadavky.
Kľúčovým faktorom je jednoducho mať dostatok pamäte – spomínané pridelenie 16 GB, a najlepšie, ak máte celú túto pamäť na svojej GPU. To umožňuje, aby sa všetka práca vykonávala na grafickej karte bez toho, aby ju spomaľovalo presúvanie časti práce do systémovej pamäte PC. Aj keď takzvaný dizajn Mixture of Experts, alebo MoE, ktorý OpenAI použila, našťastie pomáha minimalizovať akékoľvek takéto zníženie výkonu.
Napríklad, podľa príspevkov na Reddite, gpt-oss-20b beží v poriadku na MacBooku Pro M3 s 18 GB.
Väčší model gpt-oss-120b
Potrebná RAM: 80 GB
Všeobecne platí to isté aj pre silnejší model gpt-oss-120b, až na to, že, ako si asi viete predstaviť, potrebujete oveľa viac pamäte. Oficiálne to znamená 80 GB, hoci si uvedomte, že nemusíte mať všetku túto RAM na svojej grafickej karte. Tento rozsiahly AI model je však naozaj určený na použitie v dátových centrách na GPU s 80 GB pamäte na doske.
Pridelenie RAM sa však dá rozdeliť. Takže môžete spustiť gpt-OSS-120b na počítači so 64 GB systémovej pamäte a 24 GB grafickou kartou (napríklad Nvidia RTX 3090 Ti, podľa príspevku na Reddite), čo predstavuje celkovo 88 GB zdieľanej RAM.
Odporúčanie AMD v tomto prípade, čo sa týka CPU, je pre jeho špičkový procesor Ryzen AI Max+ 395 v kombinácii so 128 GB systémovej RAM (a 96 GB z toho pridelených ako Variable Graphics Memory).
Inými slovami, na gpt-oss-120b sa pozeráte na skutočne špičkový pracovný notebook alebo stolný počítač (možno s viacerými GPU). Môžete sa však uspokojiť aj s o niečo menším množstvom ako stanovených 80 GB pamäte, podľa niektorých neoficiálnych správ – ale na to by som sa v žiadnom prípade nespoliehal.
Ako spustiť tieto modely na svojom PC
Za predpokladu, že spĺňate vyššie uvedené systémové požiadavky, môžete spustiť ktorúkoľvek z týchto nových verzií gpt-oss na platforme Ollama, ktorú OpenAI preferuje na používanie týchto modelov.
Ak uprednostňujete inú možnosť ako Ollama, môžete namiesto toho použiť LM Studio, pomocou nasledujúceho príkazu. Opäť môžete prepnúť 20b za 120b, alebo naopak, podľa potreby:
Používatelia Windows 11 (alebo 10) môžu využiť možnosť Windows AI Foundry.
V tomto prípade si budete musieť nainštalovať Foundry Local – je tu však háčik, a to, že je to stále vo verzii Preview – pozrite si tento návod pre úplné inštrukcie, čo robiť. Tiež si všimnite, že momentálne budete potrebovať grafickú kartu Nvidia so 16 GB VRAM na doske (hoci ostatné GPU, ako napríklad modely AMD Radeon, budú nakoniec podporované – pamätajte, že je to stále verzia Preview).
Okrem toho, podpora macOS „prichádza čoskoro“.
A čo smartfóny?
Ako bolo uvedené na začiatku, hoci Sam Altman povedal, že menší AI model beží na telefóne, toto tvrdenie je prehnané.
Je pravda, že Qualcomm vydal tlačovú správu o tom, že gpt-oss-20b beží na zariadeniach s čipom Snapdragon, ale toto sa týka skôr notebookov – Copilot+ PC, ktoré majú Snapdragon X silikón – ako CPU smartfónov.
Spustenie gpt-oss-20b nie je realistická možnosť pre dnešné telefóny, hoci je to technicky možné (za predpokladu, že váš telefón má 16 GB+ RAM). Aj tak pochybujem, že by výsledky boli pôsobivé.
Nie sme však ďaleko od toho, aby tieto typy modelov správne fungovali na mobiloch, a toto určite bude v pláne pre blízku budúcnosť.
