To druga część serii „Laboratorium w plecaku”. W pierwszej opisałem, jak pracuje się na stacji roboczej, która równolegle obsługuje model AI, maszyny wirtualne i codzienną pracę programisty.
W poprzedniej części pokazałem, dlaczego mój Dell Precision 7780 nie zwalnia, gdy działa na nim wszystko naraz: każda warstwa pracy ma własny zasób. Model językowy działa na karcie graficznej RTX 5000 Ada, której 16 GB pamięci jest mniej więcej dziesięć razy szybsze od RAM. Laboratorium korzysta ze 128 GB pamięci systemowej.
Ten układ ma jedną naturalną granicę. Modele większe niż kilkanaście miliardów parametrów nie mieszczą się na karcie, a klasyczny model przeniesiony do RAM działa wolno, bo RAM ma znacznie mniejszą przepustowość. Na szczęście nie wszystkie modele potrzebują przy każdym tokenie wszystkich swoich parametrów. W tej części pokażę, jak działają modele Mixture of Experts, dlaczego to właśnie dla nich 128 GB RAM ma sens i jak krok po kroku uruchomić na laptopie model ze 117 miliardami parametrów.
Gdzie 128 GB naprawdę błyszczy: modele MoE
Coraz więcej nowoczesnych modeli korzysta z architektury Mixture of Experts (MoE), czyli „mieszanki ekspertów”.
Wyobraźmy sobie, że zamiast jednej ogromnej sieci neuronowej model składa się z wielu mniejszych podsieci, tak zwanych ekspertów. Przy każdym tokenie specjalny element modelu, nazywany routerem, wybiera tylko kilku ekspertów, którzy zajmą się tym konkretnym fragmentem tekstu. Pozostali w tym czasie nie pracują.
Dla naszego laptopa ma to ogromne znaczenie. Model MoE może mieć łącznie ponad sto miliardów parametrów, ale przy każdym tokenie odczytuje z pamięci tylko niewielką ich część.
Dobrym przykładem jest gpt-oss-120b od OpenAI. Model ma łącznie 117 miliardów parametrów, ale przy każdym tokenie aktywnych jest tylko około 5,1 miliarda. Plik modelu zajmuje ok. 60–65 GB, więc nie zmieści się w karcie graficznej, ale w 128 GB RAM, owszem, i to z zapasem.
Najważniejszy jest jednak sposób, w jaki możemy podzielić taki model między dwa rodzaje pamięci. Część, która pracuje przy każdym tokenie (mechanizm uwagi, router, wspólne warstwy i pamięć kontekstu), umieszczamy w szybkiej pamięci karty graficznej. Ekspertów, czyli największą, ale rzadziej używaną część modelu, zostawiamy w RAM. Przy każdym tokenie z RAM odczytujemy wtedy tylko kilka gigabajtów danych wybranych ekspertów, a nie dziesiątki gigabajtów.
Jeżeli przyłożymy do tego regułę z pierwszej części (przepustowość podzielona przez rozmiar odczytywanych wag), teoretyczny sufit wyniesie około dwudziestu tokenów na sekundę. Realny wynik będzie niższy i zależy od długości kontekstu, ustawień oraz tego, ilu ekspertów zmieścimy w VRAM. Mimo to różnica jest ogromna: model ze 117 miliardami parametrów może działać na laptopie w tempie nadającym się do pracy, podczas gdy klasyczny model z 70 miliardami parametrów działałby kilkanaście razy wolniej.
To jest właściwa odpowiedź na pytanie, po co 128 GB RAM w laptopie do AI. Nie po to, żeby uruchamiać duże modele klasyczne, ale po to, żeby uruchamiać duże modele MoE, łącząc pojemność RAM z prędkością VRAM.
Jak to wygląda w praktyce?
Najwygodniejszym narzędziem do takiego podziału jest llama.cpp, otwarty silnik do uruchamiania modeli w formacie GGUF. Zakładam, że masz go skompilowanego z obsługą CUDA. Instalację sterowników NVIDIA i kompilację na AlmaLinux omówię w osobnym artykule.
llama.cpp rozwija się bardzo szybko, a nazwy opcji potrafią się zmieniać. Polecenia poniżej dotyczą wersji z 2025 i 2026 roku. Opcja --n-cpu-moe, na której opiera się cały ten rozdział, nie istnieje w starszych wydaniach. Zanim zaczniesz, sprawdź, czy Twoja wersja ją obsługuje:
llama-server --Jeżeli polecenie niczego nie wyświetli, zaktualizuj llama.cpp.
Najpierw wskażemy, gdzie mają trafić pobrane modele. Domyślnie llama.cpp zapisuje je w katalogu domowym. Ja trzymam je w /runtime, czyli na osobnym, zaszyfrowanym woluminie przeznaczonym na dane narzędzi, które da się odtworzyć. Model pobierzesz ponownie jednym poleceniem, więc nie ma sensu, żeby zajmował miejsce obok moich projektów ani w kopii zapasowej. Dlaczego tak i jak przygotować taki wolumin, opisuję w artykule Pełny dysk, a system nadal działa. Jeżeli nie masz osobnego woluminu, wskaż po prostu dowolny katalog z wystarczającą ilością wolnego miejsca.
Tworzymy katalog na modele i przekazujemy go na własność naszemu użytkownikowi, bo to on będzie uruchamiał llama.cpp:
sudo mkdir -p /runtime/llama.cpp/models
sudo chown Zmienna LLAMA_CACHE mówi llama.cpp, gdzie zapisywać pobrane modele. Obowiązuje w bieżącej sesji terminala, więc jeżeli chcesz ustawić ją na stałe, dopisz ostatnią linię do pliku ~/.bashrc.
Następnie uruchamiamy serwer z modelem:
llama-server \
-hf ggml-org/gpt-oss-120b-GGUF \
--n-gpu-layers 99 \
--n-cpu-moe 30 \
--ctx-size 16384 \
--flash-attn on \
--jinja \
--host 127.0.0.1 \
--port 8080
Opcja -hf pobiera model z Hugging Face. Przy pierwszym uruchomieniu trwa to dłużej, bo trzeba ściągnąć ponad 60 GB danych. --n-gpu-layers 99 mówi: umieść wszystkie warstwy modelu na karcie graficznej. Kluczowa jest kolejna opcja, --n-cpu-moe 30, która tę zasadę modyfikuje: ekspertów z pierwszych 30 warstw zostaw w RAM. Na karcie graficznej trafia więc wszystko poza nimi.
Liczbę 30 traktuj jako punkt wyjścia, a nie gotową odpowiedź. Uruchom serwer i w drugim terminalu obserwuj pamięć karty:
watch -n 1 nvidia-smi
Jeżeli serwer kończy się błędem braku pamięci na karcie, zwiększ wartość --n-cpu-moe, aby więcej ekspertów trafiło do RAM. Jeżeli w VRAM zostaje kilka wolnych gigabajtów, zmniejsz ją, aby więcej ekspertów pracowało w szybkiej pamięci. Po każdej odpowiedzi llama-server wypisuje w logach czas generowania i liczbę tokenów na sekundę, więc efekt każdej zmiany zobaczysz od razu. Pamiętaj też, że większy kontekst zużywa więcej VRAM, więc oba parametry trzeba dobierać razem.
Teoria a moje pomiary
Szacunek „około dwudziestu tokenów na sekundę” to górna granica wynikająca z przepustowości pamięci, a nie obietnica. Rzeczywisty wynik zależy od architektury modelu, kwantyzacji, długości kontekstu, liczby ekspertów zostawionych w RAM, wersji llama.cpp i tego, co jeszcze działa w tym czasie na komputerze. Przy dzieleniu modelu znaczenie ma też magistrala PCIe, przez którą karta graficzna wymienia dane z resztą komputera, szczególnie podczas przetwarzania długich poleceń.
Nie wystawiaj modelu na świat
Zwróć uwagę na --host 127.0.0.1. Serwer nasłuchuje wtedy tylko lokalnie i nie jest dostępny dla innych urządzeń w sieci. To domyślne zachowanie llama-server i warto przy nim zostać. Ustawienie 0.0.0.0 bez uwierzytelniania (--api-key) i zapory sprawi, że każdy w tej samej sieci Wi-Fi, na przykład w hotelu lub na konferencji, będzie mógł korzystać z Twojego modelu. W laptopie, który podróżuje, to bardzo realny scenariusz.
Procesor też ma tu coś do powiedzenia
Eksperci, którzy zostali w RAM, nie są przeliczani przez kartę graficzną, tylko przez procesor. W pierwszej części wspomniałem, że i9-13950HX ma dwa rodzaje rdzeni: osiem wydajnych rdzeni P i szesnaście energooszczędnych rdzeni E. Intuicja podpowiada, że im więcej wątków przydzielimy modelowi, tym szybciej będzie działał.
W tym przypadku intuicja zawodzi. Ponieważ ogranicza nas przepustowość pamięci, a nie liczba rdzeni, dokładanie kolejnych wątków szybko przestaje pomagać. Kiedy obok modelu pracują maszyny wirtualne, nadmiar wątków llama.cpp może wręcz spowolnić wszystko, bo procesy zaczynają rywalizować o te same zasoby. Jeżeli zauważysz, że model zwalnia, gdy obok pracują maszyny wirtualne, ogranicz liczbę wątków llama.cpp opcją --threads, na przykład do liczby rdzeni P, i sprawdź, czy wynik się poprawi.
Wspólny budżet pamięci
Jest jeszcze jedna rzecz, o której łatwo zapomnieć. Model i wszystko inne, co działa na laptopie, korzystają z tych samych 128 GB. Jeżeli gpt-oss-120b zajmuje około 65 GB, na system, przeglądarkę i maszyny wirtualne zostaje około 60 GB.
To nadal dużo, ale warto planować to świadomie. Lepiej uruchomić dziesięć maszyn wirtualnych z 4 GB pamięci każda niż trzy maszyny z 16 GB, z których żadna nie wykorzystuje nawet połowy. Właśnie dlatego ten laptop jest dla mnie tak wygodny: duży model i laboratorium testowe mogą działać jednocześnie, bez ciągłego zastanawiania się, co trzeba wyłączyć.
Podsumowanie
Modele Mixture of Experts zmieniają rachunek, który przeprowadziliśmy w pierwszej części. Ponieważ przy każdym tokenie pracuje tylko niewielka część ich parametrów, możemy trzymać ekspertów w dużej, ale wolnej pamięci RAM, a resztę modelu w małej, ale szybkiej pamięci karty graficznej. W llama.cpp robi to jedna opcja, --n-cpu-moe, którą dobieramy, obserwując zużycie VRAM.
Dzięki temu na laptopie działa model ze 117 miliardami parametrów, który bez takiego podziału byłby zbyt wolny do codziennej pracy. To dobry przykład tego, że wartość dużej pamięci RAM zależy od tego, jak się z niej korzysta.
Model to jednak tylko połowa zadań tego laptopa. Drugą są maszyny wirtualne. W trzeciej części serii pokażę, jak zamienić laptopa w przenośne laboratorium wirtualizacji: dlaczego warto mieć dwa dyski, dlaczego oba muszą być zaszyfrowane, jak w kilka sekund tworzyć nowe maszyny testowe i jak poradzić sobie z dwoma rodzajami rdzeni procesora.
Później wrócimy też do samego modelu: jak uruchomić go jako usługę systemową, zamknąć w izolowanym środowisku i kontrolować, z kim może się komunikować. To naturalna kontynuacja artykułu o izolowaniu agentów AI na serwerze.
Uważam, że w dłuższej perspektywie lokalne modele, zamknięte w ściśle kontrolowanym środowisku, staną się jednym z najważniejszych sposobów pracy z AI. Dyskusja „lokalny czy chmurowy” często sprowadza się do pytania, który model jest mądrzejszy. To jednak niewłaściwe pytanie, bo istnieją zadania, w których model chmurowy w ogóle nie wchodzi w grę, niezależnie od tego, jak jest dobry.
Pomyśl o danych, które z definicji nie mogą opuścić firmy: dokumentacji klientów, logach z hasłami i tokenami, kodzie objętym umową o poufności, konfiguracji infrastruktury, która jest mapą dla atakującego. Pomyśl o środowiskach odciętych od internetu, w których żadne zapytanie do zewnętrznego API po prostu nie dotrze. Pomyśl o automatyzacji, która musi działać tak samo za rok, a nie zmienić zachowanie, bo dostawca podmienił model albo go wycofał. Albo o zadaniach powtarzanych tysiące razy dziennie, przy których płacenie za każde zapytanie przestaje mieć sens.
W takich miejscach lokalny model nie konkuruje z chmurowym, tylko z brakiem jakiegokolwiek modelu. A gdy już działa, dostajesz rzeczy, których chmura nie zapewni: dane nie opuszczają Twojej infrastruktury, model ma dostęp tylko do tego, co mu wprost udostępnisz, a każda próba połączenia z zewnętrznym światem jest widoczna i może zostać zablokowana. Żeby jednak naprawdę umieć z tego korzystać, trzeba mieć gdzie ćwiczyć: uruchamiać modele, izolować je i sprawdzać, co próbują robić. Dokładnie do tego służy moje laboratorium.