To pierwsza część serii „Laboratorium w plecaku”, w której podsumowuję kilka lat pracy na mobilnej stacji roboczej używanej do wirtualizacji, kontenerów i lokalnych modeli językowych.
Kiedy mówię komuś, że mój laptop ma 128 GB pamięci RAM i profesjonalną kartę graficzną, a w tej konfiguracji kosztował tyle co niezły używany samochód, zwykle słyszę pytanie: po co aż tyle?
Najprościej odpowiedzieć, opisując zwykły dzień pracy. Na laptopie działa lokalny model językowy, obok kilka maszyn wirtualnych z kontenerami, edytor kodu z dużym projektem, przeglądarka z dziesiątkami kart i wszystko inne, czego potrzebuję. Wszystko naraz. I nic nie zwalnia. Nie muszę wyłączać maszyn, żeby uruchomić model, ani zamykać modelu, żeby skompilować projekt.
Na tym polega wartość tej konfiguracji. Nie chodzi o to, że jedna rzecz działa bardzo szybko. Chodzi o to, że nie muszę wybierać, co ma działać. Pojedynczą maszynę wirtualną, jeden kontener czy mały model uruchomisz na zwykłym laptopie. Kilkanaście maszyn, stos kontenerów, model AI i normalną pracę programisty jednocześnie już nie. A właśnie tak wygląda prawdziwa infrastruktura i coraz częściej prawdziwa praca z AI: wiele zadań naraz, każde we własnym, odizolowanym środowisku.
Bohaterem tej serii jest Dell Precision 7780 w drogiej konfiguracji: z kartą NVIDIA RTX 5000 Ada, 128 GB RAM i dwoma dyskami NVMe. Tego laptopa nie kupisz już jako nowego. Dell wycofał markę Precision, a jej miejsce zajęła seria Dell Pro Max. Dlatego nie będzie to recenzja nowości, tylko podsumowanie tego, jak się na nim pracuje i dlaczego tak dobrze się sprawdza.
Mobilna część większego laboratorium
Laptop i stacje stacjonarne
Nie opisuję sprzętu, który chciałbym mieć. Ten laptop jest mobilną częścią mojego prywatnego zaplecza badawczo-rozwojowego. Obok niego pracują dwie stacje robocze HP Z840 z setkami gigabajtów RAM, które przejmują ciężkie, długotrwałe laboratoria. Laptop jest tam, gdzie ja: pozwala zbudować i sprawdzić środowisko w dowolnym miejscu. Stacje stacjonarne dają skalę i mogą pracować całą dobę. O tym, jak dzielą się pracą, opowiem w ostatniej części serii.
Dlaczego własna infrastruktura?
Dlaczego w ogóle inwestuję we własną infrastrukturę, zamiast korzystać z zasobów pracodawcy albo chmury? Bo sprzęt, który należy do mnie, jest pod moją kontrolą. Mogę przeprowadzić eksperyment wtedy, kiedy go potrzebuję, a nie wtedy, gdy ktoś przydzieli mi zasoby. Mogę zbudować dziesięć niezależnych środowisk, zepsuć je, odtworzyć i powtórzyć test tyle razy, ile trzeba, aż wynik będzie pewny. Mogę przećwiczyć scenariusz awarii, zanim wydarzy się naprawdę, i sprawdzić technologię, zanim zaproponuję ją w prawdziwym projekcie. Taka niezależność kosztuje: pieniądze na zakup, czas na utrzymanie i bieżące koszty eksploatacji. Dla mnie jest to jednak inwestycja nie w urządzenia, ale w możliwość samodzielnego sprawdzania rzeczy, o których piszę i które wdrażam. Więcej o tym, jak rozwijam to zaplecze, przeczytasz na stronie Badania i rozwój.
Jak wygląda zwykły dzień pracy
Typowa sesja pracy na tym laptopie to kilka warstw działających jednocześnie.
Warstwa laboratorium: maszyny wirtualne i kontenery
Na samym dole działają maszyny wirtualne. Część z nich to środowiska testowe, na których sprawdzam automatyzację: playbooki Ansible, konfiguracje serwerów, scenariusze odtwarzania po awarii. W wielu z nich działają kontenery Dockera, bo tak wygląda większość współczesnych wdrożeń: aplikacja, baza danych, kolejka i serwer WWW, każde w osobnym kontenerze.
Lokalny model językowy
Obok działa lokalny model językowy, z którego korzystam przy pracy z kodem, dokumentacją i analizą. Dane, z którymi pracuje, nie opuszczają laptopa.
Codzienna praca programisty
Na wierzchu jest normalna praca programisty: edytor kodu z dużym projektem, terminal, przeglądarka, komunikatory, dokumentacja.
Dlaczego to musi działać razem
Gdyby którakolwiek z tych warstw zaczęła spowalniać pozostałe, cała koncepcja straciłaby sens. Laboratorium, w którym przed uruchomieniem modelu trzeba wyłączyć maszyny testowe, nie jest laboratorium, tylko kolejką. Ten laptop nie zmusza mnie do takich wyborów. Żeby zrozumieć dlaczego, trzeba zajrzeć do środka.
Co jest w środku i dlaczego to ma znaczenie
Precision 7780 to siedemnastocalowa mobilna stacja robocza Della oparta na procesorach Intel 13. generacji z serii HX. Moja konfiguracja składa się z czterech elementów, a każdy z nich odpowiada za inną część pracy równoległej.
Procesor: 32 wątki dla wielu zadań
Core i9-13950HX ma 24 rdzenie i 32 wątki. Osiem z nich to wydajne rdzenie P (Performance), które obsługują po dwa wątki. Pozostałe szesnaście to energooszczędne rdzenie E (Efficient), wolniejsze i obsługujące jeden wątek. Przy pracy równoległej ta liczba jest ważniejsza niż rekordowa prędkość pojedynczego rdzenia. Maszyny wirtualne, kompilacja i edytor kodu dostają własne wątki zamiast czekać w kolejce. O tym, jak świadomie przydzielać maszynom wydajne rdzenie, piszę w trzeciej części serii.
Pamięć RAM: miejsce na wszystkie warstwy
128 GB RAM DDR5 to w tym modelu jeden moduł w formacie CAMM. To format pamięci zaprojektowany przez Della jako następca klasycznych kości SO-DIMM. Zamiast wsuwać moduły w gniazda, płaską płytkę dociska się śrubami do płyty głównej. Dzięki temu w obudowie laptopa mieści się pojemność, której nie dałoby się uzyskać na kościach SO-DIMM. W wersji z modułami SO-DIMM ten laptop obsługuje maksymalnie 64 GB. To ta pamięć sprawia, że wszystkie warstwy mieszczą się jednocześnie i system nie musi przerzucać danych na dysk.
Karta graficzna: osobny świat dla modelu AI
NVIDIA RTX 5000 Ada Generation to profesjonalny odpowiednik mobilnej karty RTX 4090. Ma 16 GB własnej pamięci GDDR6 o przepustowości około 576 GB/s. Dla pracy równoległej najważniejsze jest to, że model językowy działający na karcie korzysta z jej pamięci i mocy obliczeniowej, a nie z zasobów, których potrzebują maszyny wirtualne i edytor.
Dyski: szybka i elastyczna przestrzeń
W laptopie pracują dwa dyski NVMe, 1 TB i 2 TB, choć obudowa ma cztery gniazda M.2 PCIe Gen 4 (czwarte jest dostępne tylko z mniejszą baterią). Oba są zaszyfrowane i tworzą razem jedną pulę około 3 TB, z której wydzielam przestrzeń dla systemu, moich projektów i danych narzędzi. Szybkie dyski mają znaczenie, gdy kilka maszyn jednocześnie instaluje aktualizacje, a obok wczytuje się model o rozmiarze kilkudziesięciu gigabajtów.
Ciekawostka: kilka minut czarnego ekranu
Jedna praktyczna ciekawostka. Po pierwszym zainstalowaniu lub ponownym osadzeniu modułu CAMM 128 GB laptop może przez kilka minut nie wyświetlać niczego na ekranie, choć podświetlenie klawiatury już działa. Dell opisuje to w swojej bazie wiedzy: inicjalizacja tak dużego modułu przy pierwszym uruchomieniu trwa około trzech, czterech minut. Kolejne uruchomienia przebiegają normalnie. Warto o tym wiedzieć, zanim zaczniemy podejrzewać uszkodzoną pamięć.
Dlaczego nic nie zwalnia
Sama duża liczba gigabajtów i rdzeni nie wystarczy. Praca równoległa działa płynnie wtedy, gdy zadania nie walczą o ten sam zasób. I tu kryje się najciekawsza właściwość tej konfiguracji.
Pojemność a przepustowość
Żeby to zrozumieć, warto rozróżnić dwie cechy pamięci, które w specyfikacjach często zlewają się w jedno. Pojemność mówi, ile danych zmieści się w pamięci. Przepustowość mówi, ile danych pamięć jest w stanie przekazać procesorowi w ciągu sekundy. Pojemność decyduje, czy coś się zmieści. Przepustowość decyduje, jak szybko będzie działać.
Jedna reguła, która wszystko wyjaśnia
Model językowy jest pod tym względem wyjątkowo wymagający. Generuje tekst po jednym fragmencie, tak zwanym tokenie, który zwykle odpowiada kawałkowi słowa, a przy każdym tokenie musi odczytać z pamięci swoje parametry, czyli wagi. Jeżeli model zajmuje 9 GB, każdy wygenerowany token oznacza przeczytanie około 9 GB danych. Stąd prosta reguła, z której będę korzystał w całej serii: maksymalna prędkość generowania to w przybliżeniu przepustowość pamięci podzielona przez rozmiar wag odczytywanych na jeden token.
Dwie osobne pamięci, dwa osobne światy
Teraz zobacz, co to oznacza dla mojego laptopa. Pamięć karty graficznej ma przepustowość 576 GB/s. Moduł CAMM 128 GB działa z prędkością 3600 MT/s w trybie dwukanałowym, co daje teoretycznie około 57,6 GB/s. Pamięć karty jest więc mniej więcej dziesięć razy szybsza od RAM, ale co ważniejsze, to dwie zupełnie osobne pamięci.
Model działający na karcie graficznej korzysta z jej własnej, bardzo szybkiej pamięci. Nie zajmuje przepustowości RAM, z której korzystają maszyny wirtualne, kontenery i edytor. Każda warstwa ma swój zasób: model ma kartę graficzną, laboratorium ma RAM i procesor, a dane mają osobne dyski. Dlatego mogą działać jednocześnie, nie spowalniając się nawzajem.
Jak szybko działa model na karcie
Model, który w całości mieści się w 16 GB VRAM, działa przy tym szybko. Dla modelu zajmującego 9 GB nasza reguła daje teoretyczny sufit rzędu sześćdziesięciu tokenów na sekundę. To szacunek, a nie pomiar: realny wynik zależy od architektury modelu, kwantyzacji, długości kontekstu i oprogramowania. W praktyce to tempo, przy którym odpowiedź pojawia się szybciej, niż zdążę ją przeczytać.
Fakty, szacunki i pomiary
W całej serii będę wyraźnie rozróżniał trzy rodzaje liczb. Parametry producenta, takie jak przepustowość pamięci, pochodzą z dokumentacji Della i NVIDII. Szacunki teoretyczne wyliczam z powyższej reguły i pokazują one górną granicę możliwości. Moje pomiary to wyniki z rzeczywistej pracy na tym laptopie i zawsze oznaczam je jako pomiar.
Gdzie są granice
Każda stacja robocza ma granice i warto je znać, żeby dobrze wykorzystać sprzęt.
16 GB pamięci karty graficznej
Najważniejszą granicą jest 16 GB pamięci karty graficznej. Modele uruchamiane lokalnie są zwykle kwantyzowane, czyli zapisane z mniejszą precyzją, na przykład w 4 bitach zamiast 16. Tracą przy tym niewiele jakości, a zajmują kilka razy mniej miejsca. Popularna kwantyzacja Q4 wymaga nieco ponad pół gigabajta na każdy miliard parametrów, a do tego dochodzi pamięć kontekstu rozmowy. W praktyce modele do około 14 miliardów parametrów mieszczą się na karcie wygodnie, w okolicach 20–24 miliardów robi się ciasno, a większe na kartę już nie wejdą.
Duże modele w pamięci RAM
Co wtedy? Klasyczny model z 70 miliardami parametrów zajmuje w kwantyzacji Q4 około 40 GB, więc zmieści się w 128 GB RAM. Ale RAM jest dziesięć razy wolniejszy od pamięci karty, a według naszej reguły daje to sufit rzędu półtora tokena na sekundę. Taki model zadziała, ale nie do codziennej pracy. To nie jest zadanie, do którego służy RAM w tym laptopie. Jego rolą jest zmieszczenie całego laboratorium obok modelu.
128 GB kosztem prędkości
Z pamięcią RAM wiąże się też świadomy kompromis. Dell oferował dla tego modelu moduły CAMM 64 GB pracujące z prędkością 5200 MT/s, czyli około 83 GB/s. Wybierając 128 GB, zyskałem dwukrotnie większą pojemność kosztem mniej więcej jednej trzeciej przepustowości. Przy pracy równoległej to dobra wymiana: zmieszczenie wszystkich warstw jednocześnie jest ważniejsze niż szybszy RAM, z którego model i tak nie korzysta, bo działa na karcie graficznej.
Wyjątek: modele Mixture of Experts
Jest jednak rodzaj dużych modeli, które potrafią zrobić z 128 GB RAM bardzo dobry użytek, łącząc pojemność pamięci systemowej z prędkością karty graficznej. To modele Mixture of Experts i to im poświęcam drugą część serii.
Podsumowanie
Wartość dobrej stacji roboczej nie polega na tym, że jedna rzecz działa na niej rekordowo szybko. Polega na tym, że nie musisz wybierać, co ma działać. Na moim Precision 7780 model językowy, kilka maszyn wirtualnych z kontenerami, edytor kodu i cała reszta pracy działają jednocześnie i płynnie.
Sekretem nie jest wyłącznie liczba gigabajtów i rdzeni, ale to, że każda warstwa ma własny zasób. Model pracuje na szybkiej pamięci karty graficznej, laboratorium korzysta z dużej pamięci RAM i wielu wątków procesora, a dane leżą na szybkich dyskach. Prosta reguła o pojemności i przepustowości pozwala zrozumieć, dlaczego to działa, i ocenić każdy inny sprzęt, zanim cokolwiek kupisz.
Nie potrzebujesz drogiego laptopa, żeby z tej wiedzy skorzystać. Ta sama reguła pozwala ocenić komputer za kilka tysięcy złotych albo serwer w firmie. Kompetencji nie kupuje się razem ze sprzętem. Sprzęt pozwala je tylko szybciej sprawdzać w praktyce.
W kolejnych częściach serii pokażę, jak uruchomić na tym laptopie model ze 117 miliardami parametrów, jak zorganizować laboratorium wirtualizacji, które przetrwa kradzież bez wycieku danych, czy ta inwestycja się opłaciła i jak laptop współpracuje z resztą mojej infrastruktury.