Każdy laptop AI sprzedawany od 2024 roku ma na sobie liczbę. 40 TOPS, 45, 48, 50, 60, 80, a na niektórych stronach marketingowych triumfalne 120. Drukuje się ją tak, jak kiedyś taktowanie: jakby więcej znaczyło po prostu lepiej, a porównanie było oczywiste.
Nie jest oczywiste, i nie dlatego, że ktoś kłamie. Dlatego, że TOPS to rodzina liczb, a nie jedna liczba, producent wybiera, którego członka rodziny wydrukować, a przypis, który uczyniłby ją porównywalną, zwykle jest gdzie indziej.
Ten poradnik opisuje, co ta jednostka naprawdę mierzy, jakie trzy osobne liczby ma zgodnie z prawdą jeden układ, co robi z nimi wszystkimi precyzja, względem której z nich napisano wymóg Copilot+ i jakie pięć pytań zamienia nagłówek z powrotem w specyfikację.
Co mierzy ta jednostka
TOPS to biliony operacji na sekundę. Dochodzi się do tej liczby tak, jak fabryka podaje moce przerobowe: policz jednostki mnożąco-sumujące, pomnóż przez liczbę operacji na takt, pomnóż przez taktowanie. To sufit policzony z projektu, a nie zmierzony na obciążeniu, i żaden prawdziwy model go nie osiągnie.
Samo w sobie jest to w porządku. Taktowanie procesora to liczba tego samego rodzaju i nikt nie sądzi, że procesor 5 GHz robi pięć miliardów użytecznych rzeczy na sekundę. Problem zaczyna się wtedy, gdy tego samego słowa używa się dla kilku różnych sufitów na tym samym pudełku.
Trzy liczby, jeden układ
Weźmy serię Intel Core Ultra 200V, z liczbami, które Intel publikuje sam: do 120 TOPS platformy, na które składa się do 67 TOPS układu graficznego i do 48 TOPS NPU.
Żadna z nich nie jest błędna. Odpowiadają na trzy różne pytania:
| Liczba | Odpowiada na | Do czego przydatna |
|---|---|---|
| TOPS platformy | Ile zrobiłby cały procesor, gdyby każdy silnik pracował naraz na pełnych obrotach | Prawie do niczego, czego doświadczysz. Żadne pojedyncze obciążenie nie działa na trzech silnikach naraz. |
| TOPS układu graficznego | Ile potrafi zintegrowana grafika na pracy AI | Realna liczba, często szybsza droga dla generowania obrazów i większych modeli. |
| TOPS NPU | Ile potrafi dedykowany silnik neuronowy | Ta, względem której napisano bramkowanie funkcji Windows, i ta, która działa przy niskim poborze mocy. |
Czyli naklejka na laptopie z napisem „AI PC 120 TOPS" opisuje maszynę z NPU o mocy 48 TOPS. Oba zdania są prawdziwe. Tylko drugie mówi ci, które funkcje dostaniesz.
Precyzja podwaja, i podwaja jeszcze raz
Precyzja liczbowa to druga oś i przesuwa wynik mocniej, niż większość ludzi się spodziewa.
Akcelerator, który wykonuje stałą liczbę operacji mnożąco-sumujących na takt przy precyzji 8-bitowej całkowitej, zwykle wykonuje ich około dwa razy więcej przy 4 bitach, bo ta sama ścieżka danych niesie dwie mniejsze liczby tam, gdzie niosła jedną. Niektóre konstrukcje podają potem kolejne podwojenie dla rzadkości strukturalnej, gdzie połowa wag jest wyzerowana we wzorze, który sprzęt potrafi pominąć.
Ten sam krzem, nigdzie żadnej przesady, i do czterech prawdziwych liczb z czterokrotnym rozrzutem między najmniejszą a największą. To, która trafi na stronę produktu, jest decyzją redakcyjną.
Dla kogokolwiek, kto uruchamia lokalne modele, nie jest to problem teoretyczny, bo sam Windows oczekuje małych formatów. Wskazówki Microsoftu dla deweloperów pod Copilot+ PC mówią to wprost: modele są zwykle trenowane i rozprowadzane w większych formatach, na przykład FP32, „wiele urządzeń NPU obsługuje jednak wyłącznie działania na liczbach całkowitych w niższym formacie bitowym, na przykład INT8", i model trzeba wobec tego najpierw skwantyzować, żeby w ogóle ruszył na NPU.
Względem której liczby napisano próg Copilot+
Definicja komputera Copilot+ według Microsoftu to NPU zdolne wykonać ponad 40 TOPS. Napisano ją względem samego silnika neuronowego, a nie sumy platformy, i właśnie dlatego maszyna może reklamować liczby trzycyfrowe i zostać poza klubem, a inna ze skromnym nagłówkiem być w środku.
Druga połowa wymogu dostaje mniej uwagi i odrzuca więcej maszyn: 16 GB RAM. Laptop z 8 GB i kwalifikującym się NPU nie jest komputerem Copilot+ i żadna aktualizacja tego nie zmieni, bo funkcje są bramkowane na całej konfiguracji, a nie na układzie.
Kupujesz za to określony zestaw funkcji Windows działających na urządzeniu: Efekty Studia Windows, napisy na żywo z tłumaczeniem, Recall, Click to Do, Cocreator w programie Paint, super rozdzielczość w Zdjęciach. To, czy twoje własne aplikacje używają NPU, jest osobnym pytaniem, a odpowiedź brzmi dziś przeważnie nie. Nasz poradnik czy twoje NPU w ogóle pracuje pokazuje, jak to sprawdzić, zamiast zakładać.
Czego TOPS ci nie powie
Trzech rzeczy, a każda z nich decyduje o twoim doświadczeniu bardziej niż nagłówek.
Jak szybko pamięć go nakarmi. Generowanie tekstu przez model językowy czyta z pamięci cały model dla każdego wyprodukowanego tokenu. To sprawia, że tempo ustala przepustowość pamięci, a nie arytmetyka, a TOPS w ogóle nie opisuje pamięci. NPU w laptopie zwykle nie ma własnej pamięci i dzieli RAM systemowy ze wszystkim innym. Arytmetykę tej strony obrazu opisuje poradnik o pamięci.
Co obsługuje łańcuch narzędzi. NPU uruchamia tylko modele skompilowane pod nie, przez dostawcę wykonania danego producenta. Windows ML wybiera dostawcę w czasie działania i po cichu, i poprawnie, przechodzi na GPU albo CPU, gdy brakuje właściwego. Układ z większym TOPS i cieńszym wsparciem modeli przegrywa z wolniejszym o dojrzałym stosie na każdym modelu, który tylko ten wolniejszy potrafi uruchomić.
Ciągła praca kontra szczyt. TOPS to szczyt. Cienki laptop, który osiąga go przez cztery sekundy, a potem osiada w limicie termicznym, to inny produkt niż sugeruje liczba. To ta sama historia co boost procesora i mierzy się ją tak samo: uruchom pracę na dziesięć minut i odczytaj liczniki na końcu, a nie na starcie.
Pięć pytań do specyfikacji
- Który silnik? NPU, GPU, czy suma platformy dodająca rzeczy, które nigdy nie pracują razem.
- Przy jakiej precyzji? INT8 to typowy punkt odniesienia. INT4 mniej więcej podwaja liczbę i nie podwaja możliwości.
- Z rzadkością czy bez? Jeśli przypis mówi „with sparsity", liczba gęsta to około połowa tego, co wydrukowano.
- Ile pamięci i jak szybkiej? Pojemność decyduje, które modele się zmieszczą; przepustowość decyduje, jak szybko odpowiedzą.
- Które środowisko to obsługuje? Układ jest wart tyle, ile modeli ktoś pod niego wypuścił.
Odpowiedz na te pięć i masz specyfikację. Nie odpowiedz na żadne i masz naklejkę.
Jak to wygląda po stronie PC Workmana
PC Workman nie czyta liczników NPU i nie podaje liczby TOPS. Czyta to, co da się zmierzyć na działającej maszynie: obciążenie procesora i pamięci, temperatury, pobór mocy, dyski i zachowanie procesów. Powód, dla którego nie drukuje liczby TOPS, jest powodem powstania tego poradnika. Ta wartość pochodzi z arkusza specyfikacji, a nie ze sprzętu, a monitor, który powtarza ci liczbę z marketingu, niczego nie zmierzył.
Potrafi za to powiedzieć to, co jest prawdziwe na twojej własnej maszynie: czy praca, którą uważałeś za przeniesioną na akcelerator, nie jest dźwigana przez procesor, ile to kosztuje w cieple i czy układ trzyma taktowania, czy siedzi w limicie termicznym.
Następne pytanie: ile pamięci naprawdę potrzebuje lokalny model? Zobacz pozostałe poradniki →
Źródła: Intel, ogłoszenie serii Core Ultra 200V (do 120 TOPS platformy, do 67 TOPS GPU, do 48 TOPS NPU); Microsoft, Copilot+ PCs developer guide (definicja NPU 40+ TOPS i kwantyzacja do formatów całkowitych, na przykład INT8); Windows ML execution providers (wybór dostawcy wykonania i tryb awaryjny).