Technologia · Zgłoszenia

Siedemset pobrań.
Trzydzieści zgłoszeń.
Sześć osób, które zostały.

Odległość między tymi trzema liczbami to nie szczęście i nie wielkość publiczności. To jedno pytanie, jedna plakietka i nawyk odpisywania. Co trzydziestu obcych ludzi znalazło, czego tysiąc automatycznych testów nie znalazło.

Marcin Firmuga·2026-10-19·7 min czytania·Technologia

Scaling Laws pobrano jakieś siedemset razy. Trzydzieści osób do mnie napisało. Sześć pisze nadal.

Ostatnia liczba jest jedyną, która się liczy, i jest tą, pod którą nikt nie optymalizuje. Pobranie to statystyka. Zgłoszenie to przysługa. Ktoś, kto zgłasza drugi raz, uznał, że pierwsze było warte jego czasu, a tę decyzję podejmuje wyłącznie na podstawie tego, co z nim zrobiłeś.

700 → 30 → 6 Cztery procent grających napisało raz. Mniej niż procent pisze dalej. Wszystko poniżej dotyczy drugiego spadku, nie pierwszego.

Prośba, którą formułują prawie wszyscy, i dlaczego nie działa

Domyślna wersja brzmi mniej więcej dajcie znać, jeśli znajdziecie jakieś błędy. Brzmi życzliwie i nie daje prawie nic, z powodu, którego zobaczenie zajęło mi trzy buildy.

Poproszony o błędy, gracz zgłasza to, co go zirytowało. Mniej więcej połowa tego, co wcześniej dostawałem, opisywała rzeczy jeszcze niezbudowane. Mapa miała dzielnice, nad którymi dało się przelecieć i których nie dało się wydzierżawić. Ludzie pisali, że dzierżawa jest zepsuta. Nie była zepsuta. Nie istniała.

Każde takie zgłoszenie kosztowało nadawcę czas na napisanie, a mnie czas na przeczytanie, i żadne z nas niczego się nie dowiedziało. Nadawca dowiadywał się przy okazji, że napisanie kończy się odpowiedzią tłumaczącą mu, że się pomylił, co jest doskonałym sposobem, żeby nie napisał nigdy więcej.

Usuń szum w buildzie, nie w skrzynce

Rozwiązaniem nie była lepsza odpowiedź. Była nim etykieta. Nieskończone fragmenty gry noszą teraz żółtą plakietkę NOT IN THIS BUILD, w grze, w miejscu, w którym gracz stoi, kiedy się gubi.

Odruch, z którym to walczy

Chowanie niedokończonej pracy wydaje się bezpieczniejsze. Wygląda bardziej profesjonalnie i chroni przed oceną za coś, co nie jest gotowe.

Gwarantuje też, że dziura zostanie zgłoszona jako błąd, bo z zewnątrz nie ma różnicy między funkcją, której brakuje, a funkcją zepsutą. Nie chowasz dziury. Chowasz tabliczkę z napisem dziura.

Mniej więcej połowa zgłoszeń przestała przychodzić. To, co nadal przychodzi, dotyczy rzeczy naprawdę zepsutych, a wolę wydać widoczną lukę niż schludne kłamstwo. Ktoś pod postem w mediach społecznościowych ujął to lepiej niż ja: oznaczenie dziury zamienia obcych ludzi w testerów zamiast w krytyków.

Pytanie, które zastąpiło „czy ci się podobało”

Wszystko, co wysyłam, kończy się tą samą prośbą i celowo nie dotyczy ona opinii:

W którym momencie przestałeś grać i co wtedy próbowałeś zrobić?

Działa z trzech powodów. Pyta o moment, a nie o ocenę, więc ma konkretną odpowiedź. Zakłada, że gracz przestał, co zdejmuje niezręczność przyznania się do tego. I jest jedyną rzeczą, której nie widzę od środka projektu: wiem, co robi każdy ekran, więc nie widzę, który z nich gubi ludzi.

Porównaj z czy ci się podobało, które ma dwie odpowiedzi i obie są bezużyteczne. Tak to uprzejmość. Nie to nic, z czym da się cokolwiek zrobić.

Odpisuj tym, czym to się okazało

To jest ta część, która daje tę szóstkę, i kosztuje jakieś dziesięć minut na zgłoszenie.

Kiedy ktoś pisze, znajduję przyczynę i mówię mu, czym to naprawdę było. Nie dzięki, zanotowane. Mechanizm. Jeden tester zgłosił, że pasek na ekranie pokazuje źle, i pomylił się co do tego, który to pasek; sprawdzając, czy ma rację, znalazłem prawdziwy błąd dwie metody dalej. Napisałem mu to, tymi słowami. Mylił się co do objawu i miał rację, że coś tu pachnie, co jest trudniejsze i bardziej przydatne niż zwykłe trafienie.

Przysyła teraz zgłoszenia w tempie, o które nie prosiłem. W sobotę, kiedy wyszedł ostatni build, napisał o wpół do szóstej, że zajrzy wieczorem albo nazajutrz. O dwudziestej dwadzieścia przysłał trzy.

Co ta odpowiedź naprawdę kupuje

Nie życzliwość. Kalibrację. Tester, który dowiaduje się, w co zamieniło się jego zgłoszenie, pisze następne lepiej, bo wie już, które szczegóły miały znaczenie. Te sześć osób, które piszą dalej, podaje ekran, czynność i oczekiwanie. Żadna nie podawała ich na początku.

Nie czytaj koperty

Jedno zgłoszenie przyszło z adresu, który kilka osób uznało za żart, zanim przeczytało treść. Ja też o mało tego nie zrobiłem.

Pisało, że muzyka się nie wycisza. Miało rację i było gorzej, niż opisywało: film wstępny omijał oba suwaki głośności, więc wyłączenie dźwięku nie robiło nic z jedyną rzeczą, która gra, zanim gracz dotknie czegokolwiek innego. Pierwsze wrażenie całej gry ignorowało jedyną kontrolkę, po którą człowiek sięga.

Był to najużyteczniejszy błąd, jaki ktokolwiek przysłał mi tamtego tygodnia, a rzecz, którą zmieniłem, nie była kodem dźwięku. Był nią sposób, w jaki czytam skrzynkę.

Co znajdują ludzie, a czego nie znajdują testy

Projekt ma 1619 automatycznych testów i 87 takich, które ładują scenę i ją fotografują. Żaden z nich nie znalazł nic z poniższych.

Co znalazł człowiekDlaczego test nie mógł
Dwanaście skończonych systemów bez wejścia Test wywołuje kod wprost. Gracz musi znaleźć przycisk. Każdy z tych dwunastu był poprawny, pokryty testami i podpięty do niczego.
Dwa produkty z identyczną liczbą użytkowników, co do dziesiętnego miejsca Znalezione przez wydanie drugiego produktu i spojrzenie na oba. Żaden test nigdy nie porównywał dwóch obok siebie.
„Rzeczy znikają, kiedy się na nie patrzy” Karta zamykała się przy każdej zmianie dnia, czyli mniej więcej co półtorej sekundy. Każde przebudowanie było z osobna poprawne. Ta skarga istnieje tylko wtedy, gdy ktoś czyta.
Slot w szafie, którego nigdy nie dało się kliknąć, w żadnym buildzie Kod decydował, czy slot przyjmuje kliknięcie, zanim cokolwiek przypisało mu obsługę. Elementy istniały, więc każdy test strukturalny przechodził.
Pasek samouczka zasłaniający trzecią część każdego ekranu Zarezerwowane miejsce było stałą, której nikt nigdy nie zmierzył. Grałem obok tego kilka dni i czytałem to jako tło.

Wzór jest za każdym razem ten sam. Testy sprawdzają, czy coś działa, kiedy się to wywoła. Ludzie odkrywają, czy cokolwiek do tego prowadzi i czy to, co robi, ma sens dla kogoś, kogo nie było przy pisaniu.

Płać im w jedynej walucie, jaką masz

Nigdy nie zapłaciłem testerowi. Dostają nazwisko w napisach wydanej gry, odpowiedź traktującą ich zgłoszenie jak pracę, i grę za darmo, kiedy trafi na Steam.

Jedna z tych osób gra w każdy build z kartką i długopisem i wciąż znajduje klasy błędów, których tysiąc automatycznych testów nie znajduje. Inne zgłoszenie opisywało całą gałąź badań, której nie było na ekranie, i właśnie ta jedna wiadomość otworzyła audyt, który ostatecznie znalazł osiemnaście nieosiągalnych systemów. Żadna z tych osób nic mi nie jest winna i właśnie dlatego ich czas warto chronić.

Jeśli chcesz to u siebie spróbować

Cztery rzeczy, w kolejności od tej, której nauka kosztowała mnie najmniej:

  1. Oznacz to, co nie jest zbudowane, w buildzie, tam gdzie powstaje zamieszanie. To usuwa najwięcej zgłoszeń najmniejszym kosztem.
  2. Pytaj, gdzie przestali, a nie czy im się podobało.
  3. Odpisuj przyczyną, nazwaną, również wtedy, gdy mylili się co do objawu.
  4. Czytaj treść, nie nadawcę.

Nic z tego się nie skaluje i nie musi. Sześć osób wystarczy, kiedy każda z nich widzi coś, czego strukturalnie nie możesz zobaczyć.

Pytania, które ludzie zadają

Dlaczego zgłoszenia od graczy zwykle tak mało mówią?

Bo prośba jest otwarta. Poproszony o błędy gracz zgłasza to, co go zirytowało, a to często rzecz, której jeszcze nie zbudowano. Pytanie o to, gdzie przestał i co próbował zrobić, daje zgłoszenie o momencie, w którym gra go straciła.

Jak przestać dostawać zgłoszenia o niezbudowanych funkcjach?

Oznaczyć je w buildzie. Żółta plakietka NOT IN THIS BUILD na nieskończonych fragmentach mapy usunęła tutaj mniej więcej połowę przychodzących zgłoszeń.

Co sprawia, że tester wraca drugi raz?

To, że dowiaduje się, czym jego zgłoszenie się okazało. Odpowiedź nazywająca przyczynę kosztuje dziesięć minut i jest różnicą między jednym zgłoszeniem a osobą, która szuka dalej.

Czy oceniać zgłoszenie po nadawcy?

Nie. Jedno zgłoszenie przyszło tutaj z adresu, który kilka osób uznało za żart. Był to najużyteczniejszy błąd tamtego tygodnia: film wstępny omijał oba suwaki głośności.

Każde zgłoszenie w tym artykule jest prawdziwe i dotyczyło Scaling Laws, tycoona o firmie AI wydanego jako darmowy publiczny build z otwartym kodem.

Strona gry i kod źródłowy · Osiemnaście nieosiągalnych systemów, które znalazł ten audyt