22 sierpnia dodałem do Scaling Laws jeden test PlayMode, którego całym zadaniem było narysować jedną stronę interfejsu do tekstury i zapisać ją na dysk jako PNG. Nic nie porównywał. Nie miał żadnej linii bazowej. Zapisywał obrazek.
W pierwszym przebiegu znalazł cztery błędy. Zestaw testów miał wtedy 683 pozycje, wszystkie zielone, i były zielone przez cały czas trwania każdego z tych czterech.
Te cztery
Wypisuję je w całości, bo wzór jest ważniejszy niż którykolwiek z nich osobno. Żaden nie jest egzotyczny. Każdy był już wydany.
| Co pokazał obrazek | Dlaczego żaden test tego nie złapał |
|---|---|
| Każdy stylizowany przycisk rysował swój tekst w lewym górnym narożniku siebie zamiast na środku. | Napis miał poprawny tekst, poprawny rozmiar czcionki i poprawną obsługę kliknięcia. Każda właściwość, którą test umie nazwać, była poprawna. Błędem były dwie brakujące linie wyrównania, a wyrównanie nie ma obserwowalnej wartości, którą da się sprawdzić. |
| Jedenaście kafelków cech nie miało grafiki. Karty były, tekst był, miejsce na obrazek puste. | Kod poprawnie nazywał każdy obrazek i te nazwy się rozwiązywały. Nic ich nigdy nie rysowało. Test pytający, czy karta zna swoją grafikę, przechodzi; pytanie, czy grafika jest na ekranie, dotyczy pikseli. |
| Pasek różnicy rysował wzrost o dwa punkty jako pełną szerokość przy odczycie, w którym liczba pod nim była ujemna. | Pasek skalował się swoją wartością po zmianie. Przy ujemnej wartości po zmianie arytmetyka dawała udział wypełnienia powyżej jedynki, co obcina się do pełna. Liczba wydrukowana pod paskiem była poprawna. Kłamał tylko pasek. |
| Pieniądze drukowały się jako 20,00 $ zamiast 20.00 $. | Format to :N2, który idzie za kulturą maszyny. Na mojej maszynie
jest to polska. Każdy test walut porównywał się z napisem wyprodukowanym
przez tę samą kulturę maszyny, więc obie strony były błędne razem. |
Ten ostatni to cały argument w miniaturze
Test, który formatuje liczbę i porównuje ją z inną sformatowaną liczbą, nie może znaleźć błędu formatowania, bo pomyłka siedzi w kroku, który obie strony mają wspólny. Można napisać sto takich testów, a build nadal będzie drukował złą walutę każdemu, kto ma inne ustawienia regionalne niż ty.
Obrazek nie ma wspólnego kroku z kodem, który go narysował. To cały powód, dla którego on działa.
Dlaczego asercja strukturalnie nie może tego zobaczyć
Warto być tu precyzyjnym, bo wnioskiem nie jest pisz więcej testów.
Asercja nazywa wartość i ją porównuje. Błąd layoutu nie jest wartością, jest relacją. Karta, która wychodzi za swoją stronę o dwanaście pikseli, ma poprawną szerokość i siedzi w poprawnym kontenerze. Błąd istnieje wyłącznie w arytmetyce między nimi, a tę arytmetykę wykonuje silnik layoutu po tym, jak twój kod skończył się wykonywać. W chwili, w której jest źle, nie zostaje już nic, o czym twój kod mógłby orzekać.
Da się orzekać o relacji i w dwóch konkretnych przypadkach niżej właśnie to robię. Ale najpierw trzeba wiedzieć, którą relację podejrzewać, a tym, co mówi ci, którą podejrzewać, jest popatrzenie na nią.
Zanim to powstało, jedynym sposobem, żeby popatrzeć na ekran UI Toolkit w tym projekcie, było otworzyć edytor, wczytać scenę, dograć do właściwego stanu i znaleźć stronę. To kilka minut na ekran, a ekranów jest teraz ponad osiemdziesiąt. W praktyce oznaczało to, że na ekrany, które niedawno ruszałem, ktoś patrzył, a na resztę nie. Arkusz stylów całego jednego obszaru był niepodłączony przez tygodnie przy 170 zielonych testach, a jedna brakująca klasa złożyła całą prawą połowę kreatora modeli, bo nikt nie miał powodu otworzyć ani jednego, ani drugiego.
Mechanizm, w około czterdziestu linijkach
To cały mechanizm. Nie jest sprytny i to jest sedno: cokolwiek trudniejszego od tego nie zostaje napisane.
Trzy szczegóły w środku są nośne i każdy z nich kosztował mnie jeden przebieg nauki.
Zrób instancję PanelSettings. Użycie assetu projektu wprost działa, a potem asset zostaje wycelowany w render teksturę, której już nie ma, i gra otwiera się bez żadnego interfejsu. Skopiuj go.
Czekaj dłużej, niż się wydaje potrzebne. Kilkanaście klatek plus większość sekundy brzmi absurdalnie dla statycznej strony. Nie jest. UI Toolkit rozwiązuje layout przez kilka klatek, a wszystko z przejściem wejściowym albo zaplanowanym odsłonięciem rusza się jeszcze po pierwszej. Moje wczesne klatki były zdjęciami w połowie narysowanych stron, a jeden wieczór straciłem na pasek, który okazał się być w połowie animacji.
Wyjście wrzuć do folderu z tyldą. ScreenProof~/ z tyldą na
końcu to nie ozdoba. Unity całkowicie ignoruje foldery z tyldą, więc osiemdziesiąt PNG-ów
nie zamienia się w osiemdziesiąt zaimportowanych assetów z osiemdziesięcioma plikami meta
w twoim diffie.
Dwie rzeczy, na których nie można zaufać obrazkowi
Zapisana klatka, której nikt nie otwiera, jest warta zero, a nikt nie otwiera osiemdziesięciu takich po każdym przebiegu. Dlatego test sprawdza te dwa błędy, które człowiek przeoczy patrząc prosto na obrazek.
Pierwsza: że cokolwiek zostało narysowane
To pułapka, której bym nie przewidział. Render tekstura, do której nic nie narysowało, wraca jako płaski prostokąt w kolorze czyszczenia. Kolor czyszczenia jest tu bardzo ciemnoniebieski, bo gra jest ciemna. Zdjęcie ekranu, który zawiódł całkowicie, i zdjęcie ciemnego ekranu, który zadziałał, to na pierwszy rzut oka to samo zdjęcie.
Dlatego test mierzy rozrzut: odległość między najjaśniejszą i najciemniejszą próbką w klatce, brana co trzydziesty siódmy piksel, i wymaga więcej niż dwóch procent.
Próbkowanie co trzydziesty siódmy piksel, a nie wszystkich dwóch milionów, to nie optymalizacja, którą zmierzyłem, tylko po prostu tyle wystarczy. Strona, która nic nie narysowała, ma rozrzut zero, a strona, która narysowała cokolwiek, ma go dużo. Nie ma tu żadnego interesującego środka do rozstrzygania.
Druga: że nic nie wyszło za prawą krawędź
UI Toolkit przelewa się po cichu. Element szerszy niż jego rodzic nie przycina się, nie ostrzega i nic nie loguje. Zawija się albo wychodzi za krawędź, a jedno i drugie czyta się tak, jakbyś tak chciał.
Cztery karty cech w tym projekcie zmierzyły kiedyś 1352 piksele na stronie szerokiej 1340. Czwarta zawinęła się do własnego wiersza. Przez tygodnie zakładałem, że to decyzja layoutowa, którą ktoś podjął, możliwie że ja.
Te dwa piksele tolerancji mają znaczenie. Bez nich zaokrąglanie layoutu poniżej piksela zamienia to w test, który czasem wywala się bez powodu, a test, który wywala się bez powodu, to test, który wszyscy uczą się ignorować, co jest gorsze niż jego brak.
Jeden wyjątek i nie jest opcjonalny
Obchód musi pomijać elementy, które motyw runtime zbudował sam dla siebie, inaczej
sprawdzenie odpala się na wnętrznościach Unity. Reguła, na której stanąłem: element
liczy się jako wewnętrzny dla motywu tylko wtedy, gdy ma klasy i każda z nich zaczyna
się od unity-. Element bez żadnych klas nie jest wewnętrzny dla motywu,
jest niestylizowanym elementem, który zrobił projekt, a to dokładnie te warto łapać.
Ten, który kosztował najwięcej: 319 pikseli każdej karty
30 września gracz napisał, że niebieskie tło samouczka zakrywa każdą kartę. Nic niczego nie zakrywało, a to zgłoszenie jest najlepszą ilustracją, jaką mam, tego, dlaczego ta technika zarabia na siebie.
Pasek samouczka siedzi na dole ekranu, więc strona za nim potrzebuje zapasu. Ustawiłem ten
zapas jako paddingBottom na ScrollView.
ScrollView układa swój viewport wewnątrz własnego pudełka paddingu. Więc zapas wyszedł z widocznej połowy strony, a nie z przewijalnej. Zmierzone w 1920 na 1080: skroler o wysokości 943 piksele zachował 624 piksele viewportu, a pozostałych 319 pikseli każdej karty nie było rysowanych wcale. Własny kolor okna przeświecał przez dziurę, i to jest ten niebieski, który opisał gracz. A strony nie dało się tam zjechać, bo z punktu widzenia skrolera nie było tam niczego, do czego można by przewinąć.
Ta sama liczba na kontenerze treści to dodatkowa strona pod ostatnim wierszem, czyli dokładnie to, czym zapas ma być. Jedno słowo różnicy w ścieżce właściwości, w jedną albo drugą stronę trzecia część okna.
Jest teraz fikstura, która wczytuje scenę gry, otwiera długą kartę z podniesionym samouczkiem i mierzy viewport względem skrolera. Wywala się, jeśli ta różnica kiedykolwiek znowu zginie, a to jedyny rodzaj testu regresji wartego napisania: taki, który trzyma konkretną pomyłkę, którą już popełniłeś.
Czym to celowo nie jest
To nie są testy regresji wizualnej. Nie ma obrazów wzorcowych i nic nie jest porównywane między przebiegami, a chcę powiedzieć wprost dlaczego, bo oczywistym następnym krokiem jest dodać porównywanie, a ja się na to nie zdecydowałem.
Porównywanie z obrazem wzorcowym wywala się przy każdej zmianie, w tym każdej zamierzonej. Ja zmieniam wygląd tej gry co tydzień. W projekcie jednoosobowym, gdzie ta sama osoba zmienia wygląd i zatwierdza nową linię bazową, krok zatwierdzania w ciągu jakichś trzech tygodni staje się odruchem, a linia bazowa zatwierdzona bez patrzenia to linia bazowa, która poświadcza to, co właśnie zepsułeś.
Więc klatki są zapisywane, a sprawdzane są tylko fakty strukturalne. Obrazki są dla mnie, na te pięć minut po przebiegu, kiedy przeglądam nowe. Asercje są dla builda. To są dwie różne roboty i mieszanie ich jest tym, co sprawia, że testowanie wizualne po trzech miesiącach się porzuca.
Jak to wygląda teraz
Osiem tygodni później projekt ma 1 619 testów EditMode i 88 takich, które wczytują scenę, a 82 z tych scenowych zapisują klatkę. Folder trzyma zdjęcia mapy świata, wnętrza szafy serwerowej, planera wydania, menu pauzy, slotów zapisu, strony osiągnięć, komunikatora, książki adresowej, każdego etapu kreatora modeli i banneru inspekcji regulacyjnej.
Strona osiągnięć to ta, na którą bym wskazał. Czterdzieści siedem wierszy w dziesięciu grupach w karcie o wysokości 620 pikseli, rysowana w stanie, w którym widzi ją zupełnie nowy gracz, czyli z każdym wierszem zablokowanym. Żadna asercja nie powie mi, czy to czyta się jak zamierzone, czy jak zepsute. Obrazek powie, w jedną sekundę, a zanim to powstało, nikt tej strony nigdy nie otworzył.
Jeśli chcesz to dodać dzisiaj
- Jeden test, jedna strona, zero asercji. Zrenderuj swój najgęstszy ekran, zapisz PNG, otwórz go. Nie buduj frameworku. Wartość przychodzi w pierwszym przebiegu.
- Sprawdzenie płaskości dodaj od razu. To pięć linijek i to różnica między zestawem, który coś dowodzi, a folderem ciemnych prostokątów.
- Sprawdzenie przelania dodaj, kiedy pierwszy raz cię ugryzie. Z paroma pikselami luzu i z regułą pomijania dla elementów własnych twojego frameworku UI.
- Interesujący stan zbuduj ręcznie. Zrzut firmy z jednym wydaniem nie dowodzi niczego o layoucie, który jest potrzebny przy trzech. Moja fikstura buduje firmę z modelem aktualizowanym trzy razy, raz źle, bo ekran porównania ma co robić tylko w tym przypadku.
- Folder wyjściowy z tyldą i nie commituj klatek.
Koszt to jedno popołudnie. Zwrot to cztery wydane błędy w pierwszym przebiegu i zgłoszenie gracza, które zdiagnozowałem w dziesięć minut zamiast w weekend. Nie znalazłem w tym projekcie tańszej wymiany.
Pytania, które ludzie o to zadają
Dlaczego przechodzące testy nie łapią błędów layoutu?
Bo asercja czyta jedną wartość, a błąd layoutu jest relacją między pudełkami. Przycisk, którego napis siedzi w narożniku, ma poprawny tekst, rozmiar i obsługę kliknięcia, więc każda właściwość, którą umiesz nazwać, jest poprawna. Błąd istnieje wyłącznie w układzie, a układ jest obrazkiem.
Jak zrenderować ekran UI Toolkit do PNG w teście?
Utwórz RenderTexture, zinstancjonuj kopię własnych PanelSettings i ustaw jej
targetTexture na tę teksturę, dodaj UIDocument z tymi ustawieniami,
dołóż stronę, odczekaj kilkanaście klatek plus większość sekundy, żeby layout
i animacje wejścia się skończyły, a potem ReadPixels do Texture2D
i zapisz EncodeToPNG na dysk. Ustawienia skopiuj, nie używaj assetu
wprost, bo test zostawi prawdziwy wskazujący na teksturę, której już nie ma.
Co taki test powinien właściwie sprawdzać?
Dwie rzeczy, na których nie można zaufać człowiekowi patrzącemu na obrazek. Że cokolwiek zostało narysowane, bo pusta render tekstura to płaski prostokąt w kolorze czyszczenia, a na ciemnym interfejsie to wygląda jak sukces. I że nic nie wyszło za prawą krawędź, bo UI Toolkit przelewa się po cichu, a zawinięty wiersz czyta się jak decyzja.
Czy to testy regresji wizualnej z obrazami wzorcowymi?
Nie, celowo. Porównywanie z zatwierdzoną linią bazową wywala się też przy każdej zamierzonej zmianie, a kiedy jedna osoba i zmienia wygląd, i zatwierdza linię bazową, zatwierdzanie w ciągu kilku tygodni staje się odruchem. Linia bazowa zatwierdzona bez patrzenia poświadcza to, co właśnie zepsułeś. Zapisywanie klatek i sprawdzanie wyłącznie faktów strukturalnych zostawia obrazki użyteczne bez tego rytuału.
Dlaczego padding na ScrollView psuje stronę?
ScrollView układa swój viewport wewnątrz własnego pudełka paddingu, więc padding na
skrolerze skraca okno, a nie wydłuża strony. Tutaj skroler o wysokości 943 piksele
zachował 624 piksele viewportu, a pozostałych 319 pikseli każdej karty nigdy nie
zostało narysowanych i nie dało się tam zjechać, bo skroler był przekonany, że nic
tam nie ma. Ta sama wartość na contentContainer to dodatkowa strona na
dole, czyli to, czym zapas ma być.
Każdy błąd w tym artykule jest prawdziwy i został znaleziony
w Scaling Laws, tycoonie o firmie AI wydanym jako darmowy publiczny build z otwartym
źródłem. Mechanizm siedzi w Tests/PlayMode/ScreenProofTests.cs.
Strona gry i źródła · Osiemnaście systemów, do których nie dało się dojść