Audyt harnessu agentowego z @wondelai/harness-audit
EN@wondelai/harness-audit to otwarte narzędzie CLI, które ocenia dowolne repozytorium w skali Poziomu 0–5 w sześciu stanowiskach fabryki oprogramowania — Intencji, Harnessie, Pętli, Grafie, Weryfikacji i Wydaniu — analizując zacommitowane pliki, bramki CI, wyrocznie testowe i konfiguracje agentów lokalnie w mniej niż dwie sekundy. Programiści, tech leadzi i CTO używają go, by zastąpić subiektywną samoocenę mierzalnymi dowodami z repozytorium.
Większość zespołów przeszacowuje swój poziom autonomii, ponieważ ankiety badają intencje zamiast realnego stanu Gita. Tech lead może być przekonany o szczelności zabezpieczeń, podczas gdy CLAUDE.md przekroczył 400 linii, .codex/config.toml wciąż zawiera wycofaną politykę untrusted, a CI w żaden sposób nie chroni plików testowych przed osłabianiem przez agentów.
Co mierzy automatyczny audyt harnessu
Dział zatytułowany „Co mierzy automatyczny audyt harnessu”Subiektywne formularze zapisują to, jak zespół chciałby pracować. @wondelai/harness-audit czyta dokładnie to środowisko, które zastają Claude Code, Codex i Cursor na starcie sesji, mapując wyniki na Drabinę Autonomii Dana Shapiro (styczeń 2026) oraz sześć stanowisk fabryki oprogramowania:
| Stanowisko | Co weryfikują deterministyczne kontrole repozytorium | Przewodnik w kanonie |
|---|---|---|
| 1. Intencja | Zwięzły AGENTS.md (≤ 150 linii), cienkie @AGENTS.md w CLAUDE.md, reguły ścieżkowe, skille i szablony PR/specyfikacji | AGENTS.md i kontekst |
| 2. Harness | Jawna polityka uprawnień i sandboksa (wykrywanie wycofanego untrusted w Codexie), hooki z stop_hook_active, higiena MCP i ochrona sekretów | Uprawnienia i sandboksy · Hooki agentów |
| 3. Pętla | Jedna komenda weryfikacji (lint, typecheck, test, build), ścisłe typowanie, deterministyczny formatter i zacommitowany lockfile | Repozytorium gotowe na agentów |
| 4. Graf | Skrypty worktree lub .worktreeinclude, izolacja portów i stanu oraz definicje subagentów zakresowych | Worktree Gita · Środowiska efemeryczne |
| 5. Weryfikacja | Prawdziwe testy jednostkowe i E2E, ochrona wyroczni w CODEOWNERS/CI, niski poziom .skip i wyciszeń, automatyczne PR review (np. .cursor/BUGBOT.md), funkcje dopasowania | Siła wyroczni · Ochrona wyroczni |
| 6. Wydanie | Bramki CI na PR, szablon pakietu dowodów, automatyzacja zależności oraz obserwowalność błędów na produkcji | Pakiet dowodów · Zdrowie bazy kodu |
Pełny katalog kontroli znajdziesz w referencji kontroli harness-audit.
Dlaczego twarde progi poziomów blokują zawyżone oceny
Dział zatytułowany „Dlaczego twarde progi poziomów blokują zawyżone oceny”Repozytorium z wzorowym AGENTS.md i dwudziestoma skillami — ale bez testów, ochrony wyroczni i bramek CI — nadal działa na Poziomie 2. Zwykła średnia punktów ukryłaby tę lukę, dlatego @wondelai/harness-audit egzekwuje twarde ograniczenia poziomów:
| Deklarowany poziom | Minimalny dowód wymagany w repozytorium |
|---|---|
| Poziom 1–2 | Podstawowy plik instrukcji i powtarzalne komendy budowania/testów |
| Poziom 3 | Jedno źródło instrukcji, deterministyczna pętla weryfikacji, jawna polityka uprawnień i bramki CI |
| Poziom 4 | Silna Weryfikacja (prawdziwe testy, ochrona wyroczni, automatyczne PR review) oraz izolacja Grafu |
| Poziom 5 | Pełne pokrycie sześciu stanowisk wraz z pakietami dowodów, funkcjami dopasowania architektury i obserwowalnością |
Twarde progi czynią audyt wiarygodnym narzędziem dla CTO i zespołów platformowych porównujących dziesiątki repozytoriów: wysoki wynik w Intencji nie zamaskuje niechronionej wyroczni ani braku sandboksa.
Uruchom audyt i zamykaj luki krok po kroku
Dział zatytułowany „Uruchom audyt i zamykaj luki krok po kroku”-
Uruchom bezkonfiguracyjny skan lokalny. Wykonaj w katalogu głównym repozytorium — bez kluczy API, bez wywołań sieciowych i bez wysyłania kodu:
Okno terminala npx @wondelai/harness-audit --lang pl -
Uchwyć sygnały procesowe niewidoczne w plikach. Dodaj opcjonalny, 7-pytaniowy wywiad terminalowy o adopcji w zespole, wieku kolejki PR i kontroli kosztów:
Okno terminala npx @wondelai/harness-audit --interview --role lead --lang pl -
Wygeneruj prompt naprawczy albo podejrzyj minimalny szkielet. Eksportuj instrukcję naprawczą dopasowaną do repozytorium dla Claude Code, Codexa lub Cursora — albo sprawdź bezinwazyjny szkielet przed zapisem plików:
Okno terminala npx @wondelai/harness-audit --prompt --lang pl --out HARNESS-FIX-PROMPT.mdnpx @wondelai/harness-audit init --dry-run -
Udostępnij raport i włącz bramkę regresji w CI. Wygeneruj samodzielny raport HTML dla liderów i dodaj sprawdzenie w CI, aby wynik harnessu nie spadał w kolejnych pull requestach:
Okno terminala npx @wondelai/harness-audit --format html --lang pl --out harness-report.htmlnpx @wondelai/harness-audit --ci --min-score 65
Zweryfikuj, że poprawki z audytu naprawdę podniosły bezpieczeństwo
Dział zatytułowany „Zweryfikuj, że poprawki z audytu naprawdę podniosły bezpieczeństwo”Wyższy wynik liczy się dopiero wtedy, gdy dodane mechanizmy zatrzymują realne defekty. Łącz każdy PR wynikający z audytu z trzema sprawdzeniami:
- Ponowny skan deterministyczny w CI: potwierdź, że
--ci --min-scoreprzechodzi bez zaniżania progów i że zdjęto blokujący limit poziomu na naprawianym stanowisku. - Żywe próby kanarkowe: samo istnienie pliku hooka lub sekcji sandbox spełnia kontrolę statyczną; udowodnij realną odmowę przez przypadki testowe hooków, test kanarkowy sandboksa i kanarek defektów repozytorium.
- Śledzenie wyników w wielu repozytoriach: archiwizuj cykliczne raporty HTML lub JSON dla kluczowych serwisów, aby liderzy techniczni mierzyli realny postęp strukturalny zamiast samej objętości wygenerowanego kodu (ramy metryk).
Kiedy audyty harnessu wprowadzają w błąd
Dział zatytułowany „Kiedy audyty harnessu wprowadzają w błąd”- Zespoły nabijają wynik pustymi szablonami. Dodanie ogólnikowego
AGENTS.md, atrap hooków czy tautologicznych testów odhacza kontrolki statyczne bez poprawy bezpieczeństwa. Łącz skany statyczne z--deep, wykrywaniem slopu oraz testami kanarkowymi. - Inżynierowie szlifują mocne stanowiska, ignorując limity poziomów. Podniesienie Intencji z 85 do 95 nie odblokuje organizacji zatrzymanej na Poziomie 2 przez słabą Weryfikację. Najpierw domykaj najniżej ocenione stanowisko blokujące.
- Uruchamianie
initbez przeglądu obecnych plików. Zawsze podglądaj zmiany przeznpx @wondelai/harness-audit init --dry-run, aby szkielet był spójny z istniejącymAGENTS.md, menedżerem pakietów i układem CI. - Traktowanie jednego audytu jako stałego certyfikatu. Konwencje narzędzi, modele i potoki CI zmieniają się co kwartał. Utrzymuj
--ci --min-scorew workflow PR i podnoś próg po większych wdrożeniach.
Strona narzędzia, książki i wsparcie zespołowe
Dział zatytułowany „Strona narzędzia, książki i wsparcie zespołowe”Sprawdź interaktywny opis na /pl/harness-audit/, poznaj otwarte wydania książkowe na /pl/books/, a bieżącą składnię poprawek sprawdzaj w oficjalnej dokumentacji: Claude Code, OpenAI Codex, Cursor, Agent Skills oraz MCP.
Czy ten artykuł Ci pomógł?
Jedno kliknięcie, bez logowania.
Co z tym zrobisz?
Jak się czytało?
Co przeszkadzało? Możesz zaznaczyć kilka
Twoja rola?
Dzięki. Czytam każdą odpowiedź. Michał Jaskólski
Pomógł Ci ten artykuł?
Każde to jedno kliknięcie. Zamknij, kiedy chcesz.
bez logowania