ROI toolingu AI — dowody, które dają pełny wynik

Pełny wynik w pytaniu Q23 z CTO Scorecard daje pakiet dowodów, a nie procent: koszt zaakceptowanej zmiany dla okresu bazowego i bieżącego, dopasowane kohorty z zapisanymi czynnikami zakłócającymi, lead time i wskaźniki jakości dla tej samej pracy oraz niepewność podana jako przedziały. Sama metoda ma jedną stronę: ekonomię oprogramowania budowanego przez agentów.

Ta strona jest dla CTO, który odpowiedział na Q23 („Czy masz liczbowe ROI ze stosowania AI tooling?”) i chce wiedzieć, czego wymaga najwyższa odpowiedź. Typowa sytuacja: finanse pytają o zwrot z budżetu na AI, jeden lider zespołu mówi, że czas code review spadł o 30%, drugi przysyła anegdoty, a nikt nie potrafi powiedzieć, ile dziś kosztuje wdrożona zmiana w porównaniu z zeszłym rokiem. Ta strona pokazuje, których elementów ci brakuje, i kieruje do strony, która buduje każdy z nich. Nie powtarza metody.

Ile jest warta każda odpowiedź na Q23 i czego jej brakuje

Q23 to jedno z pytań sekcji „Strategia i ROI” w CTO Scorecard. Znajdź swoją obecną odpowiedź i uzupełnij lukę z jej wiersza. Każdy wiersz to jeden krok; przeskok z pierwszego wiersza do ostatniego zwykle kończy się arkuszem, któremu nikt nie ufa.

Twoja odpowiedź	Punkty	Czego brakuje	Następny krok
„Wydaje się szybciej”	0	Jakiejkolwiek liczby z systemu źródłowego	Zbierz punkt odniesienia: zmergowane PR-y, reverty i wydatki na narzędzia za ostatni kwartał, według metody kosztu zaakceptowanej zmiany
Anegdoty od liderów zespołów	1	Definicji, którą dwie osoby policzą tak samo	Przyjmij definicję zaakceptowanej zmiany i sześć składników kosztu bez zmian, a potem zamroź je na cały okres
Jedna lub dwie metryki, np. „30% mniej czasu na review”	2	Pełnego kosztu, wskaźnika jakości, grupy porównawczej i niepewności	Dodaj brakujące składniki kosztu, zestaw metrykę z change failure rate z frameworków metryk i przeprowadź pilotaż na dopasowanych kohortach
Dopasowane kohorty bazowa i bieżąca obejmujące lead time zaakceptowanej zmiany, jakość, wynik i pełny koszt, z zapisaną niepewnością i czynnikami zakłócającymi	3	Niczego w Q23; aktualizuj dowody co kwartał	Zamień je w decyzję budżetową w business case i przedstaw z pomocą zestawu do raportowania zarządowi

Co zawiera pakiet dowodów do Q23?

Traktuj to jako listę kryteriów akceptacji odpowiedzi za 3 punkty. Każdy punkt wskazuje stronę, do której należy metoda, więc organizacja ma jedną metodę ROI zamiast osobnej w każdym zespole.

Koszt jednostkowy, dwa razy. Koszt zaakceptowanej zmiany dla okresu bazowego i bieżącego: licencje, zużycie, CI i weryfikacja, code review, poprawki i incydenty, podzielone przez PR-y zmergowane i niecofnięte w ciągu 30 dni. Właściciel: ekonomia.
Porównanie, które kontroluje oczywiste zakłócenia. Dopasowana lub równoległa kohorta kontrolna, rejestr czynników zakłócających i wielkość próby ustalona przed startem okresu. Właściciel: projekt pilotażu.
Przepływ i jakość dla tej samej pracy. Lead time zaakceptowanej zmiany z medianą i p90 oraz change failure rate i defekty wykryte na produkcji jako wskaźniki ochronne, których niższy koszt jednostkowy nie może uśrednić. Właściciel: frameworki metryk.
Wynik, a nie aktywność. Zwolnione godziny zamieniają się w pieniądze tylko wtedy, gdy widać przepustowość przesuniętą na pozycje roadmapy, uniknięty koszt albo wcześniejszy przychód. W innym razie raportuj je jako przepustowość. Właściciel: ekonomia.
Niepewność na widoku. Przedziały zamiast mnożników, wielkość próby przy każdej liczbie z próbkowania i odsetek incydentów bez przypisanej zmiany.
Reguła decyzyjna zapisana wcześniej. Próg dla decyzji „rozszerz”, „kontynuuj”, „zawęź” albo „zatrzymaj”, podpisany, zanim ktokolwiek zobaczy wynik. Właściciel: bramki stop w business case; sfinansowane zakłady trafiają na roadmapę toolingu AI.

Pakiet jest taki sam niezależnie od agentów, których używają twoje zespoły. Claude Code, Codex i Cursor różnią się tylko źródłem liczby zużycia, a strona o ekonomii podaje eksport dla każdego narzędzia.

I am answering CTO Scorecard Q23: "Do you have numerical ROI from AI tooling?"
The full-score answer is: matched baseline and current cohorts covering accepted
lead time, quality, outcome and total cost, with uncertainty and confounders recorded.

Read the attached ROI material (slides, spreadsheet, dashboards export). For each of
these six items, answer PRESENT, PARTIAL or MISSING and quote the cell or sentence:
1. cost per accepted change for a baseline and a current period, all six cost terms
   (licenses, usage, CI and verification, review, rework, incidents);
2. a matched or concurrent comparison cohort and a confounder register;
3. accepted lead time (median and p90) for the same work;
4. change failure rate or escaped defects as a guardrail;
5. value shown through redeployed capacity, avoided cost or revenue timing, not hours x salary;
6. ranges, sample sizes and a decision rule dated before the result.
End with the one item to fix first and why. Do not invent a number that is not in the material.

Jak zweryfikować odpowiedź na Q23?

Nikt nie powinien czytać arkusza komórka po komórce, żeby mu zaufać. Odpowiedź się broni, gdy przechodzi cztery testy:

Da się ją odtworzyć. Druga osoba uruchamia zapytania na danych źródłowych (system kontroli wersji, CI, faktury, postmortemy) z zamrożonymi definicjami i dostaje ten sam koszt jednostkowy z dokładnością do zaokrągleń.
Zgadza się z księgowością. Pozycje licencji, zużycia i CI odpowiadają temu, co zapłaciły finanse. Rozbieżność zwykle oznacza klucz API rozliczany poza raportami samych narzędzi.
Wskaźniki ochronne wytrzymały. Niższy koszt zaakceptowanej zmiany przy rosnącym change failure rate oblewa test, niezależnie od tego, jak dobrze wygląda główna liczba.
Dwa podpisy. Partner z finansów podpisuje pozycje kosztowe, lider inżynierii podpisuje mianownik i próbki godzin, a ty jako CTO odpowiadasz za definicje i każdą ich zmianę.

Act as a skeptical CFO who has read METR's 2025 randomized trial and its 2026 follow-up on AI developer tools.
Review the attached ROI summary and list every claim that would not survive the
question "how do you know?". For each: the claim, the evidence offered, what is
missing (baseline, comparison cohort, full cost, guardrail, sample size, dated
decision rule), and the weaker statement the evidence does support. Treat vendor
case studies as context, never as evidence of our own return.

Co idzie nie tak przy odpowiedzi na Q23?

Każdy zespół ma własny arkusz ROI. Jeden mnoży zaoszczędzone godziny przez stawkę, inny liczy PR-y. Liczb nie da się zsumować ani porównać. Wyjście: wycofaj lokalne metody i policz dla każdego zespołu jeden koszt zaakceptowanej zmiany według szablonu ze strony o ekonomii.

Punkt odniesienia zebrano po wdrożeniu. Bez okresu sprzed zmiany każda poprawa jest zgadywaniem. Wyjście: odtwórz punkt odniesienia z historii repozytorium, CI i faktur za kwartał przed wdrożeniem i oznacz go jako odtworzony.

Jedna dobra metryka udaje ROI. „30% mniej czasu na review” to odpowiedź za 2 punkty: nie mówi nic o koszcie, poprawkach ani incydentach. Wyjście: wpisz ją do arkusza jako jedną z danych wejściowych pozycji code review, obok pozostałych pięciu składników kosztu.

Zaoszczędzone godziny stają się oszczędnościami. Ankieta pomnożona przez pensję trafia do prezentacji dla zarządu, a finanse nie znajdują tych pieniędzy. Wyjście: przenieś ją do pozycji przepustowości i nazwij przesunięcie pracy, uniknięty koszt albo datę przychodu, które zamieniłyby ją w gotówkę.

Case study dostawcy zastępuje własne dowody. Wynik innej firmy opisuje jej kod i jej proces review, nie twoje. Wyjście: cytuj go jako kontekst, a decyzję zostaw własnemu pilotażowi.

Dokąd dalej po Q23

Q22 poprzedza to pytanie i dostarcza pomiarów; Q24 zamienia wynik w sfinansowane zakłady.

Ekonomia oprogramowania budowanego przez agentów Jedyna metoda ROI w serwisie: koszt zaakceptowanej zmiany, przykład liczbowy i szablon arkusza.

Pilotaż, który czegoś dowodzi Dopasowane kohorty, rejestr czynników zakłócających, wielkość próby i reguła decyzyjna podpisana z góry.

Q22 · Panel metryk AI Zrównoważone pomiary, na których opiera się to pytanie.

Q24 · Roadmapa toolingu AI Finansuj zakłady z bramkami awansu i zatrzymania.