Rachunek za AI przewidywalny jak abonament

Problem

Im więcej automatyzacji, tym więcej wywołań modeli AI, a każde zadanie ma inny model i inną cenę. Bez pomiaru koszty rosną w trzech cichych miejscach. Zadania odpalane na droższym modelu niż potrzeba, nieudane wywołania powtarzane w pętlach oraz awarie, których nikt nie widzi, bo skrypt "działa", tylko zwraca pustkę.

Co zbudowałem

• Jedna centrala "cel do modelu", w której każde zadanie AI ma przypisany najtańszy model, który daje wymaganą jakość. Zmiana modelu to jeden wpis w konfiguracji.
• Testy A/B na realnych danych produkcyjnych z automatycznym sędzią. Progiem wejścia jest co najmniej 70% wygranych i remisów oraz zero błędów krytycznych. Tańszy model wygrywa liczbami albo nie wchodzi.
• Marnotrawstwo, czyli nieudane wywołania, powtórki i pętle, jest raportowane i wycinane, zamiast po cichu podbijać rachunek.

Trzy werdykty z liczbami zamiast opinii

• Tani model odrzucony przy ekstrakcji danych z dokumentów, bo test wykazał, że fabrykuje detale. Decyzja zapadła na liczbach z testu, nie na wrażeniu.
• Dwie ciche awarie wykryte pomiarem. Wycofany przez dostawcę model tygodniami zwracał puste wyniki w dwóch zadaniach.
• Incydent przekroczenia limitu wydatków rozłożony do pojedynczego skryptu, który nadpisywał klucz konfiguracji. Poprawka trafiła do skryptu, nie w podwyższenie limitu.

Co z tego wynika dla Twojej firmy

Jeśli masz już wdrożone AI, prawdopodobnie płacisz za drogie modele w prostych zadaniach i nie wiesz o awariach, które nie rzucają błędów. Audyt kosztów AI to tydzień pracy i policzalny wynik. Widzisz, gdzie ucieka budżet, co przełączyć i co się cicho psuje.