Kontrola kosztów zadań wykonywanych przez modele AI

Problem

Im więcej automatyzacji, tym więcej wywołań modeli AI, a każde zadanie ma inny model i inną cenę. Bez pomiaru koszty mogą rosnąć przez zadania uruchamiane na droższym modelu niż potrzeba, nieudane wywołania powtarzane w pętlach oraz puste wyniki, których skrypt nie zgłasza jako błędu.

Co zbudowałem

• Jedna centrala „cel do modelu”, w której każde zadanie AI ma przypisany najtańszy model, który daje wymaganą jakość. Zmiana modelu to jeden wpis w konfiguracji.
• Testy A/B na realnych danych produkcyjnych z automatycznym sędzią. Progiem wejścia jest co najmniej 70% wygranych i remisów oraz zero błędów krytycznych. Tańszy model wygrywa liczbami albo nie wchodzi.
• Raport wskazuje nieudane wywołania, powtórki i pętle, które zwiększają rachunek bez poprawy wyniku.

Trzy decyzje podjęte na podstawie testów

• Odrzuciłem tani model przy ekstrakcji danych z dokumentów, bo test wykazał, że dodaje nieistniejące szczegóły.
• Pomiar wykrył dwie ciche awarie. Wycofany przez dostawcę model tygodniami zwracał puste wyniki w dwóch zadaniach.
• Przekroczenie limitu wydatków wyśledziłem do pojedynczego skryptu, który nadpisywał klucz konfiguracji. Poprawka trafiła do skryptu, nie w podwyższenie limitu.

Co z tego wynika dla Twojej firmy

Audyt kosztów porównuje zadania, modele, nieudane wywołania i pętle. Trwa tydzień i kończy się listą miejsc, w których warto sprawdzić tańszy model, poprawić konfigurację albo zatrzymać zbędne wywołania.