Kto odpowiada za błędy agenta AI

Firma odpowiada za własny proces, a szczegółowy podział odpowiedzialności zależy od ról, umów i konkretnego zdarzenia. Dostawca modelu, wykonawca wdrożenia i pracownik obsługujący sprawę mają różne role, które trzeba ustalić przed uruchomieniem agenta.

Granice ustala się przed uruchomieniem

Firma wskazuje, jakie dane agent może czytać, co wolno mu zapisać i które działania wymagają zatwierdzenia. Im większy skutek decyzji, tym mocniejsza powinna być kontrola osoby odpowiedzialnej za proces. Dostęp do CRM nie musi oznaczać prawa do zmiany każdej informacji, a przygotowanie wiadomości nie musi oznaczać jej samodzielnej wysyłki.

Błąd trzeba móc odtworzyć

Trzeba zachować dane wejściowe, użyte źródła, wynik i wykonane działanie. Bez tego zespół nie wie, czy zawiódł model, brakująca wiedza, integracja czy źle opisana reguła procesu.

Powtarzalne zasady, takie jak routing, ograniczenia uprawnień i obsługa statusów, zapisuj zwykłym kodem. Model służy do oceny treści, a nie do zastępowania reguł, które można zapisać jednoznacznie.

Procedura po wykryciu problemu

1. Zatrzymanie działania, które może powiększać skutek błędu.
2. Ustalenie zakresu spraw objętych problemem.
3. Przywrócenie poprawnego stanu i poinformowanie właściwych osób.
4. Naprawa źródła oraz test na danych, które ujawniły błąd.
5. Powrót do pracy dopiero po potwierdzeniu poprawnego przebiegu.

Takie podejście zastosowałem między innymi w centrali powiadomień z automatyczną diagnozą.