Kto odpowiada za błędy agenta AI

Odpowiedzialność za proces pozostaje po stronie firmy. Dostawca modelu, wykonawca wdrożenia i pracownik obsługujący sprawę mają różne role, ale klient nie powinien ponosić skutków niejasnego podziału obowiązków wewnątrz organizacji.

Granice ustala się przed uruchomieniem

Firma wskazuje, jakie dane agent może czytać, co wolno mu zapisać i które działania wymagają zatwierdzenia. Im większy skutek decyzji, tym mocniejsza powinna być kontrola człowieka. Dostęp do CRM nie musi oznaczać prawa do zmiany każdej informacji, a przygotowanie wiadomości nie musi oznaczać jej samodzielnej wysyłki.

Wdrożenie musi pozwalać odtworzyć błąd

Trzeba zachować dane wejściowe, użyte źródła, wynik i wykonane działanie. Bez tego zespół nie wie, czy zawiódł model, brakująca wiedza, integracja czy źle opisana reguła procesu.

Powtarzalne zasady, takie jak routing, ograniczenia uprawnień i obsługa statusów, powinny być realizowane zwykłym kodem. Model służy do oceny treści, a nie do zastępowania reguł, które można zapisać jednoznacznie.

Procedura po wykryciu problemu

1. Zatrzymanie działania, które może powiększać skutek błędu.
2. Ustalenie zakresu spraw objętych problemem.
3. Przywrócenie poprawnego stanu i poinformowanie właściwych osób.
4. Naprawa źródła oraz test na danych, które ujawniły błąd.
5. Powrót do pracy dopiero po potwierdzeniu poprawnego przebiegu.

Takie podejście zastosowano między innymi w centrali powiadomień z automatyczną diagnozą.