Pracownik musi kontrolować AI. Sam przycisk „zatwierdź” może nie wystarczyć

• Nadzór człowieka nad AI z konkretnym celem
• Pracownik nadzorujący AI z prawem do sprzeciwu
• Automatyczne zaufanie do wyników AI jako zagrożenie
• Kompetencje i szkolenie osoby kontrolującej AI
• Prawo do odrzucenia rekomendacji AI w praktyce
• Wynik systemu AI możliwy do zinterpretowania
• Procedury nadzoru nad systemem AI w firmie

Problem może pojawić się szczególnie tam, gdzie system przetwarza dużą liczbę spraw, a pracownik działa pod presją czasu. Jeżeli operator otrzymuje setki wyników dziennie, ma kilka sekund na każdy z nich i jest rozliczany przede wszystkim z szybkości, formalne prawo do odrzucenia rekomendacji może nie wystarczyć. Nadzór człowieka powinien być tak zorganizowany, aby umożliwiał rzeczywistą ocenę działania systemu.

Nadzór człowieka nad AI z konkretnym celem

AI Act wymaga, aby systemy wysokiego ryzyka były projektowane i rozwijane w sposób pozwalający na skuteczny nadzór osób fizycznych podczas ich używania. Celem jest zapobieganie lub ograniczanie ryzyka dla zdrowia, bezpieczeństwa i praw podstawowych, które może powstać także wtedy, gdy system jest wykorzystywany zgodnie z przeznaczeniem.

Zakres nadzoru powinien odpowiadać rodzajowi systemu, jego autonomii oraz ryzyku związanemu z konkretnym zastosowaniem. Inna kontrola będzie potrzebna przy rozwiązaniu wykonującym prostą analizę techniczną, a inna przy systemie wpływającym na zatrudnienie, dostęp do określonej usługi czy sytuację konkretnej osoby. Nie istnieje więc jeden uniwersalny model, który można zastosować w każdej organizacji.

Pracownik nadzorujący AI z prawem do sprzeciwu

Osoba odpowiedzialna za kontrolę systemu powinna mieć możliwość właściwego rozumienia jego możliwości i ograniczeń, monitorowania działania oraz wykrywania nieprawidłowości i nietypowych zachowań. Musi także potrafić prawidłowo interpretować wynik. Nie oznacza to, że każdy operator powinien znać techniczne szczegóły budowy modelu, ale powinien rozumieć rezultat w zakresie niezbędnym do podjęcia świadomej decyzji.

Najważniejsze są jednak uprawnienia. Człowiek powinien mieć możliwość zdecydowania, że w konkretnej sytuacji wynik systemu nie zostanie wykorzystany. Musi istnieć możliwość zignorowania rekomendacji, zmiany decyzji, a w odpowiednich przypadkach również zatrzymania systemu lub doprowadzenia go do bezpiecznego stanu. Nadzór traci znaczenie, gdy organizacja wymaga od pracownika odpowiedzialności za decyzję, ale nie daje mu realnego prawa do sprzeciwu.

Automatyczne zaufanie do wyników AI jako zagrożenie

AI Act zwraca uwagę na problem nadmiernego polegania na wynikach generowanych przez systemy. Człowiek może stopniowo zacząć ufać technologii tylko dlatego, że przez większość czasu działa ona prawidłowo. Im dłużej AI dostarcza poprawnych rekomendacji, tym większe ryzyko, że operator przestanie analizować kolejne wyniki z taką samą starannością.

Ten mechanizm może być szczególnie niebezpieczny przy procesach masowych. Rekruter analizujący pojedynczą rekomendację może poświęcić jej kilka minut. Osoba otrzymująca setki ocen może z czasem zacząć zatwierdzać je automatycznie. Formalnie nadal podejmuje decyzję człowiek, ale rzeczywisty kierunek działania wyznacza system.

Kompetencje i szkolenie osoby kontrolującej AI

Podmioty stosujące systemy wysokiego ryzyka powinny powierzać nadzór osobom posiadającym konieczne kompetencje, szkolenie i uprawnienia, a także zapewnić im odpowiednie wsparcie. Nie wystarczy więc wskazać dowolnego pracownika i uczynić go formalnym ogniwem pomiędzy systemem a ostateczną decyzją.

Operator powinien wiedzieć, do czego system został przeznaczony, w jakich sytuacjach jego wynik może być mniej wiarygodny, jakie ograniczenia wskazał dostawca i kiedy potrzebna jest dodatkowa weryfikacja. Musi również znać procedurę postępowania w przypadku wyniku nietypowego, sprzecznego z dostępnymi informacjami albo powtarzającego wcześniejsze błędy.

Prawo do odrzucenia rekomendacji AI w praktyce

Rzeczywisty nadzór zależy również od kultury organizacyjnej. Firma może w regulaminie zapisać, że pracownik ma prawo nie zgodzić się z systemem, a jednocześnie w praktyce traktować każdą rozbieżność jako problem. Jeżeli odstąpienie od rekomendacji wymaga wielostronicowego uzasadnienia, wpływa na wyniki pracownika albo prowadzi do ciągłych pytań ze strony przełożonych, operator może przestać korzystać z tego prawa.

Dlatego organizacja powinna jasno określić, w jakich sytuacjach kwestionowanie wyniku jest dopuszczalne, a kiedy wręcz oczekiwane. Przydatne mogą być procedury dodatkowej weryfikacji, analiza przypadków, w których człowiek nie zgodził się z systemem, oraz regularne badanie błędów.

Wynik systemu AI możliwy do zinterpretowania

Skuteczny nadzór jest trudny, gdy pracownik widzi wyłącznie końcową liczbę lub prosty komunikat. Jeśli system wskazuje „odrzucić”, „zaakceptować” albo przedstawia ocenę punktową, operator musi posiadać wystarczające informacje, aby zrozumieć znaczenie wyniku i jego ograniczenia.

Wymogi dotyczące przejrzystości systemów wysokiego ryzyka mają pozwalać podmiotowi stosującemu AI właściwie interpretować rezultaty i korzystać z systemu zgodnie z przeznaczeniem. Dostawca powinien przekazać informacje dotyczące między innymi możliwości i ograniczeń rozwiązania oraz środków nadzoru człowieka.

Procedury nadzoru nad systemem AI w firmie

Przedsiębiorstwo powinno ustalić, kto nadzoruje system, jakie ma uprawnienia i co dzieje się po wykryciu problemu. Potrzebna jest jasna ścieżka eskalacji wskazująca, kiedy sprawę przejmuje przełożony, dział techniczny, prawny lub osoba odpowiedzialna za zgodność.

Znaczenie ma również dokumentowanie powtarzających się problemów. Pojedynczy nietypowy wynik może być wyjątkiem, ale seria podobnych przypadków może świadczyć o problemie wymagającym szerszej analizy. Nadzór nie powinien więc kończyć się na decyzji konkretnego operatora. Musi być częścią całego systemu zarządzania AI w organizacji.

Słowa i frazy kluczowe: AI Act, nadzór człowieka nad AI, human oversight, kontrola sztucznej inteligencji, system AI wysokiego ryzyka, automation bias, pracownik nadzorujący AI, decyzje AI, obowiązki firmy

ŹRÓDŁA

• Rozporządzenie Parlamentu Europejskiego i Rady UE 2024/1689, art. 13, art. 14, art. 26
• Komisja Europejska, AI Act Service Desk
• Komisja Europejska, materiały dotyczące systemów AI wysokiego ryzyka
• Rada Unii Europejskiej, AI Omnibus