Tematy - Sztuczna inteligencja

System sztucznej inteligencji wygenerował błędny wynik, firma zatrzymała jego działanie, poprawiła ustawienia i uruchomiła go ponownie. Przy zwykłej usterce taka reakcja może okazać się wystarczająca. AI Act wyodrębnia jednak kategorię poważnych incydentów, po których samo usunięcie problemu technicznego nie zamyka sprawy. Znaczenie mają skutki zdarzenia, związek pomiędzy działaniem systemu a powstałą szkodą oraz rola firmy w łańcuchu dostarczania i wykorzystywania AI.

Pracownik chce szybciej przeanalizować umowę, poprawić kod, podsumować dokument albo przygotować odpowiedź dla klienta. Otwiera więc prywatne konto w wybranym narzędziu AI i wkleja potrzebne informacje. Cała operacja trwa kilka minut i może odbyć się bez wiedzy działu IT, przełożonego oraz osób odpowiedzialnych za bezpieczeństwo. Tak powstaje shadow AI – wykorzystanie systemów sztucznej inteligencji poza oficjalną kontrolą organizacji.

Firma może zbudować proces, w którym sztuczna inteligencja przygotowuje rekomendację, a ostateczną decyzję formalnie zatwierdza pracownik. Na papierze człowiek pozostaje więc w centrum procesu. AI Act wymaga jednak, aby nadzór nad systemami wysokiego ryzyka był skuteczny, a nie sprowadzony do obecności osoby, która automatycznie akceptuje kolejne wyniki. Pracownik powinien rozumieć ograniczenia systemu, mieć odpowiednie kompetencje i rzeczywiste uprawnienia do zakwestionowania rekomendacji.

System sztucznej inteligencji od kilku lat analizuje dokumenty kandydatów do pracy, wspiera ocenę klientów albo pomaga podejmować decyzje dotyczące określonych usług. Firma może uznać, że skoro narzędzie zostało wdrożone przed rozpoczęciem stosowania nowych wymogów AI Act, jego sytuacja prawna jest ustalona. Nie zawsze będzie to bezpieczne założenie. Znaczenie może mieć nie tylko data uruchomienia systemu, ale również to, co przedsiębiorstwo zrobiło z nim później. Nie tylko głęboka przebudowa, ale też dodanie nowych funkcji albo zmiana celu wykorzystania mogą spowodować konieczność ponownej oceny rozwiązania.

Sztuczna inteligencja

Nie każdy błąd AI można naprawić. Przepisy przewidują poważne incydenty i procedury

Pracownik uruchomił AI bez zgody firmy. Ryzyko nie kończy się na danych

Pracownik musi kontrolować AI. Sam przycisk „zatwierdź” może nie wystarczyć

Firma korzysta z AI od kilku lat. Modernizacja systemu może uruchomić nowe obowiązki