AI Act a system ERP: na co zwrócić uwagę, wybierając rozwiązanie z AI

Unijne rozporządzenie o sztucznej inteligencji, czyli AI Act, wchodzi w życie etapami. Od lutego 2025 obowiązuje zakaz systemów o niedopuszczalnym ryzyku oraz obowiązek dbania o kompetencje pracowników korzystających z AI. Od sierpnia 2025 stosuje się przepisy dla modeli ogólnego przeznaczenia, a od 2 sierpnia 2026 rozporządzenie stosuje się co do zasady w całości. Wyjątkiem są systemy wysokiego ryzyka: po zmianach z pakietu upraszczającego (tzw. AI Omnibus, w mocy od 27 lipca 2026) ich wymogi zaczną obowiązywać 2 grudnia 2027 dla zastosowań z załącznika III, np. kadr, oraz 2 sierpnia 2028 dla AI wbudowanej w produkty regulowane. Za najpoważniejsze naruszenia grożą kary do 35 mln euro lub 7% światowego obrotu.

Przesunięcie terminów nie zmienia jednego: system ERP kupuje się na lata. Funkcje AI, które wybierasz dziś, będą działać w firmie wtedy, gdy wymogi dla wysokiego ryzyka już obowiązują. Dlatego pytania o zgodność trzeba zadać przy wyborze rozwiązania, a nie przy pierwszej kontroli.

Kiedy ERP z AI wymaga szczególnej uwagi?

Większość zastosowań AI w firmie, np. odczyt faktur, podpowiedź konta księgowego czy prognoza zapasów, to niskie ryzyko. Inaczej jest, gdy AI wspiera rekrutację, ocenę pracowników, decyzje o awansach czy ocenę zdolności kredytowej osób fizycznych. Wtedy potrzebna jest pełna audytowalność i nadzór człowieka. Zgodność nie wynika z samego systemu, tylko z tego, do czego używasz konkretnych funkcji.

Ten sam ERP może więc być w jednej firmie narzędziem niskiego ryzyka, a w drugiej obsługiwać proces wysokiego ryzyka. Moduł kadrowy, który tylko importuje dokumenty do e-teczki, nie podejmuje decyzji o ludziach. Moduł, który na podstawie danych sam układa ranking kandydatów albo typuje pracowników do zwolnienia, wchodzi w obszar zatrudnienia wymieniony w załączniku III rozporządzenia.

Szybki test: w której grupie jest Twoja firma

Zanim zaczniesz rozmowę z dostawcą, przejdź przez funkcje AI, które chcesz uruchomić, i przy każdej odpowiedz na trzy pytania:

• czy wynik AI wpływa na sytuację konkretnej osoby (kandydata, pracownika, klienta indywidualnego)?
• czy ktoś podejmuje decyzję, opierając się głównie na tym wyniku, bez własnej analizy?
• czy AI działa w obszarze kadr, kredytowania, edukacji lub dostępu do usług?

Jeśli wszędzie odpowiadasz „nie”, najpewniej mówimy o niskim ryzyku. Wtedy głównym obowiązkiem pozostaje przeszkolenie ludzi i przejrzystość: użytkownik powinien wiedzieć, że rozmawia z czatem, a nie z konsultantem. Jedno „tak” przy kadrach lub ocenie osób oznacza, że trzeba dokładniej przeanalizować dany przypadek, najlepiej z prawnikiem.

Pięć pytań do dostawcy

Czy system zapisuje, kto uruchomił operację, jaki model AI brał udział i na jakich danych? Czy człowiek może odrzucić lub cofnąć wynik AI? Czy działanie i ograniczenia AI są opisane w dokumentacji? Jak system wykrywa stronniczość danych, np. w kadrach? Czy można wybrać model językowy albo uruchomić go lokalnie, bez wysyłania danych na zewnątrz?

Na każde z tych pytań powinna paść konkretna odpowiedź, najlepiej pokazana na demonstracji. „Mamy logi” to za mało. Poproś, żeby dostawca otworzył historię jednej operacji i pokazał, co w niej widać: użytkownika, datę, polecenie, wynik i to, kto go zatwierdził.

Za co odpowiada dostawca, a za co Twoja firma

AI Act rozdziela obowiązki. Dostawca systemu odpowiada za to, jak AI zostało zaprojektowane: dokumentację, jakość danych treningowych, możliwość nadzoru i rejestrowania zdarzeń. Firma, która z systemu korzysta (w rozporządzeniu to „podmiot stosujący”), odpowiada za sposób użycia.

Przy systemach wysokiego ryzyka ten drugi zestaw obowiązków jest dość konkretny. Firma ma używać systemu zgodnie z instrukcją, wyznaczyć do nadzoru osoby z odpowiednimi kompetencjami i uprawnieniami, przechowywać automatycznie generowane logi co najmniej przez sześć miesięcy oraz poinformować pracowników i ich przedstawicieli, zanim zacznie stosować taki system w miejscu pracy. Pełny tekst rozporządzenia znajdziesz w serwisie EUR-Lex.

Z tego wynika praktyczna wskazówka: nawet najlepiej zaprojektowany ERP nie zapewni zgodności, jeśli nikt w firmie nie przegląda wyników AI albo jeśli funkcję kadrową uruchomiono bez wiedzy załogi.

Typowe błędy przy wyborze

• Traktowanie deklaracji „zgodny z AI Act” jako gwarancji. Producent może zaprojektować system zgodnie z zasadami, ale ocena konkretnego zastosowania zawsze należy do firmy.
• Włączanie wszystkich funkcji AI naraz. Łatwiej kontrolować dwa dobrze opisane zastosowania niż dziesięć, o których nikt nie pamięta.
• Brak właściciela procesu. Każda funkcja AI powinna mieć osobę, która wie, do czego służy, i reaguje, gdy wyniki są dziwne.
• Pomijanie szkoleń. Obowiązek dbania o kompetencje w zakresie AI obowiązuje od lutego 2025, niezależnie od poziomu ryzyka.

Jak przygotować firmę przed wdrożeniem

1. Spisz zastosowania AI, które planujesz, z krótkim opisem: kto korzysta, jakie dane, jaka decyzja zapada na podstawie wyniku.
2. Oznacz te, które dotyczą ludzi, zwłaszcza w kadrach. Dla nich zaplanuj zatwierdzanie przez człowieka i przegląd wyników.
3. Sprawdź, gdzie trafiają dane i czy dostawca modelu nie wykorzystuje ich do trenowania.
4. Ustal, kto i jak często przegląda historię operacji AI.
5. Przeszkol użytkowników z ograniczeń AI, nie tylko z obsługi przycisków.

Taki rejestr zastosowań przyda się też przy audycie bezpieczeństwa i przy RODO, bo duża część pytań się pokrywa. Szerzej o tej części piszemy w tekście o bezpieczeństwie danych przy wdrażaniu AI w firmie.

Co deklaruje producent enova365

Producent enova365 deklaruje projektowanie funkcji AI i workflow zgodnie z AI Act, z pełną historią operacji i możliwością pracy z różnymi modelami. Według opisu na stronie enova.pl wynik przygotowany przez AI trafia do systemu dopiero po akceptacji użytkownika, a jeśli dane nie mogą opuszczać firmy, można podłączyć model działający na własnych serwerach. To dobre odpowiedzi na pytania z listy powyżej, ale sposób użycia nadal ustalasz Ty.

Przy wdrożeniach AI w FX2 pilnujemy tych samych zasad, także w rozwiązaniach budowanych na zamówienie. Gdy planujesz uruchomić AI w enova365, możemy razem przejść przez listę zastosowań i ocenić, które z nich wymagają dodatkowego nadzoru.