Czy sztuczna inteligencja potrafi zajrzeć w głąb naszych odczuć, rozpoznać emocje albo przypisać nas do określonej kategorii na podstawie twarzy, głosu czy sposobu poruszania się? AI Act nakłada na podmioty wdrażające takie systemy konkretne obowiązki przejrzystości. Nie są one jednak jedynym warunkiem legalnego korzystania z technologii biometrycznych.
W poprzednim wpisie omawialiśmy obowiązki oznaczania treści wygenerowanych lub zmodyfikowanych z wykorzystaniem sztucznej inteligencji. Tym razem skupiamy się na art. 50 ust. 3 rozporządzenia (UE) 2024/1689 (AI Act): obowiązku informowania osób poddawanych działaniu systemu rozpoznawania emocji lub systemu kategoryzacji biometrycznej.
Spis treści
Art. 50 ust. 3 AI Act - kogo i czego dotyczy?
Art. 50 ust. 3 AI Act nakłada szczególne obowiązki przejrzystości na wdrażających systemy sztucznej inteligencji, które wchodzą w najbardziej intymną sferę ludzkiego życia: analizę mimiki, emocji, zachowania ciała, tj. obejmują dane biometryczne.[1] Dane biometryczne, zgodnie z ich definicją w art. 4 ust. 14 rozporządzenia 2016/679 (RODO), stanowią dane osobowe, które wynikają ze specjalnego przetwarzania technicznego, dotyczą cech fizycznych, fizjologicznych lub behawioralnych osoby fizycznej oraz umożliwiają lub potwierdzają jednoznaczną identyfikację tej osoby, takie jak wizerunek twarzy lub dane daktyloskopijne (np. odciski palców).
Art. 50 ust. 3 AI Act adresowany jest do wdrażających, czyli podmiotów wykorzystujących system AI pod własnym nadzorem, z wyjątkiem użycia osobistego o charakterze nieprofesjonalnym. Informację, kim jest wdrażający można przeczytać w innym WPISIE. Na podmiotach tych ciąży obowiązek poinformowania osób fizycznych, że są poddawane działaniu takiego systemu. Dotyczy to osób, których dane są analizowane przez system - także do małoletnich. Nie chodzi wyłącznie o klientów czy użytkowników aplikacji. W zależności od przypadku informacja może być potrzebna również wobec gości, uczestników wydarzenia, pasażerów lub osób znajdujących się w przestrzeni objętej działaniem systemu.
Wyróżnia się dwie kategorie systemów sztucznej inteligencji:
- systemy rozpoznawania emocji
- systemy kategoryzacji biometrycznej
System rozpoznawania emocji: cel ma znaczenie
System rozpoznawania emocji to system AI służący do identyfikowania lub wnioskowania o emocjach albo intencjach osób fizycznych na podstawie danych biometrycznych. Kluczowy jest więc cel systemu oraz wykorzystanie danych biometrycznych, a nie sama obecność kamery, mikrofonu czy analizy obrazu. System taki dokonuje identyfikacji poprzez porównanie sygnałów biometrycznych z zaprogramowanymi wcześniej wzorcami emocji lub wnioskowania poprzez dedukowanie nastroju lub intencji za pomocą modeli uczenia maszynowego. Wnioskowanie zazwyczaj opiera się na uprzedniej identyfikacji sygnałów. [2]
Co więcej stany fizyczne takie jak ból lub zmęczenie nie są traktowane jako objęte systemami rozpoznawania emocji. Systemy te obejmują takie reakcje jak smutek, złość, gniew, szczęście, zaskoczenie, zażenowanie, ekscytacja, wstyd, pogarda, rozbawienie, satysfakcja.[3] W Aneksie nr 3 do draftu wytycznych na temat klasyfikacji systemów wysokie ryzyka wskazuje się także, że zwykła detekcja widocznych gołym okiem ruchów czy gestów jak marszczenie brwi, nie jest uznawana za rozpoznawanie emocji, chyba że te gesty lub mimika są bezpośrednio używane do wnioskowania o stanie emocjonalnym lub intencjach danej osoby.[4] Czyli, nie każda obserwacja zachowania jest rozpoznawaniem emocji. Sytuacja zmienia się, gdy system wykorzystuje takie sygnały, aby wnioskować np. o złości, stresie, satysfakcji, zaangażowaniu lub intencji danej osoby.
Przykładami systemów mogą być rejestrujące postawę ciała, mimikę i ruchy oczu gracza podczas rozgrywki, aby ocenić jego ekscytację, frustrację, rozbawienie w celu ulepszenia gry albo kamery na stadionie analizujące głosy, twarzy i ruchy tłumu, które alarmują ochronę, gdy atmosfera w danym sektorze zmienia się z przyjemnej na agresywną, a także algorytmy badające ton, wysokość i głośność głosu dzwoniącego lub odbierającego klienta, by ocenić jego poziom satysfakcji lub złości i w odpowiednim momencie przekierować go do konsultanta będącego człowiekiem.[5] Podobnie może być z narzędziem analizującym ton, wysokość i głośność głosu rozmówcy w celu oceny jego zadowolenia albo złości. Ostateczna kwalifikacja zawsze zależy od faktycznego celu, danych wejściowych i sposobu działania konkretnego rozwiązania.
Wykorzystywanie systemów rozpoznawania emocji w miejscu pracy oraz w instytucjach edukacyjnych jest całkowicie zabronione na mocy art. 5 ust. 1 lit. f AI Act. Wyjątkiem są sytuacje, gdy systemy te są tam stosowane ze względów medycznych lub bezpieczeństwa. Wszystkie inne zastosowania systemów rozpoznawania emocji np. w przestrzeni publicznej lub w usługach komercyjnych automatycznie kwalifikują się jako systemy wysokiego ryzyka.[6]
Systemy kategoryzacji biometrycznej: przyporządkowaniu do z góry określonej grupy
System kategoryzacji biometrycznej przypisuje osoby do określonych kategorii na podstawie ich danych biometrycznych. Nie służy on co do zasady unikalnej identyfikacji ani potwierdzeniu tożsamości, lecz przyporządkowaniu do z góry określonej grupy - przykładowo ze względu na wiek, płeć, stan zdrowia lub pochodzenie.
Kategoryzacja może wykorzystywać cechy fizyczne, fizjologiczne lub behawioralne, takie jak rysy twarzy, głos, chód lub dynamika pisania. Nie oznacza to jednak, że każde grupowanie użytkowników jest kategoryzacją biometryczną: podział wyłącznie według ubrania, akcesoriów czy aktywności w mediach społecznościowych nie musi spełniać tej definicji. Proces ten polega na ustaleniu, czy dane biometryczne danej osoby należą do grupy o określonej, z góry zdefiniowanej charakterystyce. System nie służy więc unikalnej identyfikacji osób ani weryfikacji ich tożsamości, a jedynie przyporządkowaniu do konkretnych kategorii. Kategoryzacja może opierać się na cechach fizycznych np. rysach twarzy, ale także na danych genetycznych lub cechach behawioralnych np. sposób chodzenia.
Nie każdy system kategoryzacji biometrycznej jest systemem wysokiego ryzyka. Taka kwalifikacja może zależeć m.in. od tego, czy system ma kategoryzować osoby według cech wrażliwych lub chronionych na podstawie wnioskowania z danych biometrycznych.
Dla obowiązku informacyjnego z art. 50 ust. 3 AI Act istotne jest, że może on znaleźć zastosowanie niezależnie od tego, czy dany system zostanie zakwalifikowany jako wysokiego ryzyka. Kwalifikacja ryzyka wpływa natomiast na inne obowiązki wynikające z AI Act. Systemy te mogą być sklasyfikowane jako systemu wysokiego ryzyka oraz systemy nienależące do tej grupy. Aby system kategoryzacji biometrycznej był uznany za wysokiego ryzyka musi być przeznaczony do kategoryzacji ludzi według wrażliwych lub chronionych cech na podstawie wnioskowania z ich danych biometrycznych. Cechy te są chronione jako szczególne dane wrażliwe zgodnie z art. 9 ust. 1 RODO.[7]
Systemem zatem wysokiego ryzyka może być algorytm rejestrujący chód pacjenta, który na tej podstawie wnioskuje o jego stanie zdrowia np. wykrywa wczesne stadia chorób objawiających się problemami z poruszaniem się i przypisuje ich do określonych grup zaawansowania danej choroby albo system kamer analizujących ruch pasażerów na lotnisku przetwarzający rysy twarzy, który na tej podstawie wnioskuje o pochodzeniu etnicznym w celu tworzenia profili lub podejmowania działań operacyjnych przez właściwe służby.[8]
Systemem nie będącym wysokiego ryzyka może być system analizujący dynamikę pisania na klawiaturze w celu przypisania płci użytkownika i wyświetlania mu spersonalizowanych reklam (płeć nie jest daną szczególnie wrażliwą, zgodnie z art. 9 RODO) albo systemy szacujące wiek za pomocą analizy twarzy lub pisania na klawiaturze w celu blokowania dzieciom dostępu do hazardu, alkoholu, tytoniu czy szkodliwych treści online.
Poniżej opisany obowiązek wdrożeniowców dotyczy wszystkich systemów kategoryzacji biometrycznej, niezależnie od tego, czy zostały zakwalifikowane jako systemy wysokiego ryzyka.
Najpierw sprawdź zakazy z art. 5 AI Act[9]
Przejrzystość nie zastępuje analizy dopuszczalności zastosowania. AI Act zakazuje co do zasady stosowania systemów rozpoznawania emocji w miejscu pracy i instytucjach edukacyjnych. Wyjątek dotyczy zastosowań medycznych lub związanych z bezpieczeństwem.
Samo przekazanie osobie jasnej informacji nie legalizuje zastosowania objętego zakazem. Przed wdrożeniem należy więc ustalić nie tylko, czy i jak spełnić obowiązek z art. 50 ust. 3, lecz także czy planowane wykorzystanie systemu jest w ogóle dopuszczalne w świetle art. 5 AI Act.
Podmiot wdrażający musi jasno i wyraźnie poinformować każdą osobę fizyczną, że są one poddawane działaniu takiego systemu, w tym również małoletnich.
Kiedy i jak przekazać informację?
Obowiązek poinformowania osób fizycznych o działaniu systemów rozpoznawania emocji lub kategoryzacji biometrycznej musi zostać spełniony najpóźniej w momencie pierwszej ekspozycji lub pierwszej interakcji z systemem. Rekomendowana jest natomiast praktyka, by ten komunikat następował z wyprzedzeniem. W praktyce najbezpieczniejszym rozwiązaniem będzie komunikat uprzedzający: przed uruchomieniem funkcji w aplikacji, przed wejściem do strefy objętej analizą albo przed rozpoczęciem rejestrowania obrazu czy głosu.
Komunikat musi być jasny. Jego forma powinna odpowiadać kontekstowi: może to być widoczna informacja w interfejsie, ekran startowy, oznaczenie przy wejściu, komunikat głosowy lub połączenie tych rozwiązań. Warto uwzględnić potrzeby osób z niepełnosprawnościami, a także dzieci i osób starszych - m.in. czytelny język, odpowiedni kontrast, zgodność z technologiami asystującymi oraz alternatywne kanały przekazu. Informacja powinna być przekazana w sposób odróżnialny od otoczenia towarzyszącemu komunikatowi. Ponadto informacja powinna także być dostosowana do wymogów dostępności (o których więcej można przeczytać w naszym odrębnym WPISIE), to jest być zrozumiała dla osób z niepełnosprawnościami oraz w przypadku gdy system występuje w kontekście związanym z małoletnimi i osobami starszymi, przyjazna dla tych grup wiekowych.
AI Act nie wymaga, aby sam komunikat zawierał pełny opis techniczny modelu. Powinien jednak rzetelnie wskazywać, że dana osoba podlega działaniu odpowiedniego rodzaju systemu. Szersze informacje mogą zostać udostępnione warstwowo, np. w polityce prywatności lub materiałach wyjaśniających. Wystarczy poinformować o samym fakcie działania systemu rozpoznawania emocji lub systemu kategoryzacji biometrycznej. Nie ma potrzeby podawania szczegółowych celów czy technicznych aspektów działania algorytmu.
W wytycznych Komisja Europejska podaje przykłady jak komunikat może zostać umieszczony, aby był widoczny dla odbiorcy. Wskazuje się np. by w świecie wirtualnym umieszczać centralnie okno pop-upowe z komunikatem o poddawaniu działania systemowi rozpoznawania emocji lub kategoryzacji biometrycznej wyświetlane przed uruchomieniem gry komputerowej, tak aby poinformować odbiorcę, że jego wizerunek jest rejestrowany by analizować emocje lub przypisać go do określonej grupy wiekowej.
W przypadku wykorzystania systemów w świecie fizycznym np. przy każdym wejściu do sklepu, w którym taki system jest wykorzystywany np. by na podstawie wizerunku osoby kategoryzować ludzi do określonych grup wiekowych, komunikat powinien znajdować się w dobrze widocznym miejscu.
AI Act a RODO
Relacja między obowiązkami oznaczania i przejrzystości wynikającymi z art. 50 AI ACT a przepisami o ochronie danych osobowych (RODO) opiera się na zasadzie komplementarności i przestrzeganiu prywatności. AI Act stosuje się bez uszczerbku dla przepisów rozporządzenia RODO, co oznacza, że żadne regulacje AI Act nie zastępują, nie ograniczają ani nie wyłączają stosowania RODO. Każdy zatem wdrożeniowiec powinien równolegle i w pełni przestrzegać obu reżimów prawnych.
Obowiązek informacyjny wynikający z AI Act funkcjonuje obok obowiązków z zakresu ochrony danych osobowych. Nie zastępuje podstawy prawnej przetwarzania danych ani nie zwalnia z realizacji obowiązków informacyjnych przewidzianych w RODO.
Dane biometryczne - w rozumieniu art. 4 pkt 14 RODO - mogą stanowić dane osobowe uzyskane w wyniku szczególnego przetwarzania technicznego, dotyczące cech fizycznych, fizjologicznych lub behawioralnych osoby. Jeżeli są przetwarzane w celu jednoznacznej identyfikacji, mogą podlegać szczególnemu reżimowi art. 9 RODO. W każdym przypadku należy ocenić podstawę prawną z art. 6 RODO, a gdy ma zastosowanie art. 9 - również właściwy wyjątek od zakazu przetwarzania szczególnych kategorii danych. Nie można zatem z góry przyjąć, że zawsze konieczna będzie zgoda; zależy to od okoliczności, celu i podstawy prawnej danego procesu.
W celu uniknięcia zjawiska tzw. ślepoty banerowej Wytyczne Komisji Europejskiej dotyczące oznaczania treści rekomendują jako dobrą praktykę łączenie komunikatów wynikających z AI ACT z klauzulami informacyjnymi wymaganymi przez RODO.
AI Act a Kodeks praktyk
Kodeks praktyk dotyczący przejrzystości treści generowanych przez AI koncentruje się na oznaczaniu i wykrywaniu treści generowanych lub manipulowanych przez AI na gruncie art. 50 ust. 2 i 5 AI Act oraz na oznaczaniu deepfake’ów i publikowanych tekstów na gruncie art. 50 ust. 4 i 5 AI Act. Nie ustanawia on szczegółowych zasad wykonania obowiązku informacyjnego z art. 50 ust. 3. Nie należy więc traktować Kodeksu jako samodzielnej podstawy zgodności systemu rozpoznawania emocji lub kategoryzacji biometrycznej. Ogólne wskazówki dotyczące jasności, odróżnialności, dostępności oraz przekazywania informacji przy pierwszej ekspozycji mogą być użytecznym punktem odniesienia projektowego. Nie zastępują jednak kwalifikacji systemu i odrębnej analizy obowiązków z art. 50 ust. 3.
Praktyczna lista kontrolna dla wdrażającego
- ustal, jaki jest rzeczywisty cel systemu i czy rozpoznaje emocje albo dokonuje kategoryzacji biometrycznej
- zidentyfikuj dane wejściowe, w tym dane biometryczne i dane osobowe, oraz oceń ich niezbędność
- określ swoją rolę jako wdrażającego oraz podział odpowiedzialności z dostawcą i innymi podmiotami
- zaprojektuj jasny, odróżnialny komunikat dostępny przed pierwszą ekspozycją lub interakcją
- zapewnij dostępność komunikatu, w tym dla osób z niepełnosprawnościami, małoletnich i osób starszych
- udokumentuj kwalifikację systemu, sposób realizacji obowiązku oraz przeprowadzone testy komunikatu
- zweryfikuj podstawę prawną z art. 6 RODO oraz - gdy ma zastosowanie - przesłankę z art. 9 RODO
- przeanalizuj zakazy z art. 5 AI Act, w szczególności w środowisku pracy i edukacji
- wprowadź procedurę aktualizacji informacji, reagowania na skargi i korygowania nieprawidłowości.
Słowem podsumowania
Art. 50 ust. 3 AI Act ma zapewnić, aby osoby fizyczne nie były nieświadomie poddawane działaniu systemów rozpoznawania emocji lub kategoryzacji biometrycznej. Dobrze przygotowany komunikat jest ważnym elementem zgodności, lecz nie jest jedynym: trzeba równolegle ocenić zakazy z art. 5 AI Act, właściwą kwalifikację systemu oraz wymogi RODO. W praktyce najważniejsze pozostaje pytanie o cel i rzeczywiste działanie narzędzia. To ono pozwala odróżnić zwykłą analizę obserwowalnego zachowania od systemu wnioskującego o emocjach lub przypisującego osobę do kategorii na podstawie danych biometrycznych.
