Kto pilnuje pilnujących? Dylemat etyki w algorytmach nadzoru
Systemy nadzoru oparte na sztucznej inteligencji już dziś decydują o tym, kto zostanie zatrzymany na lotnisku, komu bank odmówi kredytu albo który uczeń ściągał na egzaminie. Coraz częściej jednak okazuje się, że te pozornie obiektywne algorytmy utrwalają społeczne nierówności. W 2020 roku głośna stała się sprawą narzędzia do oceny ryzyka przestępczości COMPAS, które czarnoskórym oskarżonym przypisywało wyższe wskaźniki recydywy niż białym – nawet przy identycznych aktach oskarżenia. To nie błąd systemu, a odbicie naszych własnych uprzedzeń zapisanych w danych treningowych.
Problem w tym, że większość obecnie stosowanych rozwiązań powstaje w laboratoriach technologicznych gigantów, gdzie nacisk kładzie się raczej na efektywność niż sprawiedliwość. Tymczasem brak przejrzystości w działaniu algorytmów tworzy współczesną wersję średniowiecznego czarnej skrzynki – wiemy, jakie dane wchodzą i jakie decyzje wychodzą, ale mechanizm pomiędzy pozostaje niejasny nawet dla twórców systemu. To rodzi fundamentalne pytanie: jak możemy wymagać odpowiedzialności od czegoś, czego nie rozumiemy?
Mapa pułapek: gdzie najczęściej zawodzą algorytmy nadzoru
Analiza setek wdrożonych systemów pokazuje kilka kluczowych punktów zapalnych. Po pierwsze – dane historyczne. Algorytmy uczą się na przeszłych decyzjach ludzkich, które same bywają naznaczone dyskryminacją. Policyjne systemy predykcyjne w USA, analizując historyczne zatrzymania, automatycznie wskazują dzielnice zamieszkane przez mniejszości jako wysokiego ryzyka, utrwalając błędne koło nadmiernego nadzoru. Po drugie – problem proxy. Nawet gdy usuniemy wrażliwe dane jak rasa czy płeć, algorytm znajdzie zastępcze wskaźniki: kod pocztowy może stać się wyznacznikiem statusu etnicznego, a historia zakupów – orientacji seksualnej.
Mniej oczywistym, ale równie groźnym zjawiskiem jest iluzja obiektywności. Badania pokazują, że ludzie ufają rekomendacjom algorytmicznym bardziej niż ocenom innych ludzi, nawet gdy są ewidentnie błędne. W jednym z eksperymentów sędziowie, otrzymując sugerowane przez system wyroki, rzadziej je kwestionowali, traktując komputerową propozycję jako neutralną. Tymczasem za każdym algorytmem stoją konkretni programiści z konkretnymi wartościami – tylko że ukrytymi pod płaszczykiem matematycznej elegancji.
Narzędzia audytu: jak przebić się przez iluzję neutralności
Na szczęście powstają już praktyczne metody wykrywania algorytmicznych uprzedzeń. Framework FATML (Fairness, Accountability, and Transparency in Machine Learning) proponuje testowanie systemów pod trzema kątami: przed wdrożeniem (analiza danych treningowych), podczas działania (monitoring decyzji) i po fakcie (badanie skutków). Ciekawym narzędziem jest tzw. test równoległych wszechświatów – sprawdza, czy identyczne przypadki różniące się tylko chronioną cechą (np. kolorem skóry) otrzymują taką samą ocenę.
Wiele organizacji opracowuje już własne checklisty audytowe. Amnesty International sprawdza m.in. czy system: 1) ma jasno zdefiniowany cel nadzoru, 2) posiada mechanizmy zgłaszania błędów, 3) regularnie aktualizuje dane treningowe, 4) jest badany pod kątem różnego rodzaju dyskryminacji. Niektóre miasta, jak Amsterdam czy Helsinki, publikują nawet rejestry używanych algorytmów wraz z ich oceną etyczną – to podejście godne naśladowania.
Poza technologią: kto powinien ponosić odpowiedzialność?
Największym wyzwaniem okazuje się nie samo tworzenie narzędzi audytu, ale określenie, komu przypisać winę za szkody. Czy odpowiedzialność spoczywa na programistach, którzy nie przewidzieli pewnych scenariuszy? Na menedżerach wdrażających system bez odpowiednich testów? A może na regulatorach, którzy nie stworzyli jasnych standardów? Prawnicy wskazują, że obecne ramy prawne są kompletnie nieprzystosowane do ery algorytmów – próby wtłoczenia ich w istniejące kategorie prawne przypominają próbę naprawy smartfona śrubokrętem do mebli.
Być może rozwiązaniem byłoby stworzenie nowej instytucji – czegoś w rodzaju rzecznika praw algorytmicznych lub komisji etyki AI. Takie ciało mogłoby prowadzić niezależne dochodzenia w sprawie kontrowersyjnych decyzji systemów nadzoru, podobnie jak rzecznicy praw obywatelskich badają przypadki dyskryminacji. Kluczowe wydaje się też wprowadzenie obowiązku wyjaśnialności – prawo każdej osoby do zrozumienia, na jakiej podstawie algorytm podjął wobec niej decyzję, w języku zrozumiałym dla przeciętnego obywatela, nie tylko dla ekspertów od machine learning.
Technologia nadzoru rozwija się w tempie, z którym etyka i prawo nie nadążają. Ale to nie powód, by rezygnować z prób jej okiełznania. Historia uczy, że systemy kontroli, które nie kontrolują same siebie, zawsze prowadzą do nadużyć. Algorytmy nie są ani dobre, ani złe – stają się tym, co zrobimy z ich potencjałem. Dlatego audyt etyczny nie powinien być dodatkiem do systemów nadzoru, ale ich fundamentem. Inaczej obudzimy się w świecie, gdzie to nie ludzie decydują o algorytmach, ale algorytmy decydują o ludziach.
