Algorytmy dyskryminują i wykluczają. To ma społeczne konsekwencje

Ilustracja: Ashutosh Goyal/Pixabay

Wykluczenie algorytmiczne to zjawisko, które między innymi poprzez nieodpowiedni dobór danych do analizy powoduje, że jednym grupom ludzi – na skutek działania takiej technologii – jest lepiej, a drugim gorzej. Dzieje się tak, ponieważ społeczeństwo i kulturę trudno uchwycić w postaci danych cyfrowych. Zazwyczaj gorzej jest tym osobom, które i tak są marginalizowane w społeczeństwie – np. kobietom, osobom nieheteronormatywnym, osobom czarnoskórym czy osobom biedniejszym.

Skutki wykluczenia algorytmicznego

Algorytmy z reguły działają na olbrzymich zbiorach danych, które są przetwarzane szybko i na dużą skalę. Dlatego podejmowane decyzje mają wpływ na ogromną liczbę osób. Przykładowo system predictive policing obecny w USA, polega na tym, że jednostki policji wysyłane są w miejsca, gdzie potencjalne może pojawić się ktoś, kto popełni przestępstwo, jeszcze zanim do tego dojdzie. Chodzi o to, aby policja mogła je udaremnić lub złapać sprawcę na gorącym uczynku. Jednak system ten działa na podstawie historycznych danych dotyczących tylko wykrytych przestępstw. Dlatego wiele miejsc, w których doszło do złamania przepisów i nie zostało to zaraportowane przez policję, będzie uważane za bezpieczniejsze, choć w rzeczywistości takie nie są.


Innym przykładem ze Stanów Zjednoczonych jest wprowadzenie systemu COMPAS, który miał wspomagać decyzję sędziów o wypuszczeniu skazanych z więzienia przed końcem kary. Jednym z powodów stojących za wdrożeniem takiego rozwiązania był fakt, że decyzje sędziów nie były wolne od błędów – wyroki wydawane rano bywały bardziej łagodne, a po południu surowsze. Jako możliwe wytłumaczenie tych różnic badacze podają zależność między surowością wyroków, a odczuwanym głodem. Uznano, że skoro decyzje ludzi w tak ważnych sprawach zależne są od czynników niemerytorycznych, warto wesprzeć ten proces, choć dziś już wiemy, że tylko pozornie obiektywnym zestawem danych. Dlatego celem było wprowadzenie rozwiązania, które sprawi, że tak ważne werdykty nie będą zależne od takich czynników jak głód czy sytość. Jednak problemem było to, że dane, na podstawie których działał system, nie były reprezentatywne dla całego społeczeństwa, ponieważ w więzieniach znajduje się dużo więcej mężczyzn niż kobiet, osób młodszych niż starszych, czy osób czarnoskórych niż białych.

Systemy klasyfikacyjne organizują rzeczywistość. Więc jeśli ktoś nie łapie się do jednej z przyjętych kategorii, system go nie widzi, to nie jesteśmy w stanie stworzyć solidnej polityki dla takich osób. Nie jesteśmy w stanie zobaczyć, czy skala zjawiska jest mała czy duża oraz jak często występuje. Nie widzimy kategorii ludzi, którzy chcą zostać dostrzeżeni.

Algorytmy są wokół nas

Modele te odzwierciedlają zjawiska zachodzące w społeczeństwie, np. jeśli wpiszemy w wyszukiwarkę hasło „fizyk”, to zobaczymy zdjęcia panów w białych fartuchach, a nie zdjęcie Marii Skłodowskiej-Curie czy innych znakomitych badaczek. Dzieje się tak, ponieważ tak wygląda reprezentacja tej grupy zawodowej w społeczeństwie – przeważają w niej mężczyźni.


Z kolej banki profilują nas na podstawie różnych dostępnych dla nich danych, np. na podstawie naszych transakcji. Jeśli bank odnotuje, że co miesiąc wydajemy daną kwotę na samochód, to dostaniemy ofertę z propozycją ubezpieczenia go. Podobnie jest, gdy staramy się o kredyt. Decyzja podejmowana jest na podstawie profilowania nas jako kredytobiorców. Jednak problem polega na tym, że działanie algorytmów jest nietransparentne. Nie jesteśmy w stanie odwołać się od jego decyzji. Może wydawać się to nieistotne, ponieważ jeśli w danym banku nie dostaliśmy kredytu, to udamy się do innego. Jednak z drugiej strony w Polsce jest mnóstwo osób, które ledwo wiążą koniec z końcem i jedyną opcją finansowania ich podstawowych potrzeb jest pożyczka w banku, która jest bezpieczniejsza niż tzw. „chwilówka”. Dlatego jeśli bank odmówi im pomocy, to nie mogą się od tej decyzji odwołać i nie dostają informacji zwrotnej o tym, co mogą zrobić, żeby w przyszłości taki kredyt dostać.

Recepty na wykluczenie algorytmiczne

Przede wszystkim musimy skupić się na edukacji. Powinniśmy, zarówno w szkołach podstawowych, jak i liceach, uczyć analityki, oswajać z nią uczniów. Z kolej na poziomie szkolnictwa wyższego, zwłaszcza w naukach technicznych, warto wprowadzić zajęcia z etyki, które w zrozumiały sposób wytłumaczą dylematy związane z działaniem algorytmów. Możemy wziąć przykład z zachodnich krajów, w których zjawisko to zostało dostrzeżone – w Stanach Zjednoczonych są nawet kierunki studiów o etycznym AI (Artificial Intelligence – sztuczna inteligencja).

Kolejną ważną kwestią jest tworzenie odpowiedniego prawa. Unia Europejska przoduje w tym temacie, ponieważ wprowadza wiele pomysłów związanych z regulacją wykluczenia algorytmicznego, np. instytucje mają obowiązek raportować to, w jaki sposób zbierane są dane, ponieważ – jak zostało wspomniane wcześniej – od tego, z jakich danych algorytm będzie korzystał, zależą wyniki analizy.


Warto również skupić się na stworzeniu poczucia odpowiedzialności wśród osób, które zajmują się danymi. W USA mówi się, że reprezentują oni zawód zaufania publicznego, ponieważ decyzje, które podejmują stworzone przez nich algorytmy, wpływają na jakość życia danych ludzi.

Dodatkowo należy zwrócić uwagę na kwestie miękkie, na to, że my – obywatele i obywatelki – powinniśmy nauczyć się, że te algorytmy są wokół nas i powinniśmy domagać się odpowiedzi na konkretne pytania, np. dlaczego o dokładnie takie informacje pyta nas bank. Być może nie dostaniemy odpowiedzi, jednak sama świadomość, że możemy o to zapytać powoduje, że stajemy się bardziej zorientowanymi konsumentami i konsumentkami, przez co, w dalszej perspektywie, produkty będą tworzone w bardziej świadomy sposób – komentuje kulturoznawca.

Materiał udostępniony przez Uniwersytet SWPS. Powstał na podstawie webinaru:
Algorytmy - dyskryminacja i wykluczenie oraz ich społeczne konsekwencje.

* * *
dr Kuba Piwowar
Doktor nauk o kulturze, socjolog. Ekspert z zakresu technologii, big data, etyki w analizie danych. Zajmuje się kulturowymi i społecznymi aspektami rozwoju sztucznej inteligencji i nowych technologii oraz algorytmiczną kulturą. Specjalista w zakresie prowadzenia procesów transformacji cyfrowej w organizacjach, analityk danych.

Wśród jego zainteresowań naukowych znajduje się zagadnienie wykluczenia z technologii ze względu na płeć, rasę, klasę i seksualność. Poza tym zajmuje się badaniami mediów i ich użytkowników, queer studies oraz gender studies. Na Uniwersytecie SWPS prowadzi zajęcia ze społeczno-kulturowych aspektów technologii, krytycznej analizy danych, metod badań medioznawczych, sztucznej inteligencji oraz nowych mediów.