Umjetna inteligencija ima problem pristranosti, i mi smo krivi

U 2016. godini, istraživači sa Sveučilišta Boston i Microsofta radili su na algoritmima umjetne inteligencije kada su otkrili rasističke i seksističke tendencije u tehnologiji koja stoji u osnovi nekih od najpopularnijih i kritičnijih usluga koje koristimo svakodnevno. Otkrivenje je u suprotnosti s konvencionalnom mudrošću da umjetna inteligencija ne trpi zbog rodnih, rasnih i kulturnih predrasuda koje mi ljudi radimo.

Istraživači su ovo otkriće napravili proučavajući algoritme za umetanje riječi, vrstu AI koja pronalazi korelacije i povezanosti među različitim riječima analizom velikih tekstova. Na primjer, obučeni algoritam za umetanje riječi može razumjeti da su riječi za cvijeće usko povezane s ugodnim osjećajima. Na praktičnijoj razini, ugrađivanje riječi podrazumijeva da je izraz "računalno programiranje" usko povezan s "C ++", "JavaScript" i "objektno orijentiranom analizom i dizajnom". Kada je integrirana u aplikaciju za skeniranje životopisa, ova funkcionalnost omogućava poslodavcima da pronađu kvalificirane kandidate sa manje napora. U tražilicama on može pružiti bolje rezultate prikazivanjem sadržaja koji je semantički povezan sa pojmom za pretraživanje.

Istraživači iz BU i Microsofta otkrili su da algoritmi za umetanje riječi imaju problematičnu pristranost - poput povezivanja "računalnog programera" s muškim zamjenicama i "domaćeg proizvođača" s ženskim. Njihova otkrića, koja su objavljena u istraživačkom radu, pod nazivom "Čovjek je računalnom programeru kao žena udomljavanju?" bilo je jedno od nekoliko izvještaja o raskrinkavanju mita o neutralnosti AI i rasvjetljavanju algoritmičke pristranosti, pojava koja doseže kritične dimenzije jer algoritmi postaju sve uključeni u naše svakodnevne odluke.

Podrijetlo algoritamskih pristranosti

Algoritmi strojnog učenja i dubokog učenja u osnovi su većine suvremenog softverskog AI-a. Za razliku od tradicionalnog softvera, koji radi na temelju unaprijed definiranih i provjerljivih pravila, duboko učenje stvara vlastita pravila i uči se primjerom.

Na primjer, da bi napravili aplikaciju za prepoznavanje slike zasnovanu na dubokom učenju, programeri "treniraju" algoritam hranjenjem podataka s oznakom: u ovom slučaju, fotografije označene sa nazivom objekta koji sadrže. Nakon što algoritam proguta dovoljno primjera, može prikupiti uobičajene uzorke među slično označenim podacima i koristiti te podatke za klasificiranje neobilježenih uzoraka.

Ovaj mehanizam omogućuje duboko učenje za obavljanje mnogih zadataka koji su bili gotovo nemogući pomoću softvera temeljenog na pravilima. Ali to također znači da softver dubokog učenja može naslijediti skrivene ili otvorene pristranosti.

"AI algoritmi nisu svojstveno pristrani", kaže profesorica Venkatesh Saligrama, koja predaje na Odjelu za elektrotehniku ​​i računalno inženjerstvo na Sveučilištu u Bostonu i radi na algoritmima za ugradnju riječi. "Imaju determinističku funkcionalnost i pokupit će sve tendencije koje već postoje u podacima na kojima treniraju."

Algoritmi ugradnje riječi koje su testirali istraživači Sveučilišta u Bostonu obučeni su na stotinama tisuća članaka iz Google News, Wikipedije i drugih internetskih izvora u kojima su duboko ugrađene socijalne pristranosti. Primjerice, zbog bra kulture koja dominira u tehnološkoj industriji, muška imena češće se pojavljuju na poslovima vezanim za tehniku ​​- a to vodi algoritme da muškarce povežu s poslovima kao što su programiranje i softverski inženjering.

"Algoritmi nemaju snagu ljudskog uma u razlikovanju ispravnog od pogrešnog", dodaje Tolga Bolukbasi, studentica doktorskog studija na BU. Ljudi mogu prosuditi moralnost naših postupaka, čak i kad odlučimo djelovati protiv etičkih normi. Ali za algoritme podaci su krajnji odlučujući faktor.

Saligrama i Bolukbasi nisu prvi koji su podigli uzbunu zbog ove pristranosti. Istraživači IBM-a, Microsofta i Sveučilišta u Torontu istaknuli su potrebu za sprečavanjem algoritamske diskriminacije u radu objavljenom 2011. godine. Tada je algoritamska pristranost bila ezoterična briga, a duboko učenje još uvijek nije našlo svoj put u tok. Danas, međutim, algoritamska pristranost već ostavlja trag na mnogim stvarima koje radimo, poput čitanja vijesti, pronalaženja prijatelja, kupovine na mreži i gledanja videozapisa na Netflixu i YouTubeu.

Utjecaj algoritamskih pristranosti

Godine 2015. Google se morao ispričati nakon što su algoritmi koji napajaju njegovu aplikaciju Photos označili dvoje crnaca kao gorile - možda zato što njegov skup podataka za obuku nije imao dovoljno slika crnaca. U 2016. godini, od 44 pobjednika natjecanja ljepote koje je sudio AI, gotovo su svi bili bijeli, nekoliko njih bilo je azijskih, a samo jedna je imala tamnu kožu. Opet, razlog je bio taj što je algoritam uglavnom bio obučen fotografijama bijelaca.

Google Photos, svi ste sjebani. Moj prijatelj nije gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné ne reagira ovdje na puno. DM (@jackyalcine) 29. lipnja 2015

Nedavno je test IBM-ovih i Microsoftovih službi za analizu lica ustanovio da su algoritmi kompanija bili gotovo besprijekorni u otkrivanju spola muškaraca sa svijetlom kožom, ali često su bili u zabludi kada su im bili predstavljeni sa slikama žena s tamnom kožom.

Iako su ovi incidenti vjerojatno uzrokovali zanemarivu štetu, isto se ne može reći za AI algoritme u kritičnijim domenima, poput zdravstvene zaštite, provođenja zakona i zapošljavanja. U 2016. godini, istraga ProPublica utvrdila je da je COMPAS - softver usmjeren na AI koji procjenjuje rizik od recidiviranja kod počinitelja - bio pristran prema ljudima u boji. To otkriće posebno je zabrinjavalo jer suci u nekim državama koriste COMPAS kako bi odredili tko slobodno šeta, a tko ostaje u zatvoru.

U drugom slučaju, istraživanje Googleove reklamne platforme, koje pokreću algoritmi dubokog učenja, otkrilo je da muškarci češće prikazuju oglase za visoko plaćene poslove nego žene. Zasebna studija pronašla je sličan problem s oglasima za posao na LinkedIn-u. Još jedan je pokazao da su pristrasni algoritmi zapošljavanja 50 posto vjerojatnije da će poslati poziv za intervju osobi kojoj je ime bilo europsko-američko nego nekome s afroameričkim imenom.

Područja poput odobrenja zajma, kreditnog rejtinga i stipendije suočena su sa sličnim prijetnjama.

Algoritamska pristranost dodatno je zabrinjavajuća zbog toga što bi mogla pojačati socijalna pristranosti. Pod iluzijom da je AI hladan, matematički proračun lišen predrasuda ili pristranosti, ljudi mogu vjerovati algoritamskoj prosudbi bez da ga preispituju.

U intervjuu za Wired UK, predavač kriminologije sa sveučilišta Edinburgh Napier, Andrew Wooff primijetio je da "policijski svijet pod pritiskom, resursi koji intenzivno troše resurse" može natjerati policijske službenike da se previše oslanjaju na algoritmičke odluke. "Mogu zamisliti situaciju u kojoj se policajac može više oslanjati na sustav nego na vlastite procese donošenja odluka", rekao je. "Djelomično to može biti tako da možete opravdati odluku kad nešto pođe po zlu."

Oslanjajući se na pristrani algoritmi stvara petlju povratnih informacija: Donosimo odluke koje stvaraju pristranije podatke koje će algoritmi ubuduće analizirati i osposobljavati.

Takva se stvar već događa na društvenim mrežama poput Facebooka i Twittera. Algoritmi koji pokreću feedove vijesti stvaraju "filtrirajuće mjehuriće" koji prikazuju sadržaj koji odgovara preferencijama i pristranosti korisnika. To ih može učiniti manje tolerantnim prema suprotstavljenim stavovima, a također može dodatno polarizirati društvo vođenjem klinom kroz političku i društvenu podjelu.

"Algoritamska pristranost mogla bi potencijalno utjecati na bilo koju skupinu", kaže Jenn Wortman Vaughan, stariji istraživač Microsofta. "Grupe koje su premalo zastupljene u podacima mogu biti posebno u opasnosti."

U domenama koje su već poznate po pristranosti, poput endemske diskriminacije žena u tehnologiji, AI algoritmi mogu naglasiti takve pristranosti i rezultirati daljnjom marginalizacijom skupina koje nisu dobro zastupljene.

Zdravlje je još jedna kritična domena, ističe Wortman. "To bi moglo uzrokovati ozbiljne probleme ako se algoritam strojnog učenja koji se koristi za medicinsku dijagnozu obuči na podacima jedne populacije i, kao rezultat, ne postigne dobru rezultate kod drugih", kaže ona.

Pristranosti također mogu biti štetne na suptilnije načine. "Prošle sam godine planirao voditi svoju kćer za frizuru i pretražio na internetu slike 'dječje frizure' radi inspiracije", kaže Wortman. Ali vraćene slike bile su gotovo cijele bijele djece, prvenstveno s ravnom kosom, i što je iznenađujuće, prije svega dječaka, primijetila je.

Stručnjaci ovaj fenomen nazivaju "reprezentacijskom štetom": kada tehnologija pojačava stereotipe ili umanjuje određene skupine. "Teško je kvantificirati ili izmjeriti točan utjecaj takve pristranosti, ali to ne znači da nije važno", kaže Wortman.

Uklanjanje pristranosti iz AI algoritama

Sve više kritične implikacije pristranosti AI skrenule su pozornost nekoliko organizacija i vladinih tijela, a poduzimaju se i neki pozitivni koraci za rješavanje etičkih i društvenih pitanja vezanih uz uporabu inteligencije u različitim područjima.

Microsoft, čiji se proizvodi uvelike oslanjaju na AI algoritme, prije tri godine pokrenuo je istraživački projekt pod nazivom Pravednost, odgovornost, transparentnost i etika u AI (FATE) čiji je cilj omogućiti korisnicima da uživaju u poboljšanom uvidu i efikasnosti usluga koje pokreću AI bez diskriminacije i pristranost.

U nekim slučajevima, poput AI-a koji je proglašen ljepotom, pronalazak i popravljanje izvora pristranog ponašanja algoritma AI mogu biti jednostavni kao provjera i promjena fotografija u skupu podataka za trening. Ali u drugim slučajevima, kao što su algoritmi za umetanje riječi koje su istraživali istraživači sa Sveučilišta u Bostonu, pristranosti su ugrađene u podatke o obuci na suptilnije načine.

Tim iz BU-a, kojem se pridružio Microsoftov istraživač Adam Kalai, razvio je metodu za razvrstavanje ugrađenih riječi na temelju njihove spolne kategorizacije i identificiranje analogija koje bi mogle biti pristrasne. No nisu donijeli konačnu odluku te će svaku od sumnjivih udruga pokrenuti 10 ljudi na Mechanical Turk, Amazonovom mrežnom tržištu za podatke u vezi s podacima, koji će odlučiti treba li udrugu ukloniti ili ne.

"Nismo željeli uložiti svoje pristranosti u proces", kaže Saligrama, profesor i istraživač na BU-u. "Upravo smo pružili alate za otkrivanje problematičnih asocijacija. Ljudi su donijeli konačnu odluku."

U novijem radu, Kalai i drugi istraživači predložili su uporabu zasebnih algoritama za razvrstavanje različitih skupina ljudi, umjesto da koriste iste mjere za sve. Ova se metoda može pokazati učinkovitom u domenama u kojima su postojeći podaci već pristrani u korist određene skupine. Na primjer, algoritmi koji bi procijenili kandidatkinje za posao programiranja koristili bi kriterije koji su najprikladniji za tu skupinu, umjesto da koriste širi skup podataka na koji duboko utječu postojeće pristranosti.

Microsoftov Wortman vidi inkluzivnost u AI industriji kao nužni korak u borbi protiv pristranosti algoritama. "Ako želimo da naši AI sustavi budu korisni svima, a ne samo određenoj demografiji, tada tvrtke moraju angažirati različite timove za rad na AI", kaže ona.

Wortman je 2006. godine pomogao u pronalaženju Žena u strojnom učenju (WiML), koja godišnje održava radionicu na kojoj se žene koje studiraju i rade u AI industriji mogu susresti, umrežavati, razmjenjivati ​​ideje i prisustvovati panel diskusijama sa starijim ženama u industriji i akademiji. Sličan napor je nova Black in AI Workshop, koju je osnovao Timnit Gebru, još jedan Microsoftov istraživač, koja ima za cilj izgraditi raznovrsniji talent u AI.

Sveučilište u Bostonu, Bolukbasi, također predlaže izmjenu načina na koji AI algoritmi rješavaju probleme. "Algoritmi će odabrati skup pravila koji maksimizira njihov cilj. Možda će postojati isti broj zaključaka za dane izlazne parove", kaže on. "Uzmimo primjer testova s ​​višestrukim izborom za ljude. Može se doći do pravog odgovora pogrešnim postupkom razmišljanja, ali svejedno dobiti jednaku ocjenu. Test visoke kvalitete trebao bi biti dizajniran kako bi se ovaj učinak sveo na najmanju moguću mjeru, samo omogućavajući ljudima koji uistinu znati subjekt kako bi dobili ispravne rezultate. Izrada algoritama svjesnih društvenih ograničenja može se vidjeti kao analogija ovom primjeru (iako nije točan), gdje je učenje pogrešnog skupa pravila kažnjeno u cilju. Ovo je trajno i izazovno istraživanje tema."

AI neprozirnost komplicira korektnost

Još jedan izazov koji stoji na putu da AI algoritmi postanu pravedniji je fenomen „crne kutije“. U mnogim slučajevima tvrtke ljubomorno čuvaju svoje algoritme: Na primjer, Northpointe Inc., proizvođač COMPAS-a, softvera za predviđanje kriminala, odbio je otkriti svoj vlastiti algoritam. Jedini ljudi koji znaju za rad tvrtke COMPAS su njegovi programeri, a ne suci koji ga koriste za donošenje presude.

Osim korporativne tajne, AI algoritmi ponekad postaju toliko zbunjeni da razlozi i mehanizmi iza njihovih odluka izmiču čak i njihovim autorima. U Velikoj Britaniji policija u Durhamu koristi AI sustav HART kako bi utvrdila imaju li osumnjičeni nizak, umjeren ili visok rizik od počinjenja daljnjih zločina u roku od dvije godine. No, akademski pregled HART-a iz 2017. utvrdio je da se "neprozirnost čini teško izbjeći." To je dijelom zbog velike količine i raznolikosti podataka koje sustav koristi, što otežava analizu razloga koji stoje iza njegovih odluka. "Ti bi se detalji mogli učiniti dostupnima javnosti, ali za njihovo razumijevanje trebalo bi mnogo vremena i truda", stoji u dokumentu.

Nekoliko tvrtki i organizacija predlaže napore za postizanje transparentnosti AI, uključujući Google, koji je pokrenuo GlassBox, inicijativu da ponašanje algoritama strojnog učenja učini razumljivijim bez da žrtvuje kvalitetu rezultata. Agencija za napredne istraživačke projekte u obrani (DARPA), koja nadgleda upotrebu AI u vojsci, također financira napor kako bi AI algoritmi objasnili svoje odluke.

U drugim slučajevima, ljudska prosudba bit će ključna u rješavanju pristranosti. Kako bi spriječili postojeće rasne i društvene ljudske pristranosti da se uvuku u HART-ove algoritme, Konferencija Durham pružila je članovima svog osoblja sjednice o svjesnosti o nesvjesnoj pristranosti. Policijska snaga poduzela je i korake za uklanjanje podataka kao što su rasne osobine, što bi moglo stvoriti osnove za pristrasne odluke.

Ljudska odgovornost

Iz druge perspektive, AI algoritmi mogu pružiti priliku za razmišljanje o vlastitim pristranostima i predrasudama. "Svijet je pristran, povijesni podaci pristrani, stoga ne čudi da smo dobili pristranske rezultate", izjavila je Sandra Wachter, istraživačica etike i algoritama na Sveučilištu u Oxfordu, za Guardian .

Wachter je dio istraživačkog tima s Instituta Alan Turing iz Londona i Sveučilišta u Oxfordu, koji je objavio članak u kojem se poziva na propise i institucije da istraže moguću diskriminaciju putem AI algoritama.

Također, govoreći za The Guardian , Joanna Bryson, informatičarka na Sveučilištu u Bathu i koautorica istraživačkog rada o algoritmičkoj pristranosti, rekla je: "Mnogi ljudi kažu da pokazuje da je AI predrasudan. Ne. To pokazuje da predrasude i AI to uči."

Microsoft je 2016. godine lansirao Tay-a, Twitter bot-a koji je trebao učiti od ljudi i uključiti se u pametne razgovore. Ali u roku od 24 sata od Tayeva pokretanja, Microsoft ga je morao zatvoriti nakon što je počeo izgovarati rasističke komentare, koje je pokupio iz svojih razgovora s korisnicima Twittera. Možda je ovo podsjetnik da je prošlo vrijeme da ljudi priznamo vlastitu ulogu u ukazanju i širenju fenomena algoritamske pristranosti i poduzmemo kolektivne korake za poništavanje njegovih učinaka.

"To je vrlo kompliciran zadatak, ali odgovornost je koje se mi kao društvo ne smijemo sramiti", kaže Wachter.