Amazonov sistem za zaposlovanje obtožen seksizma

V številnih naših preteklih člankih na temo umetne inteligence smo videli, kako pomembno je, da je umetna inteligenca pravična. Problematika se skozi čas povečuje, saj sistemom z implementirano umetno inteligenco »zaupamo« vedno več kompleksnejših nalog in zato od sistemov tudi pričakujemo, da so zanesljivi in robustni. A kljub temu se tudi največjim svetovnim konglomeratom lahko zgodi, da podcenjujejo, kako pomembna je nepristranskost in objektivnost podatkov, s pomočjo katerih učijo oz. trenirajo nevronske mreže svojih inteligentnih sistemov. In prav to se je nedavno zgodilo Amazonu.

Leta je 2014 je multinacionalno trgovsko podjetje Amazon zgradilo inteligentni sistem za evalvacijo prošenj za delo. Ker je podjetje postalo tako veliko in je število prošenj za delo tako zelo naraslo, so pri podjetju razvili inteligentni sistem, ki bi kot svoj vhodni podatek sprejel življenjepis in bi nato kot izhod izpljunil oceno primernosti kandidata za to delovno mesto. A žal se je njihov projekt ponesrečil, saj so kmalu ugotovili, da je sistem neprestano diskriminiral žensko populacijo. Sistem je namreč za evalvacijo prošenj za delo uporabil znanje, ki ga je dobil iz podatkov trenutnih zaposlenih v Amazonu. Če je bila torej v podjetju na določenem delovnem mestu večina moških, je sistem vsako žensko ocenil kot manj primerno, saj podatki kažejo, da je na tem delovnem mestu manj žensk in »logični« sklep algoritma je bil, da če bi bile ženske primernejše za to delovno mesto, bi že sedaj bilo tam več žensk. Ta sklep je seveda popolnoma napačen, a prikaže ranljivost strojnega učenja na pristranskem vzorcu podatkov. S podatki namreč sistemu predstavimo model realnosti in če so naši podatki pristranski, si bo sistem tudi napačno predstavljal svet okoli nas.

Sistem za zaposlovanje podjetja Amazon je bil seksisttičen.
Vir slike: Wikipedia

Pri Amazonu se je ta problem pojavil predvsem pri kandidatih, ki so se prijavljali za delo razvijalca programske opreme ali na kakšno drugo podobno delovno mesto. Algoritem za evalvacijo prošenj je tako iskal vzorce v dosedanjih zaposlenih in ker je v tehnološki industriji večina moških, je algoritem favoriziral moške kandidate. Sistem je šel celo tako daleč, da je kaznoval vsako prošnjo, ki je vsebovala besedo, ki je omenjalo žensko – četudi je bila v stavku uporabljena kot kapetan ženske šahovske ekipe.

Pri podjetju Amazon so sicer zanikali, da so sistem kadarkoli uporabili pri zaposlovanju, a česa več tudi niso želeli razkriti. Vseeno se lahko iz incidenta naučimo, da se moramo v prihodnosti pri razvoju inteligentnih sistemov zavedati, da morajo biti podatki za algoritme objektivni oz. da moramo biti sami pozorni na to, kar se da iz podatkov interpretirati. Še vedno je na nas, da vemo, da spol pri izbiri ustreznosti kandidata nima nikakršne uteži, a to moramo dopovedati tudi algoritmom.

Če vas ta tematika zanima, vam priporočam, da prebereta naslednja članka:

Viri:

Komentarji
Žan Magerl

Žan Magerl

Poleg tega, da je splošno izjemno razgledan, je tudi človek, ki vsaki stvari želi priti do dna, ugotoviti kako kaj deluje, zakaj je takšno kot je in ali bi to lahko izboljšali. To pomeni, da se bo čisto spustil v stvar, ki mu je trenutno padla v oči, in ne bo nehal, dokler ne ugotovi vsega, kar je za ugotoviti o določeni temi.
Verjetno bi ga lahko z eno besedo povzeli kot radovednega.
Žan Magerl

Latest posts by Žan Magerl (see all)

Žan Magerl

Poleg tega, da je splošno izjemno razgledan, je tudi človek, ki vsaki stvari želi priti do dna, ugotoviti kako kaj deluje, zakaj je takšno kot je in ali bi to lahko izboljšali. To pomeni, da se bo čisto spustil v stvar, ki mu je trenutno padla v oči, in ne bo nehal, dokler ne ugotovi vsega, kar je za ugotoviti o določeni temi. Verjetno bi ga lahko z eno besedo povzeli kot radovednega.