Amazon złomuje tajny silnik rekrutacyjny AI, który pokazywał uprzedzenia wobec kobiet

Naukowcy z AI Research w Amazon odkryli uprzedzenia wobec kobiet w ich rekrutującym mechanizmie uczenia się

11 października 2018 r. Autor: Roberto Iriondo

Źródło: The Verge | „Misją naszego pokolenia jest budowanie uczciwej sztucznej inteligencji.” ~ Omar U. Florez

Wybitny profesor Stuart Evans wspomniał podczas wykładu na Uniwersytecie Carnegie Mellon, w jaki sposób uprzedzenia w algorytmach uczenia maszynowego mogą negatywnie wpłynąć na nasze społeczeństwo, niezależnie od tego, czy są one nieświadomie dodane poprzez nadzorowane uczenie się, czy pominięte podczas audytów z innymi rodzajami uczenia maszynowego. W tym przypadku zespół badawczy AI w Amazon budował silnik rekrutacyjny oparty na uczeniu maszynowym od 2014 roku, który zajął się przeglądem CV kandydata w celu inteligentnej automatyzacji poszukiwania najlepszych talentów.

Cytując naukowca zajmującego się sztuczną inteligencją w zespole: „Wszyscy chcieli tego Świętego Graala”, powiedział jeden z ludzi. „Dosłownie chcieli, aby był to silnik, w którym dam ci 100 CV, wyplułbym pierwszą piątkę i zatrudnimy je”. Jednak do 2015 roku Amazon zdał sobie sprawę, że jego nowy system nie oceniał kandydatów na stanowiska programistów i inne stanowiska techniczne w sposób neutralny pod względem płci.

Model uczenia maszynowego rekrutacji Amazon został przeszkolony do sprawdzania kandydatów poprzez analizę niektórych parametrów w CV przesłanym do firmy przez okres 10 lat. Ze względu na uprzedzenia, jakie miał model uczenia maszynowego, najbardziej idealnych kandydatów wygenerowano jako mężczyzn, co jest odzwierciedleniem męskiej dominacji w branży technologicznej - dlatego dane dostarczone do modelu nie były obiektywne wobec równości płci, ale au contraire.

Zespół badawczy Amazon stwierdził, że zmodyfikowali centralne algorytmy i uczyniły model uczenia maszynowego neutralnym dla tych uprzedzeń związanych z płcią, jednak nie było to gwarancją, że silnik nie zastosuje innych sposobów sortowania kandydatów (tj. Dominujących słów kluczowych mężczyzn w CV kandydata), które mogłyby okazywać dyskryminację.

Pracodawcy od dawna marzyli o wykorzystaniu technologii w celu rozszerzenia procesu rekrutacji i ograniczenia polegania na subiektywnych opiniach rekrutujących ludzi. Niemniej naukowcy ML, tacy jak Nihar Shah, których badania dotyczą teorii statystycznego uczenia się i teorii gier, koncentrując się na uczeniu się od ludzi z Wydziału Maszyn na Uniwersytecie Carnegie Mellon, twierdzą, że wciąż jest wiele do zrobienia.

„Jak upewnić się, że algorytm jest sprawiedliwy, jak upewnić się, że algorytm jest naprawdę możliwy do zinterpretowania i wyjaśnienia - to wciąż dość daleko”, powiedział profesor Shah.

Kredyty: Han Huang | Deweloper wizualizacji danych | Grafika Reuters

Męskie słowa kluczowe dominujące w życiorysach były kluczowe po modyfikacji algorytmów w modelach uczenia maszynowego z silnika rekrutacyjnego Amazon. Grupa badawcza stworzyła 500 modeli, które koncentrowały się na określonych funkcjach i lokalizacjach. Nauczyli każdego rozpoznawać ponad 50 000 parametrów, które pojawiały się w CV kandydatów. Algorytmy ostatecznie nauczyły się przypisywać niski odsetek znaczenia umiejętnościom, które były wspólne dla wszystkich wnioskodawców, tj. Języków programowania, używanych platform itp.

Uwagi końcowe:

Ważne jest, aby nasze społeczeństwo nadal koncentrowało się na uczeniu maszynowym, zwracając jednak szczególną uwagę na uprzedzenia - które czasami są nieświadomie dodawane do tych programów. Na szczęście zespół badawczy AI w Amazon był w stanie rozpoznać takie uprzedzenia i działać na ich podstawie. Niemniej jednak retorycznie - co jeśli w końcu te uprzedzenia nie zostaną rozpoznane, a następnie doda się taki stronniczy silnik decyzyjny ML do ogólnej rekrutacji talentów w firmie?

Wpływ i konsekwencje byłyby okropne.

Zawsze jestem otwarty na opinie, proszę podzielić się w komentarzach, jeśli zobaczysz coś, co może wymagać ponownej wizyty. Dziękuję za przeczytanie!

ZASTRZEŻENIE: Poglądy wyrażone w tym artykule są poglądami autora (autorów) i nie reprezentują poglądów Uniwersytetu Carnegie Mellon ani innych firm (bezpośrednio lub pośrednio) powiązanych z autorem (autorami). Pisma te nie mają być produktami końcowymi, ale raczej odzwierciedleniem obecnego sposobu myślenia, a jednocześnie katalizatorem dyskusji i ulepszeń.

Możesz mnie znaleźć na: mojej osobistej stronie internetowej, medium, Instagram, Twitterze, Facebooku, LinkedIn lub za pośrednictwem mojej firmy projektowej.

Bibliografia: