Wspólne uczenie się człowiek-maszyna

Vadim Tschernezki, Moin Nabi i Tassilo Klein (ML Research Berlin)

Wkroczyliśmy w nową erę, w której obserwujemy stałą i silną poprawę mocy obliczeniowej, przechowywania i dostępności dużych zbiorów danych. Głębokie uczenie się okazało się idealną techniką wykorzystania tych trendów, stając się de facto standardem w nadzorowanym uczeniu się. Jednak ten rodzaj uczenia się wymaga oznakowania danych, co generalnie wiąże się ze znacznymi kosztami w zakresie gromadzenia danych. Dlatego pojawiają się alternatywne paradygmaty, które pozwalają zmaksymalizować potencjał ogromnej ilości informacji w nowy i wyraźny sposób. W tym wpisie na blogu przedstawiamy koncepcję, która łączy siły ludzi i maszyn we współpracy. Ale zanim przejdziemy do dalszych szczegółów, zacznijmy od historii pokazującej zalety tego podejścia.

W 1997 roku Garry Kasparow został pokonany przez superkomputer (Deep Blue) w meczu szachowym zgodnie z przepisami turniejowymi. Było to charakterystyczne wydarzenie, w którym panujący mistrz świata w szachach został pokonany przez maszynę. Podczas gdy Kasparow wciąż dochodził do siebie po tym doświadczeniu, czerpał także inspirację z Deep Blue. Zadał sobie pytanie: „A jeśli mógłbym grać przeciwko komputerowi - z innym komputerem u boku - łącząc nasze mocne strony, ludzką intuicję plus obliczenia maszyny, strategię człowieka, taktykę maszyny, ludzkie doświadczenie, pamięć maszyny?”

Pomysł Kasparowa na współpracę człowieka z maszyną w szachach został pomyślnie zrealizowany w 2005 r. Podczas komputerowego turnieju szachowego, w którym arcymistrzowie połączyli siły z superkomputerami. Rezultat był dość nieoczekiwany: zwycięzcami byli para amerykańskich szachistów-amatorów obsługujących jednocześnie trzy zwykłe komputery osobiste. Pozornie w tym przypadku bardzo istotną rolę odgrywała umiejętność kierowania komputerami przez graczy. Rodzi to pytanie, czy tego rodzaju współpraca może być również wykorzystana do innych zadań. Poniższe akapity rzucą światło na nowe podejścia w tym kontekście.

Podejścia i trendy

Maszyny jako współpracownicy, nie tylko narzędzia

Porównując ludzi i maszyny, oczywiste jest, że obie strony mają bardzo unikalne cechy i zalety. Ludzie są dobrzy w podejmowaniu intuicyjnych i kreatywnych decyzji na podstawie swojej wiedzy. Komputery są dobre w przetwarzaniu ogromnych ilości danych w celu uzyskania skondensowanych istotnych informacji w celu uzyskania nowej wiedzy i podejmowania lepszych decyzji. Wykorzystanie synergii tych charakterystycznych atutów wydaje się naturalnym kolejnym krokiem.

W badaniach takich kombinacji badano głębiej w ciągu ostatnich lat i stopniowo nabierają one rozpędu. Jedno podejście zaproponowali Mintz i in. wykorzystanie nieznakowanych danych do ulepszenia modeli wyodrębniania relacji poprzez zdalny nadzór. W szczególności wykorzystują one stworzoną przez ludzi bazę danych do zaprojektowania heurystycznej funkcji etykietowania i włączenia jej do procedury szkoleniowej klasyfikatora. Klasyfikator jest wówczas w stanie wyodrębnić precyzyjne wzorce dla stosunkowo dużej liczby relacji. Ponieważ naukowcy opracowali funkcję etykietowania, która zbliża się do etykietowania ludzkiego adnotatora, sprawia, że ​​nadzór jest „odległy”.

Inna technika, opracowana przez Wanga i in. w dziedzinie wizji komputerowej poprawia wykrywanie obiektów na podstawie nieznakowanych obrazów poprzez samonadzorowane wyszukiwanie próbek. Ważna część tej metody opiera się na automatycznym wykrywaniu i pseudoetykietowaniu wiarygodnych propozycji regionów w celu ulepszenia detektora obiektów. Osiąga się to poprzez wklejenie tych propozycji do różnych oznaczonych obrazów, aby kompleksowo ocenić ich wartości spójności w różnych kontekstach obrazów. Chociaż obrazy te są pseudo-etykietowane, skutecznie przyczyniają się do poprawy dokładności wykrywania i odporności na hałas próbek. Ostatecznie oba opisane podejścia automatycznie opisują nieznakowane dane, a tym samym zmniejszają zakres nadzoru człowieka w procesie szkolenia.

Włączenie poradnictwa ludzkiego do aktywnego uczenia się

W porównaniu z poprzednią koncepcją, w której zestaw danych jest rozszerzany o dane z adnotacjami maszynowymi, możemy również pozwolić uczniowi wybrać trudne próbki i poprosić trenera ludzi o ich opatrzenie adnotacjami, stąd nazwa aktywnego uczenia się. Metoda ta okazuje się bardzo wydajna, szczególnie w sytuacjach o ograniczonej dostępności budżetu na szkolenie próbek - eksperci mogą skupić się na trudnych przypadkach, podczas gdy maszyna przejmuje większość próbek, które zwykle są łatwe do rozwiązania.

Aby wyjaśnić intuicję stojącą za aktywnym uczeniem się, rozważ proste zadanie oznakowania zdjęć psów w odniesieniu do ras. Zaczynamy od podstawowego zestawu danych, który zawiera oznakowane obrazy psów. Ten zestaw danych może stanowić wyzwanie dla treningu na kilka sposobów: może zawierać głównie obrazy psów zwróconych w stronę aparatu, co czyni wyszkolony model niezmiennym dla psów wyświetlanych z boku. Może także zawierać niezbilansowaną liczbę próbek dla każdej rasy. Lub może zawierać podobne rasy, jak belgijska malinois i owczarek niemiecki. W takich przypadkach zarówno ludzie, jak i maszyny potrzebują więcej przykładów każdej rasy, aby nauczyć się poprawnie klasyfikować psy. Aktywne uczenie się pomaga rozwiązywać tego rodzaju problemy.

Wyobraź sobie, że bylibyśmy w stanie osiągnąć dokładność 80% dzięki modelowi wyszkolonemu na pewnym podstawowym zestawie danych. Otrzymujemy budżet na etykietowanie do 100 nowych zdjęć z 1000 nieznakowanych i staramy się mądrze wykorzystywać ten budżet, ponieważ fachowe wsparcie w zakresie etykietowania jest kosztowne. Dlatego zamiast losowego wybierania 100 próbek, powinniśmy raczej pozwolić naszemu uczącemu się maszyny wybrać najtrudniejsze próbki lub te, które najlepiej wychwytują podstawowy rozkład danych i minimalizują nadmiarowość. Pozwalamy modelowi zasugerować ekspertowi te 100 próbek do etykietowania, dla których przypisuje etykiety o niskiej ufności lub wysokiej niepewności. W ten sposób dokładność naszego uczącego się maszyny może wzrosnąć do 95% po treningu zamiast 90% w konfiguracji, w której zastosowano losowo oznaczone próbki. Alternatywnie, moglibyśmy również po prostu zmniejszyć ilość etykietowanych danych, a tym samym wytrenować model z tą samą 90% dokładnością, ale przy niższych kosztach.

Szkolenie przeciwnika: łączenie tego, co najlepsze z obu

Aby połączyć aktywne uczenie się i stopniowe doskonalenie automatycznego etykietowania, potrzebujemy uczącego się maszyny, który składa się z dwóch modeli. Po pierwsze, model dyskryminacyjny do pomiaru niepewności co do dokładności prognoz dla danych próbek (aktywne uczenie się), a po drugie, model generatywny do przewidywania pseudo-gruntowej prawdy dla próbek (automatyczne etykietowanie). Aby zwiększyć efektywność szkolenia ucznia, staramy się wspólnie zoptymalizować oba modele poprzez szkolenie przeciwników. W ten sposób model dyskryminacyjny można również wykorzystać do przypisania niepewności do prognoz modelu generatywnego, a tym samym do zwiększenia dokładności prognoz. Najnowocześniejszy model, który zyskał silną reputację w środowisku badawczym i spełnia określone wymagania, nazywa się Generative Adversarial Network (GAN).

Wspólne uczenie się człowiek-maszyna za pomocą sieci GAN

Biorąc pod uwagę strukturę pokazaną na powyższym rysunku, najpierw używamy generatora (G) do przewidywania prawdziwości pseudo-gruntu dla danych bez adnotacji. Ponieważ dyskryminator (D) jest w stanie przypisać nie tylko niepewności do prawdziwej prawdziwej ziemi, ale także przewidywaną przez G, możemy sortować nieoznaczone próbki według trudności lub niepewności D. Definiujemy próbki, których rozkład nie został w pełni uchwycony przez model jeszcze trudniejszy i pozwól D zasugerować je ludzkiemu adnotatorowi. Używamy innych łatwych próbek o niskiej niepewności do automatycznego tworzenia danych z adnotacjami za pomocą G. Ludzkie wskazówki prowadzą do silniejszego D, który jest dostosowany do wymagań zadania określonego przez nauczyciela (aktywne uczenie się). Z kolei ulepszony D będzie popychał G do przewidywania pseudo-gruntowej prawdy o wyższej jakości (automatyczne adnotacje). Dzięki tej iteracyjnej poprawie, sieci GAN stanowią naturalną strukturę do łączenia człowieka i maszyny w jedną wspólnie zoptymalizowaną procedurę szkoleniową.

Podczas gdy science fiction jest pełne maszyn i robotów, które zagrażają ludzkości, a tym samym tworzą atmosferę podejrzeń, koncepcja uczenia się opartego na współpracy człowieka ze szkoleniami przeciwnymi pokazuje, jak maszyny mogą racjonalnie uzupełniać naszą pracę i życie w pozytywny sposób. W rzeczywistości opisane podejście ma duży potencjał do przekształcenia wielu zastosowań, na przykład w sektorze opieki zdrowotnej. W szczególności nasz zespół opracowuje obecnie podejście do segmentacji obrazów 3D sercowo-naczyniowego rezonansu magnetycznego (MR), co jest ważnym warunkiem wstępnym do stworzenia modeli serca charakterystycznych dla pacjenta, a tym samym do leczenia złożonych chorób serca. Naszym celem jest stworzenie modelu, który uczy się z samodzielnie wygenerowanych segmentacji i aktywnie sugeruje trudne obrazy MR ekspertom do ręcznej segmentacji. Może to znacznie zmniejszyć koszty i czas poświęcony na tę złożoną procedurę, dzięki czemu radiologowie mogą poświęcić więcej czasu na opiekę nad pacjentem. Chociaż ten konkretny przykład ładnie pokazuje pozytywny wpływ tej koncepcji na społeczeństwo, istnieje wiele obszarów zastosowań poza sektorem zdrowia, które skorzystają z wyników badań w tej dziedzinie.

Znajdź pełny dokument badawczy dotyczący MIDL 2019 tutaj: Segmentacja semantyczna oparta na niepewności poprzez uczenie się oparte na współpracy człowieka z maszyną