Od nowicjusza do naukowca; Dwa lata głębokiej nauki dzięki Fast.ai

Po powrocie z urlopu ojcowskiego w marcu jestem podekscytowany tym, że dołączyłem do NVidii, aby w pełnym wymiarze czasu prowadzić badania głębokiego uczenia się, pracując na styku danych tabelarycznych (czasem nazywanych strukturalnymi) i rapids.ai. Ta podróż nie byłaby możliwa bez niesamowitego kursu, biblioteki i społeczności, która jest szybka. I.

Podobnie jak Sylvain Gugger, inny absolwent kursu, który obecnie pracuje jako badacz naukowy dla fastai i którego post na blogu zainspirował ten, fastai zmienił moje życie i jestem głęboko wdzięczny Jeremy'emu i Rachel za ich wizję bardziej dostępnej głębokości nauka edukacji dla wszystkich. W duchu jego postu chciałem podzielić się swoją podróżą i rzeczami, które pomogły mi po drodze, w nadziei, że pomogą i zainspirują innych, którzy zaczynają tę drogę.

Podróż

W przeciwieństwie do wielu studentów fastai, wywodzę się ze środowisk uczenia maszynowego. Jeszcze jedna koncentrowała się na interakcji człowieka z komputerem i na głębokim uczeniu się, więc praca, którą wykonałem podczas mojej pracy magisterskiej, mogła być wdrożona przez studenta fastai w kilka godzin, ale podstawy matematyki / programowania i umiejętność czytania prac zdecydowanie pomogły. Mimo to rzadko wspominam o tamtym czasie i całkowicie zgadzam się z oceną Jeremy'ego, że doktorat nie jest zobowiązany do wykonywania głębokiego uczenia się.

Po ukończeniu uniwersytetu pracowałem dla internetowego serwisu randkowego z dużą ilością ryb, pisząc dopasowane algorytmy, systemy wykrywania oszustw i ostatecznie kierując zespołem badawczym. Opuściłem pof rok po sprzedaży do grupy Match i znalazłem się na rozdrożu, szukając opcji inżynierii danych i nie bardzo zainteresowany powrotem do nauki danych.

Kurs Fastai v1 pojawił się tej samej wiosny, a kiedy go przeszedłem i poznałem ludzi na forum, byłem coraz bardziej uzależniony. Odgórnie, stosowane podejście to metoda uczenia się, która działa dobrze dla mnie, i szybko zakochałem się w stylu nauczania Jeremy'ego. Kiedy dowiedziałem się, że była część 2, złożyłem aplikację natychmiast i dosłownie podskoczyłem z radości, gdy dowiedziałem się, że się dostałem.

Dzięki mojemu doświadczeniu w systemach rekomendujących byłem bardzo zainteresowany tym elementem kursu i zacząłem coraz więcej badać ten obszar. W tym czasie dostałem rolę w Realtor.com, pracując nad projektami rekomendacji i rankingu wyszukiwania, i tam naprawdę zacząłem dostrzegać potencjał tego, czego się uczyłem. Głębokie uczenie się na temat systemów rekomendujących stało się moją pasją. Najpierw zanurkowałem, czytając każdy artykuł na ten temat i konsumując wszystko, co mogłem znaleźć na YouTube. Opowiem więcej o nawykach, które ukształtowałem w ciągu ostatnich dwóch lat, które doprowadziły do ​​roli badawczej w następnym rozdziale, ale ten czas był dla mnie bardzo kształtujący pod względem rozwijania zestawu umiejętności i bazy wiedzy, które doprowadziły do ​​mojego obecnego rola w NVidia.

Po drodze skorzystałem z każdej oferty fastai. Obecnie jestem na trzeciej iteracji i na każdej lekcji uczę się czegoś nowego. Jeśli nie oglądałeś starych kursów, bardzo polecam wrócić, to samo dotyczy kursu uczenia maszynowego, który nauczył mnie tego, co wiem o losowych modelach lasu. Jakość edukacji zapewnianej przez fastai jest tak wysoka, że ​​zorganizowałem wokół niego swój zespół w Realtor, wykorzystując zajęcia jako punkty odskoczni do projektów, które okazały się niezwykle udane.

Kroki po drodze

Chociaż moja podróż jest dla mnie wyjątkowa, chcę zaoferować pomoc tym, którzy chcą spełnić to samo marzenie o zostaniu badaczem dogłębnej nauki lub lepszym praktykiem.

Na forum jest mnóstwo wskazówek, jak skutecznie ukończyć fastai, i gorąco polecam, abyś je przejrzał i podążał za nimi, jeśli jeszcze tego nie zrobiłeś. Wyjście poza klasę wymaga dodatkowego wysiłku, ale moim zdaniem to właśnie wtedy magia zaczyna się naprawdę dziać. Wiele nawyków naprawdę pomogło mi zostać lepszym badaczem i lepszym programistą. Są proste, ale skuteczne. Łatwo jest je omijać, tak jakbyś mógł przesuwać tabulatory między notatnikami, ale jeśli możesz je wdrożyć, gwarantuję, że będą miały wpływ.

  1. Rozgość się z papierami. Sprawdzaj Arxiv co tydzień, co noc czytaj gazetę. Kiedyś używałem arxiv-sanity, ale niestety nie wydaje się, że już jest utrzymywane. Wciąż szukam rozwiązania, więc jeśli masz coś, daj mi znać. Poleciłbym wybrać konkretny obszar badań, w którym można przeczytać większość wychodzących artykułów. Znajdź temat, który Cię interesuje lubisz transfer rekomendacji lub stylu i nadążaj za tym małym polem. Przyzwyczajenie się do regularnego czytania artykułów jest teraz moją super mocą. To też możesz mieć, jeśli nawiążesz nawyk.
  2. Konwertuj filmy fastai na dźwięk, aby słuchać ich jako „podcastu” w drodze. Dla mnie znalezienie czasu na oglądanie filmów dwa lub trzy razy jest niemożliwe, szczególnie teraz, gdy mam dwóch młodych chłopców, ale wymaga tego gęstość materiału. Obejrzyj to raz i słuchaj raz po raz w drodze do pracy, na spacerze lub gdziekolwiek. Słuchałam dziesiątki razy i wciąż wybieram nowe koncepcje i pomysły.
  3. Zaimplementuj coś, co różni się od tego, co zapewniają notebooki, od końca do końca. To był dla mnie klucz do uwolnienia potencjału fastai. Odtworzyłem auto koder denoising z rozwiązania konkurencyjnego sterownika porto seguro. Okazało się to punktem wyjścia dla całego szeregu badań w zakresie głębokiego uczenia się danych tabelarycznych i doprowadziło do mojej obecnej roli. Wybierz coś innego niż to, co wdraża większość ludzi, i dobrze to zaimplementuj.
  4. Pozostań aktywny na forach i weź udział w społeczności. Jest to jeden z najczęściej pomijanych aspektów kursu, który oferuje moim podekscytowanym głębokim uczeniem się. Dla mnie był to duży katalizator pomysłów, wiedzy i zainteresowania.
  5. Poszukaj innych kursów, aby poszerzyć swoje horyzonty. Bardzo polecam kurs NLP Stanforda CS224n prowadzony przez Chrisa Manninga, CS231n prowadzony przez Andreja Karpathy'ego, kurs Gene'a Kogana na temat głębokiego uczenia się w sztuce The Neural Aesthetic i PyData, który regularnie oferuje wspaniałe rozmowy o głębokim uczeniu się.

Fastai dał mi tak wiele i nadal to robi, i cieszę się, że mogę przejść do pozycji, w której mogę w końcu coś oddać. Gdybyś powiedział mi na początku mojej podróży, kiedy zobaczyłem pierwszy film na youtube, że darmowy internetowy MOOC doprowadziłby mnie do roli badawczej w jednej z wiodących firm technologicznych na świecie, nie jestem pewien, czy miałbym uwierzyłem ci, ale oto jestem. Nie mam wątpliwości, że prawie w całości wynika to z fast.ai.