Wzywa do badań

Podczas naszej pracy w Octavian natknęliśmy się na szereg problemów, na których chcielibyśmy widzieć więcej pracy. Udostępniamy tę listę tutaj, aby pomóc w znalezieniu interesujących problemów.

Z przyjemnością pomagamy wspierać osoby pracujące nad tymi problemami, a także rozpowszechniamy Twoje rozwiązania za pośrednictwem naszych kanałów średnich i Twittera.

  • Uzasadnienie kontroli jakości wykresów wiedzy: To dla nas temat blisko domu. Uważamy, że podejście oparte na RNN, obejmujące uwagę graficzną i sploty, może być bardzo potężne i rozwiązywało nasze własne wyzwanie zestawu danych, aby to udowodnić. Dobrym miejscem na początek jest MacGraph, nasze ogólne rozwiązanie zestawu danych CLEVR-Graph.
  • Możliwości algorytmiczne transformatorów: architektura transformatorów szybko stała się de facto siecią przetwarzania sekwencji. Chociaż jest niewiarygodnie wydajny w korelacjach sekwencji wydobywczych i wydaje się, że ma o wiele więcej korzyści z większego skalowania, uważamy, że Transformatory nie są wydajne ani wystarczające do wykonywania wielu rodzajów operacji wnioskowania / algorytmiki wymaganych przez AGI. Prawdopodobnie będą musiały zostać wzbogacone o inne udogodnienia. Udowodnij to, generując pary tłumaczeń formuł i algorytmów oraz ich dane wyjściowe, wytrenuj na nich model tłumaczenia transformatora i zobacz, kiedy tłumaczenie się nie powiedzie.
  • Jak pisać na wykresie: Korzystanie z uwagi jest łatwym sposobem czytania z wykresu w sieci neuronowej, jednak sposób pisania nie jest tak oczywisty. Opracuj sieć (nadzorowaną lub opartą na uczeniu wzmacniającym), która zarówno odczytuje, jak i zapisuje z wykresu podczas jego wykonywania, aby osiągnąć coś pożytecznego. Na przykład weź jedno z rozwiązanych zadań MacGraph i stwórz wersję, w której niektóre ważne fakty dotyczące wykresu są wprowadzane jako dane wejściowe odrębne od wykresu.
  • Lepszy wynik jakości dla sieci GAN: Najpopularniejsze pomiary dla sieci GAN oparte są na wyszkolonej sieci Inception, aby pomóc zmierzyć, jak dobrze powstają wygenerowane obrazy. Ma to poważną wadę: jest tak potężne jak sieć Inception, a sieci splotowe wydają się polegać głównie na lokalnych teksturach. Aktualny stan GAN źle koordynuje szczegóły (patrz zdjęcie w załączniku). Nasze obecne wskaźniki jakości raczej tego nie wykryją. Badanie składa się z dwóch części: (1) udowodnić brak aktualnych wskaźników jakości, (2) zaproponować lepszą miarę
  • Automatyczne programy nauczania: Sieci uczące się algorytmów zazwyczaj potrzebują programów nauczania (np. Początkowo łatwiejsze przykłady szkoleń, które stopniowo stają się coraz trudniejsze, gdy sieć trenuje), aby nauczyć się swoich zadań. Programy te są często tworzone ręcznie. Opracuj schemat automatycznego wdrażania programu nauczania (np. Do DNC w celu nauczenia się sortowania). Aby zainspirować, Generatywne sieci przeciwne wykorzystują drugą sieć, która uczy się tak, jak uczy się sieć podstawowa, aby zapewnić rodzaj programu nauczania. Ponadto utrata sieci może być dobrym sygnałem, kiedy zestaw treningowy może być trudniejszy.
  • Język jako struktura kontroli dla rozumowania: Głos w naszych głowach jest kluczową częścią naszego rozumowania i osiągania naszych celów. Czy potrafisz zbudować model transformatora, który zadaje pytanie, mówi przez chwilę, a następnie udziela odpowiedzi?
  • Szkolenie GAN na skalę internetową: OpenAI wykazało, że przeszukiwanie Internetu w celu zbudowania ogromnego zestawu danych szkoleniowych, a następnie szkolenie na nim modelu transformatora, może zwrócić cenne wyniki. Zrób to samo dla GAN. Ma to kilka znaczących wyzwań: (1) Zasoby obliczeniowe do wyszkolenia wystarczająco dużego modelu do wydobywania zestawu danych, (2) Czy potrafisz wygenerować pomocny sygnał warunkowy dla GAN z kontekstu obrazów?
  • Zdanie na auto-koder wykresu wiedzy: Wykresy to świetny sposób na przedstawienie pokrewnych pojęć. Wykresy otwierają wiele sposobów przeglądania i wydobywania wiedzy. Tekst został użyty do przedstawienia dużej części ludzkiej wiedzy. Zbuduj jakąś formę struktury automatycznego kodera, która pobiera zestaw zdań wejściowych, przekształca je w wykres, a następnie przekształca ten wykres w zdania, które mają pewien poziom równoważności z zestawem wejściowym. Zauważ, że wykres przejściowy nie musi być formatem zrozumiałym dla ludzi (jak to zwykle bywa w osadzaniu słów, obrazów i zdań).
  • Rozwijająca się architektura podczas szkolenia: Progresywne sieci GAN pokazały, że dodawanie neuronów z czasem do sieci podczas jej treningów może być skuteczne. Zaletą tego podejścia szkoleniowego jest to, że wcześniejsze sieci szybciej trenują, ponieważ mają mniej parametrów. Otwiera to także możliwość dodania wystarczającej liczby neuronów, aż do osiągnięcia pożądanej wydajności. Umożliwia nawet dzielone testowanie różnych architektur równolegle (np. Szkolenie populacyjne). Spróbuj zastosować podejście progresywnego wzrostu w innym ustawieniu (feedforward, sekwencyjny, klasyfikacja obrazów) i sprawdź, czy to działa.

Jeśli jesteś nimi zainteresowany, porozmawiaj z naszą społecznością!

dodatek

BigGAN ma problemy z koordynacją tekstur

Wygenerowano za pomocą dema Google BigGAN