Невырашаныя праблемы ІІ

Запіс гасцей Сайман Андэрсан, старшы навуковы супрацоўнік @GoodAI

Рэзюмэ

  • Адсочванне асноўных нявырашаных праблем у ІІ можа зрабіць нас сумленнымі адносна таго, што яшчэ трэба дасягнуць, і палегчыць стварэнне дарожных карт да агульнага штучнага інтэлекту.
  • У дадзеным дакуменце выяўлена 29 адкрытых праблем.
  • Для кожнай асноўнай праблемы для ацэнкі прагрэсу даследаванняў прапануюцца прыклады тэстаў.

Уводзіны

Гэты дакумент вызначае адкрытыя праблемы ў ІІ. Ён імкнецца даць кароткі агляд найважнейшых праблем у гэтай галіне і сучаснага сучаснага ўзроўню, у адпаведнасці з тэмай "адкрытых даследчых пытанняў", накіраванай у Інстытут дарожных картаў AI.

Задачы згрупаваны ў AI-поўныя праблемы, праблемы з закрытым даменам і фундаментальныя праблемы ў развазе здаровага сэнсу, навучанні і сенсомоторные здольнасці.

Я разумею, што гэтая першая спроба агляду адкрытых праблем абавязкова будзе няпоўнай і жаданай зваротнай сувяззю з чытачом.

Каб паскорыць пошук агульнага штучнага інтэлекту, GoodAI арганізуе General AI Challenge (GoodAI, 2017), накіраваны на рашэнне некаторых праблем, выкладзеных ніжэй, праз шэраг вяховых задач, якія пачынаюцца ў пачатку 2017 года.

Крыніцы, метад і звязаная з імі работа

Збор праблем, прадстаўленых тут, з'яўляецца вынікам агляду літаратуры ў раёнах Беларусі

  • Машыннае навучанне
  • Машына ўспрымання і робататэхнікі
  • Адкрытыя праблемы з ІІ
  • Ацэнка сістэм ІІ
  • Тэсты на дасягненне інтэлекту чалавечага ўзроўню
  • Арыенціры і конкурсы

Каб разглядаць пытанне аб уключэнні, павінна быць праблема

  1. Вельмі актуальна для дасягнення агульнага штучнага інтэлекту
  2. Зачынены ў вобласці дзеяння, не падлягае адкрытаму пашырэнню
  3. Праверка

Праблемы адрозніваюцца па маштабе і часта перасякаюцца. Некаторыя могуць утрымлівацца цалкам у іншых. Другі крытэрый (закрытая сфера) выключае некаторыя цікавыя праблемы, напрыклад, вывучэнне ўсіх прафесій чалавека; некалькі праблем такога тыпу ўзгадваюцца асобна ад асноўнага спісу. Каб пераканацца, што праблемы можна праверыць, кожны прадстаўляецца разам з прыкладамі тэстаў.

Некалькі вэб-сайтаў, некаторыя з пералічаных ніжэй, ствараюць праблемы з AI.

  • На старонцы праблемы разгляду здаровага сэнсу (Commonsense Reasoning, 2015) прысутнічаюць праблемы з шэрагу абласцей разважанняў, такія як "Наіўная псіхалогія" (якая адносіцца да тэорыі розуму і сацыяльнага пазнання) і "Фізічная развага" (якая тычыцца інтуітыўнай і наіўнай фізікі).
  • На старонцы схемы Wenssense Reasoning Winograd (Commonsense Reasoning, 2016a) прадстаўлены схемы Winograd і іншыя праблемы неадназначнасці займеннікаў, якія патрабуюць разумення свету.
  • Запыты на даследаванні OpenAI (OpenAI, 2016) прадстаўляюць праблемы машыннага навучання рознай складанасці з акцэнтам на глыбокае і ўзмацненне навучання.
  • Збор адкрытых даследчых задач AI • ON (AI • ON, 2016) утрымлівае прыкладныя і фундаментальныя праблемы ІІ, таксама падкрэсліваючы глыбокае навучанне.

У кантэксце ацэнкі сістэм інтэлектуальнага навучання Эрнандэс-Арала (2016a) разглядае шэраг адкрытых праблем ІА. Возера і інш. (2016) прапануе крытыку сучаснага стану мастацтва ў ІІ і абмяркоўвае такія праблемы, як інтуітыўная фізіка, інтуітыўная псіхалогія і навучанне з некалькіх прыкладаў.

Шэраг праблемных праблем для ІІ быў прапанаваны ў (Brooks, et al., 1996) і (Brachman, 2006).

Праблемы

У астатнім дакуменце пералічаныя праблемы з ІІ, як паказана ніжэй.

  1. AI-поўныя праблемы
  2. Праблемы з закрытым даменам
  3. Здаровыя развагі
  4. Навучанне
  5. Праблемы з сэнсарным рухам

AI-поўныя праблемы

Праблемы з AI-поўнасцю могуць утрымліваць усе штучныя інтэлекту чалавека на большасці людзей. Некалькі праблем у гэтай катэгорыі прыведзены ніжэй.

  1. Дыялог адкрытага дамена
  2. Разуменне тэксту
  3. Машынны пераклад
  4. Тэсты чалавечага інтэлекту і здольнасці
  5. Дазвол Coreference (схемы Winograd)
  6. Складанае разуменне слова

Дыялог адкрытага дамена

Дыялог адкрытых даменаў - гэта праблема пісьменнага вядзення дыялогу з чалавекам, калі прадмет абмеркавання загадзя не вядомы. Задача ўключае разуменне мовы, прагматыку дыялога і разуменне свету. Варыянты заданняў уключаюць гутарковы і пісьмовы дыялог. Задача можа быць пашырана, каб уключыць мультымадальнае ўзаемадзеянне (напрыклад, жэставы ўвод, мультымедыйны выхад). Магчымымі крытэрыямі поспеху з'яўляюцца карыснасць і магчымасць весці дыялог, які не адрозніваецца ад чалавечага дыялогу ("тэст Цюрынга").

Тэсты

Дыялагічныя сістэмы звычайна ацэньваюцца суддзямі. Падзеі, дзе гэта было зроблена, уключаюць

  1. Прыз Лобэнера (Loebner, 2016)
  2. Задача на чаце Роба (Выклік чат Роба, 2014)

Разуменне тэксту

Разуменне тэксту - гэта нявырашаная праблема. У галіне адказаў на пытанні дасягнуты значны прагрэс, але сучасныя сістэмы па-ранейшаму церпяць няўдачу, калі неабходныя здаровыя сэнсы пра сусветны сэнс, акрамя таго, які прадугледжаны ў тэксце.

Тэсты

  1. Макарці (1976) прадставіў праблему ранняга разумення тэксту.
  2. Брахман (2006) прапанаваў праблему чытання падручніка і рашэння яго практыкаванняў.

Машынны пераклад

Машынны пераклад з'яўляецца AI-поўным, паколькі ўключае праблемы, якія патрабуюць разумення свету (напрыклад, дазвол асноўных размоў, разгледжаны ніжэй).

Тэсты

Хоць якасць перакладу можна ацаніць аўтаматычна, выкарыстоўваючы паралельныя корпусы, канчатковым тэстам з'яўляецца ацэнка якасці чалавека. Такія карпарацыі, як Корпус сучаснай амерыканскай англійскай мовы (Davies, 2008), утрымліваюць узоры тэкстаў розных жанраў. Якасць перакладу можна ацаніць, выкарыстоўваючы ўзоры

  1. Тэкст газеты
  2. Мастацкая літаратура
  3. Гутарковыя транскрыпцыі

Тэсты інтэлекту

Тэсты чалавечага інтэлекту і здольнасцей (Hernández-Orallo, 2017) цікавыя тым, што яны распрацаваны так, каб яны былі на мяжы чалавечых здольнасцей і былі цяжка ці немагчыма вырашыць, выкарыстоўваючы запамінаныя веды. Эфектыўнасць чалавечага ўзроўню паведамлялася ў прагрэсіўных матрыцах Ворана (Lovett і Forbus, 2017), але ў штучных сістэм па-ранейшаму не хапае агульных здольнасцей разважанняў, каб адначасова вырашаць розныя праблемы (Hernández-Orallo, 2016b).

Тэсты

  1. Brachman (2006) прапанаваў выкарыстоўваць SAT як праблему AI.

Дазвол Coreference

Праблемы, якія супадаюць з развязаннем асноўных канфліктаў, неадназначнасцю займеннікаў і схемамі Winograd, патрабуюць падбору рэфератаў займеннікаў і назоўнікаў.

Тэсты

  1. Дэвіс (2011) пералічвае 144 схемы Вінаграда.
  2. Звычайнае здарэнне (2016b) пералічвае праблемы неадназначнасці займеннікаў: 62 праблемы з узорам і 60 праблем, якія выкарыстоўваюцца ў першай праграме "Вызваленне вінаградскай схемы", якая адбылася ў IJCAI-16.

Складанае разуменне слова

У многіх мовах ёсць складаныя словы з зададзенымі значэннямі. Можна скласці новыя складаныя словы, і мы добра адгадваем іх значэнне. Мы разумеем, што водная птушка - гэта птушка, якая жыве побач з вадой, а не птушка, якая ўтрымлівае ваду і складаецца з яе, і гэтая няшчырасць адчуваецца, калі іншыя, а не мы, пацярпелі.

Тэсты

  1. "Значэнне словазлучэнняў назоўніка" на (Звязанае меркаванне, 2015)

Праблемы з закрытым даменам

Праблемы з закрытым даменам - гэта тыя, якія аб'ядноўваюць важныя элементы інтэлекту, але памяншаюць цяжкасці, абмяжоўваючы сябе абмежаванай сферай ведаў. Прыкладамі гэтага з'яўляюцца ігравыя агенты, і штучныя агенты дасягнулі нечалавечых вынікаў на Go (Silver et al., 2016) і ў апошні час у покер (Aupperlee, 2017; Brown and Sandholm, 2017). Сярод адкрытых праблем:

  1. Навучанне гуляць у настольныя, картачныя і пліткавыя гульні з апісанняў
  2. Стварэнне праграм з апісанняў
  3. Разуменне зыходнага кода

Настольныя, картачныя і пліткавыя гульні з апісанняў

У адрозненне ад спецыялізаваных гульцоў, сістэмы, якія павінны вывучаць новыя гульні з апісання правілаў, не могуць разлічваць на загадзя распрацаваныя алгарытмы для канкрэтных гульняў.

Тэсты

  1. Праблема вывучэння новых гульняў з афіцыйных моўных апісанняў паўстала як праблема на канферэнцыі AAAI (Genesereth et al., 2005; AAAI, 2013).
  2. Яшчэ больш складанай з'яўляецца праблема вывучэння гульняў з апісання натуральнай мовы; такія апісанні для гульняў з картамі і пліткамі даступныя на шэрагу сайтаў (напрыклад, McLeod, 2017).

Праграмы з апісанняў

Праблема, зразумелая для практыкі, стварэнне праграм на мове праграмавання, напрыклад, на C з натуральнага ўводу мовы.

Тэсты

  1. Задача "Description2Code", прапанаваная ў (OpenAI, 2016), мае 5000 апісанняў для праграм, сабраных Этан Кабалера.

Разуменне зыходнага кода

Вытворчасць кода звязана з разуменнем зыходнага кода, дзе сістэма можа інтэрпрэтаваць семантыку кода і выяўляць сітуацыі, калі код адрозніваецца нетрывіяльнымі спосабамі ад верагоднага намеру яго аўтара. Аламаніс і інш. (2016) паведамляе пра прагрэс у прагназаванні назваў працэдур.

Тэсты

  1. Міжнародны конкурс зашумленых кодаў C (OCCC, 2016) публікуе код, які наўмысна цяжка зразумець. Разуменне зыходнага кода можа быць выпрабавана як здольнасць палепшыць чытальнасць кода, ацэненую чалавечымі суддзямі.

Здаровыя развагі

Разважанне здаровага сэнсу, верагодна, будзе цэнтральным элементам агульнага штучнага інтэлекту. Некаторыя асноўныя праблемы ў гэтай галіне прыведзены ніжэй.

  1. Прычынна-выніковыя развагі
  2. Контрфактычныя развагі
  3. Інтуітыўная фізіка
  4. Інтуітыўная псіхалогія

Прычынна-выніковыя развагі

Прычынна-выніковыя развагі патрабуюць прызнання і прымянення прычынна-выніковых адносін.

Тэсты

  1. "Наяўнасць доказаў" на (Commonsense Reasoning, 2015)
  2. "Ваўкі і трусы" на (Commonsense Reasoning, 2015)

Контрфактычныя развагі

Для адказу на гіпатэтычныя пытанні патрабуецца контрфактычнае разважанне. Ён выкарыстоўвае прычынна-выніковыя развагі разам з іншымі магчымасцямі мадэлявання і разважанняў сістэмы, каб разглядаць сітуацыі, магчыма іншыя, чым усе, што адбывалася ў свеце.

Тэсты

  1. "Жорсткая і незвычайная праблема стральбы Ельскага" ў (Commonsense Reasoning, 2015)

Інтуітыўная фізіка

А асноўнае разуменне фізічнага свету, уключаючы сталасць аб'екта і здольнасць прадказваць верагодныя траекторыі, дапамагае агентам хутчэй вучыцца і рабіць больш правільныя прагнозы. Зараз гэта вельмі актыўная даследчая вобласць; пра некаторыя нядаўнія працы паведамляецца ў (Agrawal et al., 2016; Chang et al., 2016; Degrave et al., 2016; Denil et al., 2016; Finn et al., 2016; Fragkiadaki et al., 2016; Hamrick і інш., 2016; Li et al., 2016; Mottaghi et al., 2016; Nair et al., 2016; Stewart and Ermon, 2016).

Тэсты

  1. Раздзел «Фізічныя развагі» па адрасе: (Здароўе разумення, 2015) (8 праблем)
  2. "Праблема з ручкай" на (Commonsense Reasoning, 2015)

Інтуітыўная псіхалогія

Інтуітыўная псіхалогія альбо тэорыя розуму дазваляе агенту зразумець мэты і перакананні і выводзіць іх з паводзін іншых агентаў.

Тэсты

  1. Раздзел «Наіўная псіхалогія» па адрасе: (Здароўе разумення, 2015) (4 праблемы)

Навучанне

Нягледзячы на ​​значны поспех у машынным навучанні, важныя праблемы, звязаныя з навучаннем, застаюцца ў асноўным нявырашанымі. Яны ўключаюць:

  1. Паступовае навучанне
  2. Навучанне без нагляду
  3. Моцнае абагульненне
  4. Катэгорыя навучання з некалькіх прыкладаў
  5. Навучыцца вучыцца
  6. Кампазіцыйнае навучанне
  7. Навучанне, не забываючыся
  8. Перадача навучання
  9. Ведаючы, калі не ведаеш
  10. Навучанне праз дзеянне

Паступовае навучанне

Людзі здольныя на працягу ўсяго жыцця вывучаць усё больш складаныя задачы. Штучныя рэчывы таксама павінны быць. Варыянты гэтай ідэі абмяркоўваліся ў рамках пажыццёвых тэкстаў (Thrun and Mitchell, 1995), пастаяннага і паступовага навучання. У GoodAI мы прынялі тэрмін паступовае навучанне (Rosa et al., 2016) для доўгатэрміновага назапашвання ведаў і ўменняў. Гэта патрабуе спалучэння некалькіх здольнасцей, разгледжаных ніжэй:

  • Кампазіцыйнае навучанне
  • Навучыцца вучыцца
  • Навучанне, не забываючыся
  • Перадача навучання

Тэсты

  1. Магчымае выпрабаванне датычыцца хатняга робата, які вывучае задачы па абслугоўванні дома і дома, у тым ліку атрыманне інструментаў і матэрыялаў для працы. Тэст ацэньвае агента па двух крытэрыях: бесперапынная праца (Nilsson in Brooks, et al., 1996), дзе агент павінен функцыянаваць аўтаномна, не перапраграмаваць на працягу свайго жыцця, і павышаючы магчымасці, дзе агент павінен праяўляцца, у розных кропках яго эвалюцыя, магчымасці не былі раней.

Навучанне без нагляду

Непадкантрольнае навучанне было названа наступнай вялікай праблемай у машынным навучанні (LeCun 2016). Здаецца, ён мае асноватворнае значэнне для жыцця на працягу ўсяго жыцця (кантралюемыя сігналы і сігналы ўзмацнення не даюць амаль дастатковай колькасці дадзеных) і цесна звязаны з прагназаваннем і разважлівасцю здаровага сэнсу ("запаўненне адсутных частак"). Цяжкай праблемай (Іошуа Бэнджыё, на панэлі "Мазгі і біты" на NIPS 2016) з'яўляецца непадкантрольнае навучанне ў іерархічных сістэмах, з кампанентамі, якія навучаюцца сумесна.

Тэсты

У дадатак да магчымых тэстаў у галіне зроку, распазнаванне гаворкі таксама прадстаўляе магчымасці для бескантрольнага навучання. У той час як сучасныя апавядальнікі прамовы разлічваюць у значнай ступені на кантраляваным навучанні ў буйных карпарацыях, непадкантрольнае распазнаванне патрабуе выяўлення без нагляду фанем, сегментацыі слоў і слоўніка. Было паведамлена, што прагрэс у гэтым кірунку дагэтуль абмежаваны малым распазнаваннем лексікі (Riccardi і Hakkani-Tur, 2003, Park and Glass, 2008, Kamper et al., 2016).

  1. Поўнамаштабнае выпрабаванне непадкантрольнага распазнання гаворкі можа быць трэніроўкай на аўдыё-часткі транскрыбаванага маўленчага корпуса (напрыклад, TIMIT (Garofolo, 1993)), а потым навучыцца прадказваць транскрыпцыі толькі з вельмі рэдкім кантролем.

Моцнае абагульненне

Людзі могуць перадаваць веды і ўменні ў розных сітуацыях, якія падзяляюць структуру высокага ўзроўню, але ў адваротным выпадку кардынальна адрозніваюцца, прыстасоўваючыся да дэталяў новай устаноўкі, захоўваючы пры гэтым сутнасць навыку, здольнасць якога (Tarlow, 2016; Gaunt et al., 2016) ) абазначаюць як моцнае абагульненне. Калі мы навучымся прыбіраць памяшканне, мы ведаем, як прыбіраць большасць іншых пакояў.

Тэсты

  1. Агульны робат мог навучыцца будаваць цацачны замак з аднаго матэрыялу (напрыклад, з блокаў лега) і прайсці праверку па стварэнні яго з іншых матэрыялаў (пяску, камянёў, палачак).
  2. Бытавы робат можа прайсці навучанне па ачыстцы і падрыхтоўцы ежы ў адной абстаноўцы і прайсці выпрабаванне ў вельмі непадобных умовах.

Катэгорыя навучання з некалькіх прыкладаў

Возера і інш. (2015) дасягнула прызнання чалавечага ўзроўню і генерацыі персанажаў на некалькіх прыкладах. Аднак вывучэнне складанейшых катэгорый з некалькіх прыкладаў застаецца адкрытай праблемай.

Тэсты

  1. База дадзеных ImageNet (Deng et al., 2009) утрымлівае выявы, арганізаваныя па семантычнай іерархіі WordNet (Miller, 1995). Правільнае вызначэнне катэгорый ImageNet па малюнках з вельмі невялікімі дадзенымі навучання можа стаць складаным выпрабаваннем навучання з некалькіх прыкладаў.

Навучыцца вучыцца

Learning to learn or meta-learning (напрыклад, Harlow, 1949; Schmidhuber, 1987; Thrun and Pratt, 1998; Andrychowicz et al., 2016; Chen et al., 2016; de Freitas, 2016; Duan et al., 2016; Lake et al., 2016; Wang et al., 2016) - гэта набыццё навыкаў і індуктыўных прадузятасцей, якія палягчаюць навучанне ў будучыні. У прыватнасці, разглядаюцца сцэнарыі, калі больш агульны і павольны працэс навучання стварае больш хуткі і больш спецыялізаваны. Прыкладам з'яўляецца біялагічная эвалюцыя, якая дае эфектыўных вучняў, такіх як чалавек.

Тэсты

  1. Навучанне гуляць у відэагульні Atari - гэта вобласць, якая дабілася значных поспехаў у апошні час, у тым ліку ў галіне перадачы навучання (Parisotto et al., 2016). Аднак дагэтуль не існуе сістэмы, якая спачатку навучыцца гуляць у відэагульні, потым здольная вывучыць новую гульню, як людзі, з некалькіх хвілін гульні (Lake et al., 2016).

Кампазіцыйнае навучанне

Кампазіцыйнае навучанне (de Freitas, 2016; Лейк і інш., 2016) - гэта магчымасць рэкамбінаваць прымітыўныя ўяўленні, каб паскорыць набыццё новых ведаў. Яна цесна звязана з навучаннем вучыцца.

Тэсты

Тэсты для кампазіцыйнага навучання павінны праверыць як эфектыўнасць навучэнца, так і тое, што ён выкарыстоўвае кампазіцыйныя ўяўленні.

  1. Некаторыя катэгорыі ImageNet адпавядаюць класам аб'ектаў, якія ў значнай ступені вызначаюцца кампазіцыямі кампанентаў, напрыклад, крэслы і зэдлікі, альбо аднаколавыя веласіпеды, веласіпеды і трыцыклы. Тэст можа ацаніць здольнасць агента вывучаць катэгорыі з нешматлікімі прыкладамі і паведамляць пра часткі аб'екта на малюнку.
  2. Кампазіцыйнае навучанне павінна быць надзвычай карысным пры вывучэнні відэагульняў (Lake et al., 2016). Вучань можа быць пратэставаны на гульні, якая ўжо асвоілася, але там, дзе кампаненты змянілі знешні выгляд (напрыклад, рыба па-рознаму ў гульні Frostbite). Ён павінен мець магчымасць гуляць у варыянтную гульню з невялікім альбо ніякім дадатковым навучаннем.

Навучанне, не забываючыся

Для таго, каб пастаянна вучыцца на працягу свайго жыцця, агент павінен мець магчымасць абагульняць новыя назіранні, захоўваючы раней набытыя веды. Нядаўні прагрэс у дасягненні гэтай мэты паведамляецца ў (Kirkpatrick et al., 2016) і (Li and Hoiem, 2016). Праца над нейроннымі сеткамі з дапоўненай памяццю (напрыклад, Graves et al., 2016) таксама актуальная.

Тэсты

Тэст на навучанне, не забываючыся, неабходна прадстаўляць навучальныя задачы паслядоўна (ранейшыя заданні не паўтараюцца) і тэст на захаванне ранніх ведаў. Ён таксама можа праверыць на зніжэнне часу навучання на новыя заданні, каб пераканацца, што агент выкарыстоўвае веды, набытыя да гэтага часу.

  1. Складаным тэстам на навучанне, не забываючыся, было б навучыцца распазнаваць усе катэгорыі ў ImageNet, прадстаўленыя паслядоўна.

Перадача навучання

Трансфернае навучанне (Pan and Yang, 2010) - гэта здольнасць агента, навучанага ў адным дамене, авалодаць іншым. Вынікі ў галіне разумення тэксту ў цяперашні час дрэнныя, калі толькі агент не праходзіць падрыхтоўку па новым дамене (Kadlec, et al., 2016).

Тэсты

Класіфікацыя пачуццяў (Blitzer et al., 2007) забяспечвае магчымую выпрабавальную пляцоўку для перадачы навучання. Навучэнцы могуць праходзіць навучанне па адным корпусе, тэсціраваць па іншаму і параўноўваць з базавым курсам, які навучаецца непасрэдна на мэтавым дамене.

  1. Агляды фільмаў і прадпрыемстваў дастаткова розныя, каб зрабіць перадачу ведаў складанай. Карпарацыямі для даменаў з'яўляюцца агляды фільмаў Rotten Tomatoes (Pang and Lee, 2005) і набор дадзеных Yelp Challenge (Yelp, 2017).

Ведаючы, калі не ведаеш

Хоць нявызначанасць мадэлюецца па-рознаму з выкарыстаннем розных алгарытмаў навучання, але, здаецца, у цэлым справядліва, што сучасныя штучныя сістэмы не такія добрыя, як людзі, якія "ведаюць, калі яны не ведаюць". Прыкладам могуць служыць глыбокія нейронныя сеткі, якія дасягаюць найноўшай дакладнасці распазнавання малюнкаў, але прысвойваюць 99,99% упэўненасці ў наяўнасці аб'ектаў на малюнках, цалкам непазнавальных для чалавека (Nguyen et al., 2015).

Працаздольнасць чалавека па ацэнцы даверу будзе ўключаць

  1. У індукцыйных задачах, такіх як індукцыя праграмы альбо завяршэнне паслядоўнасці, веданне, калі прадстаўленыя прыклады недастатковыя для індукцыі (некалькі разумных гіпотэз могуць улічваць іх)
  2. Пры распазнанні прамовы веданне, калі вымаўленне не трактуецца надзейна
  3. У візуальных задачах, такіх як выяўленне пешаходаў, веданне, калі частка выявы не прааналізавана надзейна

Тэсты

  1. Распазнавальнік маўлення можна параўнаць з узроўнем чалавека, вымяраючы адносіны сярэдняга даверу да даверу на прыкладах, калі распазнаванне не атрымліваецца.
  2. Упэўненасць у сістэмах распазнавання малюнкаў можна праверыць на згенераваных прыкладных прыкладах.

Навучанне праз дзеянне

Людскія немаўляты, як вядома, даведаюцца пра свет з дапамогай эксперыментаў, назіраючы наступствы ўласных дзеянняў (Smith and Gasser, 2005; Malik, 2015). Здаецца, гэта тычыцца і пазнання вышэйшага ўзроўню, і ўспрымання. Эксперыменты над жывёламі пацвердзілі, што здольнасць ініцыяваць рух мае вырашальнае значэнне для развіцця ўспрымання (Held and Hein, 1963), і нядаўні прагрэс быў дасягнуты ў выкарыстанні руху ў навучанні візуальнага ўспрымання (Agrawal et al., 2015). У (Agrawal et al., 2016) робат вучыцца прадказваць наступствы тыкання.

Такім чынам, "навучанне праз дзеянне" ахоплівае некалькі абласцей, у тым ліку

  • Актыўнае навучанне, дзе агент выбірае прыклады навучання, якія, хутчэй за ўсё, будуць павучальнымі
  • Правядзенне гнасеалагічных дзеянняў, гэта значыць дзейнасці, накіраванай у першую чаргу на збор інфармацыі
  • Навучанне ўспрымаць праз дзеянне
  • Пазнанне прычынна-выніковых сувязей праз дзеянне

Магчыма, самае галоўнае, што для штучных сістэм вывучэнне прычыннай структуры свету праз эксперыменты застаецца адкрытай праблемай.

Тэсты

Для навучання дзеянням натуральна разглядаць праблемы рухальных маніпуляцый, калі акрамя непасрэдных наступстваў дзеянняў агента неабходна ўлічваць і другасныя эфекты.

  1. Навучанне гуляць у більярд: Агенту з невялікімі папярэднімі ведамі і без фіксаваных дадзеных пра навучанне дазваляецца даследаваць рэальны ці віртуальны більярдны стол і павінен навучыцца добра гуляць у більярд.

Праблемы з сэнсарным рухам

Да нявырашаных праблем робататэхнікі і машыннага ўспрымання адносяцца:

  1. Аўтаномная навігацыя ў дынамічных умовах
  2. Аналіз сцэны
  3. Надзейныя агульныя аб'екты распазнавання і выяўлення
  4. Надзейны, адначасовы размяшчэнне і адлюстраванне на працягу ўсяго жыцця (SLAM)
  5. Мультымадальная інтэграцыя
  6. Адаптыўныя спрытныя маніпуляцыі

Аўтаномная навігацыя

Нягледзячы на ​​нядаўні прагрэс у кіраванні аўтамабілямі такіх аўтамабіляў, як Tesla, Waymo (раней праект аўтамабіляў Google за рулём) і шмат іншых, аўтаномная навігацыя ў вельмі дынамічных умовах застаецца ў асноўным нявырашанай праблемай, якая патрабуе ведаў аб аб'ектыўнай семантыцы, каб надзейна прадказаць будучую сцэну дзяржаў (Ess et al., 2010).

Тэсты

  1. Цалкам аўтаматычная язда па шматлюдных гарадскіх вуліцах і жылых раёнах па-ранейшаму застаецца складаным выпрабаваннем для аўтаномнай навігацыі.

Аналіз сцэны

Задача аналізу сцэны выходзіць далёка за рамкі распазнання аб'ектаў і ўключае разуменне паверхняў, утвораных множнымі аб'ектамі, 3D-структуру сцэны, прычынна-выніковыя сувязі (Лейк і інш., 2016) і магчымасці. Ён не абмяжоўваецца зрокам, але можа залежаць ад праслухоўвання, дотыку і іншых спосабаў, напрыклад, электрапрыймання і эхолокации (Lewicki et al., 2014; Kondo et al., 2017). Хоць дасягнуты прагрэс, напрыклад, у распазнанні анамальных і неверагодных сцэн (Choi et al., 2012), прагназаванні дынамікі аб'екта (Fouhey і Zitnick, 2014) і адкрыцці функцыянальнасці аб'екта (Yao et al., 2013), мы ўсё яшчэ далёка не чалавечыя паказчыкі ў гэтай галіне.

Тэсты

Некаторыя магчымыя праблемы для разумення прычыннай структуры ў візуальных сцэнах:

  1. Прызнанне небяспечных сітуацый: Корпус з сінтэтычных малюнкаў можа быць створаны там, дзе тыя ж аб'екты будуць рэкамбінаваны для фарміравання "небяспечных" і "бяспечных" сцэн, класіфікаваных людзьмі.
  2. Прызнанне фізічна неверагодных сцэн: Сінтэтычны корпус можа быць створаны для паказу фізічна праўдападобных і неверагодных сцэн, якія змяшчаюць адны і тыя ж аб'екты.
  3. Распазнаванне непатрэбных аб'ектаў: ​​Былі створаны выявы непатрэбных аб'ектаў (Kamprani, 2017).

Распазнаванне аб'екта

У той час як распазнаванне аб'ектаў у апошнія гады адчувае вялікі прагрэс (напрыклад, Han et al., 2016), супадае або пераўзыходзіць паказчыкі чалавека па многіх праблемах (Karpathy, 2014) і можа набліжацца да дасканаласці ў закрытых умовах (Song et al., 2015) , сучасныя сістэмы па-ранейшаму змагаюцца з больш цяжкімі выпадкамі, такімі як адкрытыя аб'екты (пераплеценыя з фонам), зламаныя аб'екты, усечэнне і закаркаванне ў дынамічных умовах (напрыклад, Rajaram et al., 2015).

Тэсты

Навакольнае асяроддзе, загрувашчанае і ўтрымлівае аб'екты, створаныя з вялікага адкрытага і зменлівага набораў тыпаў, можа быць складанай праблемай для сістэмы распазнання аб'ектаў. Прыкладам можа быць

  1. Убачыўшы фота нутраных камораў і халадзільнікаў і пералічыўшы інгрэдыенты, даступныя ўладальнікам

Адначасовае размяшчэнне і адлюстраванне

У той час як праблема адначасовага размяшчэння і адлюстравання (SLAM) лічыцца вырашанай для некаторых прыкладанняў, задача SLAM для аўтаномных робатаў, якія жывуць доўгажыхарамі, у шырокамаштабных умовах, якія змяняюцца па часе, застаецца адкрытай (Cadena et al., 2016).

Тэсты

  1. Месца і картаграфічнае жыццё, без падрабязных картаў, прадугледжаных загадзя і надзейных зменаў навакольнага асяроддзя, для аўтаномнага аўтамабіля, які знаходзіцца ў вялікім горадзе

Мультымадальная інтэграцыя

Інтэграцыя некалькіх пачуццяў (Lahat, 2015) важная, напрыклад, у чалавечай камунікацыі (Morency, 2015) і разуменні сцэны (Lewicki et al., 2014; Kondo et al., 2017). Наяўнасць некалькіх сэнсарных сістэм, якія перакрываюцца адзін аднаму, мае важнае значэнне для таго, каб даць чалавеку магчымасці выхаваць сябе, успрымаючы і дзейнічаючы ў свеце (Smith and Gasser, 2005).

Тэсты

Размоўная сувязь у шумных умовах, дзе чытанне вуснаў і жэстыкуляцыя неабходныя, могуць стварыць праблемы для мультымадальнага зліцця. Прыкладам можа быць

  1. Бармен-робат: Агенту трэба інтэрпрэтаваць запыты кліентаў у шумным бары.

Адаптыўныя спрытныя маніпуляцыі

Сучасныя маніпулятары робатаў не набліжаюцца да універсальнасці чалавечай рукі (Ciocarlie, 2015). Цяжкія праблемы ўключаюць у сябе кіраванне дэфармаванымі аб'ектамі і працуюць з мабільнай платформы.

Тэсты

  1. Дастаньце бялізну з пральнай машыны і павесіўшы іх на лініі адзення і вешалкі для паліто ў самых розных месцах, застаючыся ў баку ад людзей.

Адкрытыя праблемы

Некаторыя вартыя ўвагі праблемы былі выключаны са спісу, паколькі яны маюць занадта адкрыты аб'ём: яны ўключаюць у сябе набор задач, якія развіваюцца з цягам часу альбо могуць быць бясконца пашыраныя. Таму цяжка вырашыць, ці была вырашана праблема. Праблемы такога тыпу ўключаюць

  • Паступіўшы ў чалавечы універсітэт і праходзіце заняткі, як людзі (Goertzel, 2012)
  • Аўтаматызацыя ўсіх відаў чалавечай працы (Nilsson, 2005)
  • Задачы-галаваломкі, напрыклад, штогадовыя гульні TMOU у Чэхіі (TMOU, 2016)

Выснова

Я прааналізаваў шэраг адкрытых праблем у спробе акрэсліць бягучыя лініі фронтавага даследавання. Спіс праблем у гэтай першай версіі, а таксама апісанні праблем, прыклады тэстаў і згадкі пра бягучую працу ў даследчых галінах абавязкова няпоўныя. Я планую паступова пашыраць і ўдасканальваць дакумент і цёпла вітаю прапановы альбо ў раздзеле каментароў ніжэй, альбо на дыскурс-форуме інстытута.

Удзячнасці

Я дзякую Яну Фейерэслу, Марціну Поляку, Пятру Длухошу і астатняй камандзе GoodAI за каштоўную дыскусію і прапановы.

Літаратура

АААІ. "AAAI-13 Міжнародны агульны конкурс гульнявых гульняў." Інтэрнэт пад http://www.aaai.org/Conferences/AAAI/2013/aaai13games.php (2013)

Agrawal, Pulkit, Joao Carreira і Jitendra Malik. "Навучыцца бачыць, рухаючыся". Матэрыялы Міжнароднай канферэнцыі IEEE па камп'ютэрнаму зроку. 2015 год.

Agrawal, Pulkit і інш. "Навучанне тыкаць тыканнем: вопыт навучання інтуітыўнай фізіцы". arXiv перадрук arXiv: 1606.07419 (2016).

ІІ • ВКЛ. "Збор адкрытых даследаванняў у AI • ON". Інтэрнэт пад http://ai-on.org/projects (2016)

Аламаніс, Мільцядзіс, Хао Пэн і Чарльз Саттон. "Скруткавая ўвага сеткі для экстрэмальнага абагульнення зыходнага кода." arXiv перадрук arXiv: 1602.03001 (2016).

Андрыховіч, Марцін і інш. "Навучанне вучыцца градыентнаму спуску. Поспехі ў сістэмах апрацоўкі нейроннай інфармацыі. 2016 год.

Aupperlee, Аарон. "Ніякага блефу: суперкампутар перахітрыць людзей у матчы ў покер". Інтэрнэт пад http://triblive.com/local/allegheny/11865933-74/rematch-aaron-aupperlee (2017)

Бліцэр, Джон, Марк Дрэдзэ і Фернанда Перэйра. "Біяграфіі, балівуд, бум-боксы і блендеры: адаптацыя даменаў для класіфікацыі настрояў". ACL. Вып. 7. 2007.

Брахман, Рональд Дж. "I больш, чым сума яго частак". Часопіс ІІ 27,4 (2006): 19.

Брукс, Р. і інш. "Кіньце выклік праблемам штучнага інтэлекту". Трынаццатая Нацыянальная канферэнцыя па штучным інтэлекце-AAAI. 1996 год.

Браўн, Ноам і Туомас Сандхольм. "Рашэнне бяспечнай і ўкладзенай канчатковай гульні для ідэальна-інфармацыйных гульняў." Інтэрнэт пад http://www.cs.cmu.edu/~noamb/papers/17-AAAI-Refinement.pdf (2017)

Cadena, Cesar і інш. "Мінулае, сучаснасць і будучыня адначасовай лакалізацыі і картаграфіі: да эпохі надзейнай ўспрымання". Аперацыі IEEE па робататэхніцы 32.6 (2016): 1309–1332.

Чанг, Майкл Б. і інш. "Кампазіцыйны аб'ектна-падыход да вывучэння фізічнай дынамікі." arXiv перадрук arXiv: 1612.00341 (2016).

Чэнь, Юцьян і інш. "Навучыцца вучыцца глабальнай аптымізацыі функцый Black Box". arXiv перадрук arXiv: 1611.03824 (2016).

Чой, Мён Джын, Антоніа Торальба і Алан С. Вільскі. "Кантэкстныя мадэлі і па-за кантэкстам". Лісты распазнання малюнкаў 33.7 (2012): 853–862.

Чокарлі, Мацей. "Універсальнасць робататэхнічных маніпуляцый: доўгі шлях усюды". Інтэрнэт пад https://www.youtube.com/watch?v=wiTQ6qOR8o4 (2015)

Разумнае абгрунтаванне. "Праблемная старонка разваг здаровага сэнсу." Інтэрнэт пад http://commonsensereasoning.org/problem_page.html (2015)

Разумнае абгрунтаванне. "Здаровае асэнсаванне выкліку схемы Winograd". Інтэрнэт пад http://commonsensereasoning.org/winograd.html (2016a)

Разумнае абгрунтаванне. "Здаровыя сэнсы, якія разважаюць з праблемамі неадназначнасці займеннікаў" Інтэрнэт пад http://commonsensereasoning.org/disambiguation.html (2016b)

Дэвіс, Марк. Корпус сучаснай амерыканскай англійскай мовы. BYE, Універсітэт Брыгама Янга, 2008.

Дэвіс, Эрнэст. "Калекцыя вінаградскіх схем". Інтэрнэт пад http://www.cs.nyu.edu/facturing/davise/papers/WinogradSchemas/WSCollection.html (2011)

дэ Фрэйтас, Нанда. "Навучанне навучэнню і кампазіцыйнасць з глыбокімі паўтаральнымі нейроннымі сеткамі: навучыцца вучыцца і кампазіцыянальнасці". Матэрыялы 22-й міжнароднай канферэнцыі ACM SIGKDD па выяўленні ведаў і інтэграцыі дадзеных. ACM, 2016 год.

Degrave, Jonas, Michiel Hermans і Joni Dambre. "Дыферэнцыраваны фізічны рухавік для глыбокага навучання робататэхніцы". arXiv перадрук arXiv: 1611.01652 (2016).

Дэн, Цзя і інш. "Imagenet: маштабная іерархічная база дадзеных малюнкаў." Камп'ютэрнае бачанне і распазнаванне малюнкаў, 2009. CVPR 2009. Канферэнцыя IEEE. IEEE, 2009 г.

Дэніл, Міша і інш. "Навучанне выконваць эксперыменты па фізіцы з дапамогай навучання па глыбокім узмацненні". arXiv перадрук arXiv: 1611.01843 (2016).

Дуан, Ян і інш. "RL²: хуткае навучанне па ўзмацненні з дапамогай павольнага навучання". arXiv перадрук arXiv: 1611.02779 (2016).

Эсс, Андрэас і інш. "Выяўленне і адсочванне аб'ектаў для аўтаномнай навігацыі ў дынамічных умовах". Міжнародны часопіс даследаванняў робататэхнікі 29.14 (2010): 1707–1725.

Фін, Чэлсі і Сяргей Левін. "Глыбокае візуальнае прадбачанне для планавання руху робата". arXiv перадрук arXiv: 1610.00696 (2016).

Фуі, Дэвід Ф. і Лоўрэнс Цытнік. "Прагназаванне дынамікі аб'екта ў сцэнах." Матэрыялы канферэнцыі IEEE па камп'ютэрнаму зроку і распазнаванню малюнкаў. 2014 год.

Fragkiadaki, Katerina і інш. "Вывучэнне візуальных прагнастычных мадэляў фізікі для гульні ў більярд". arXiv перадрук arXiv: 1511.07404 (2015).

Гарафола, Джон і інш. "TIMIT акустычна-фанетычны бесперапынны маўленчы корпус LDC93S1". Загрузка ў Інтэрнэце. Філадэльфія: Моўны кансорцыум дадзеных, 1993.

Гонт, Аляксандр Л. і інш. "Terpret: верагодная мова праграмавання для індукцыі праграмы." arXiv перадрук arXiv: 1608.04428 (2016).

Джэнэзэрт, Майкл, Натаніэл Лаў і Барні Пэл. "Агульная гульня: агляд конкурсу AAAI." Часопіс ІІ 26,2 (2005): 62.

Гёртцэль, Бэн. "Што лічыцца машынай свядомага мыслення?" Інтэрнэт пад https://www.newscientist.com/article/mg21528813.600-what-counts-as-a-a- podsvije-thinking-machine (2012)

GoodAI. "Агульны выклік AI". Інтэрнэт пад https://www.general-ai-challenge.org/ (2017)

Магіла, Аляксей і інш. "Гібрыдныя вылічэнні з выкарыстаннем нейроннай сеткі з дынамічнай знешняй памяццю". Прырода 538,7626 (2016): 471–476.

Гамрык, Джесіка Б. і інш. "Прыняцце рашэнняў на аснове фантазіі з фізічнымі мадэлямі ў глыбокіх нейронных сетках". Інтэрнэт пад http://phys.csail.mit.edu/papers/5.pdf (2016)

Хань, Дунгун, Джыуан Кім і Джунмо Кім. "Глыбокія пірамідальныя рэшткавыя сеткі". arXiv перадрук arXiv: 1610.02915 (2016).

Харлоў, Гары Ф. "Фарміраванне навучальных набораў". Псіхалагічны агляд 56.1 (1949): 51.

Адбыліся Рычард і Алан Хайн. "Стымуляванне рухам у развіцці візуальнага паводзін". Часопіс параўнальнай і фізіялагічнай псіхалогіі 56.5 (1963): 872.

Эрнандэс-Арала, Хасэ. "Ацэнка штучнага інтэлекту: ад арыентаванага на заданне і да ацэнкі, накіраванай на здольнасць". Агляд штучнага інтэлекту (2016a): 1–51.

Эрнандэс-Арала, Хасэ і інш. "Кампутарныя мадэлі рашэння задач тэсту інтэлекту: прагрэс і наступствы". Штучны інтэлект 230 (2016b): 74–107.

Эрнандэс-Арала, Хасэ. "Мера ўсіх розумаў." Cambridge University Press, 2017.

МАГКЦ. "Міжнародны конкурс на змрочны код C". Інтэрнэт пад http://www.ioccc.org (2016)

Кадлец, Рудольф і інш. "Пошук джэк-оф-гандаль: экспертыза паўкантрольнага навучання пры разуменні чытання". У разглядзе на ICLR 2017, у Інтэрнэце пад https://openreview.net/pdf?id=rJM69B5xx

Кампер, Герман, Арэн Янсен і Шэрон Голдуотэр. "Непадкантрольная сегментацыя слоў і выяўленне лексікі з выкарыстаннем акустычных укладанняў слоў." IEEE / ACM Аперацыі па апрацоўцы аўдыё, маўлення і мовы (TASLP) 24.4 (2016): 669–679.

Кампрані, Кацярына. "Нязручна". Інтэрнэт пад http://www.kkstudio.gr/#the-uncomfortable (2017)

Карпаты, Андрэй. "Што я даведаўся, канкуруючы супраць ConvNet на ImageNet." Інтэрнэт пад http://karpathy.github.io/2014/09/02/what-i-learnedfrom-competing-against-a-convnet-on-imagenet (2014)

Кіркпатрык, Джэймс і інш. "Пераадоленне катастрафічнага забыцця ў нейронных сетках". arXiv перадрук arXiv: 1612.00796 (2016).

Конда, НМ і інш. "Аўдытарны і візуальны аналіз сцэны: агляд". Філасофскія здзелкі Лонданскага каралеўскага таварыства. Серыя B, Біялагічныя навукі 372.1714 (2017).

Лахат, Дана, Тюлай Адалі і Крысціян Ютэн. "Мультымадальнае зліццё дадзеных: агляд метадаў, праблем і перспектыў". Матэрыялы IEEE 103.9 (2015): 1449–1477.

Возера, Брэндэн М., Руслан Салахутдзінаў і Джошуа Б. Тэненбаум. "Навучанне канцэпцыі на ўзроўні чалавека з дапамогай верагоднасці ўвядзення праграмы". Навука 350.6266 (2015): 1332–1338.

Возера, М. Брэндэн і інш. "Будаўніцтва машын, якія вучацца і думаюць, як людзі". arXiv перадрук arXiv: 1604.00289 (2016).

Лекун, Ян. "Наступная мяжа ў ІІ: Непадкантрольнае навучанне". Інтэрнэт пад http://www.ri.cmu.edu/event_detail.html?event_id=1211&&menu_id=242&event_type=seminars (2016)

Левіцкі, Міхаіл Сяргеевіч і інш. "Аналіз сцэн у прыродным асяроддзі". Межы ў псіхалогіі 5 (2014): 199.

Лі, Вэньбін, Алеш Леанардзіс і Марыё Фрыц. "Прагноз візуальнай стабільнасці і яго прымяненне да маніпуляцый." arXiv перадрук arXiv: 1609.04861 (2016).

Лі, Джычжун і Дэрэк Хойем. "Вучыцца, не забываючы". Еўрапейская канферэнцыя па камп'ютэрнаму зроку. Міжнароднае выдавецтва Springer, 2016.

Лёбнер, Х'ю. "Хатняя старонка прэміі Лебнера - першы тэст Цьюрынга". Інтэрнэт пад http://www.loebner.net/Prizef/loebner-prize.html (2016).

Лавет, Эндру і Кенет Форбус. "Мадэляванне візуальнага рашэння задачы як аналагічнага развагі". Псіхалагічны агляд 124.1 (2017): 60.

Малік, Жындра. "Гільберта праблемы камп'ютэрнага зроку." Інтэрнэт пад https://www.youtube.com/watch?v=QaF2kkez5XU (2015)

Макарці, Джон. "Прыклад для разумення натуральнай мовы і праблем з ІІ, якія ён узнікае". Інтэрнэт пад http://www-formal.stanford.edu/jmc/mrhug/mrhug.html (1976)

Маклеод, Джон. "Правілы картачнай гульні - картачныя гульні і гульні з пліткамі з усяго свету." Інтэрнэт пад https://www.pagat.com (2017)

Мілер, Джордж А. "WordNet: лексічная база дадзеных для англійскай мовы". Сувязь АНМ 38.11 (1995): 39–41.

Mottaghi, Roozbeh і інш. "" Што будзе, калі ... "Навучанне прагназаваць дзеянне сіл на малюнках." Еўрапейская канферэнцыя па камп'ютэрнаму зроку. Міжнароднае выдавецтва Springer, 2016.

Морніс, Луі-Філіп. "Мультымадальнае машыннае навучанне". Інтэрнэт пад https://www.youtube.com/watch?v=pMb_CIK14lU (2015)

Наір, Ашвін і інш. "Спалучаючы навучанне і імітацыю самакантролю для маніпуляцый са сканаваннем на бачанні". Інтэрнэт пад http://phys.csail.mit.edu/papers/15.pdf (2016)

Нгуен, Ан, Джэйсан Йосіньскі і Джэф Клун. "Глыбокія нейронныя сеткі лёгка падмануць: прагнозы высокага даверу да непазнавальных малюнкаў". Канферэнцыя IEEE 2015 па камп'ютэрнаму зроку і распазнанні малюнкаў (CVPR). IEEE, 2015 год.

Nilsson, Nils J. "Штучны інтэлект чалавека на ўзроўні? Будзьце сур'ёзныя! " Часопіс ІІ 26,4 (2005): 68.

OpenAI. "Запыты на даследаванні." Інтэрнэт пад https://openai.com/requests-for-research (2016)

Пан, Сінна Джаалін і Цян Ян. "Апытанне аб трансферным навучанні." Здзелкі IEEE па інжынерыі ведаў і дадзеных 22.10 (2010): 1345–1359.

Панг, Бо і Ліліян Лі. "Бачанне зорак: Выкарыстанне адносін класа для класіфікацыі настрояў адносна рэйтынгавых шкал". Матэрыялы 43-га штогадовага пасяджэння па асацыяцыі па вылічальнай лінгвістыцы. Асацыяцыя вылічальнай лінгвістыкі, 2005.

Парысота, Эміліё, Джымі Лей Ба і Руслан Салахутдзінаў. "Акцёрская міміка: глыбокая шматзадачнасць і навучанне ўзмацненню перадачы" arXiv перадрук arXiv: 1511.06342 (2015).

Парк, Алекс С. і Джэймс Р. Гласс. "Непадкантрольнае выяўленне заканамернасці ў гаворцы." Аперацыі IEEE па апрацоўцы аўдыя, маўлення і мовы 16.1 (2008): 186–197.

Раджарам, Ракеш Натаджы, Эшэд Он-Бар і Мохан М. Трыведзі. "Выведка таго, чаму і калі выяўленне пешаходаў не атрымліваецца". 2015 18-я Міжнародная канферэнцыя IEEE па інтэлектуальных транспартных сістэмах. IEEE, 2015 год.

Рыкардзі, Джузэпэ і Дылек З. Хакані-Тюр. "Актыўнае і непадкантрольнае навучанне для аўтаматычнага распазнання гаворкі." Interspeech. 2003 год.

Роба чат выклік. "Robo chat challenge 2014." Інтэрнэт пад http://www.robochatchallenge.com (2014)

Роза, Марэк, Ян Фейер і Калектыў GoodAI. "Рамка для пошуку агульнага штучнага інтэлекту". arXiv перадрук arXiv: 1611.00685 (2016).

Шмідхубер, Юрген. "Эвалюцыйныя прынцыпы ў самарэфератыўным навучанні." Пра тое, як навучыцца: мета-мета-… крук.) Дыпломная праца, Інстытут ф. Informatik, Tech. Ун-т. Мюнхен (1987).

Сільвер, Дэвід і інш. "Авалоданне гульнёй Go з глыбокімі нейроннымі сеткамі і пошукам дрэў." Прырода 529,7587 (2016): 484–489.

Сміт, Лінда і Майкл Гасэр. "Развіццё ўвасабленага пазнання: шэсць урокаў ад немаўлятаў". Штучнае жыццё 11,1–2 (2005): 13–29.

Сунг, Шуран, Лінгунг Чжан і Цзянсян Сяо. "Робат у пакоі: да ідэальнага распазнавання аб'ектаў у закрытых умовах". КРР (2015).

Сцюарт, Расэл і Стэфана Эрмон. "Безнаглядны нагляд за нейронавымі сеткамі з фізікай і ведамі аб вобласці". arXiv перадрук arXiv: 1609.05566 (2016).

Тарлоў, Даніэль. "У пошуках моцнага абагульнення". Інтэрнэт пад https://uclmr.github.io/nampi/talk_slides/tarlow-nampi.pdf (2016)

Трун, Себасцьян і Том Мітчэл. "Навучанне робата на працягу ўсяго жыцця." Робататэхніка і аўтаномныя сістэмы 15.1–2 (1995): 25–46.

Трун, Себасцьян і Лорыен Прат. "Навучыцца вучыцца: Уводзіны і агляд". Навучыцца вучыцца. Спрынгер ЗША, 1998. 3–17.

TMOU. "Архіў TMOU". Інтэрнэт пад http://www.tmou.cz/archiv/index (2016)

Верша, Радрыга і Хаўер Руіс-дэль-Солар. "Выяўленне аб'ектаў: ​​бягучыя і будучыя напрамкі." Межы ў робататэхніцы і ІІ (2015): 29.

Ван, Джэйн X. і інш. "Навучыцца арматуры вучыцца". arXiv перадрук arXiv: 1611.05763 (2016).

Яо, Бангэнг, Цзяюань Ма і Лі Фэй-Фэй. "Адкрыццё функцыянальнасці аб'екта." Матэрыялы Міжнароднай канферэнцыі IEEE па камп'ютэрнаму зроку. 2013 год.

Yelp, "выклік набору дадзеных Yelp.", Онлайн пад https://www.yelp.com/dataset_challenge (2017)