Новы падыход OpenAI да навучання імітацыі адным стрэлам - зазірнуць у будучыню AI

Навучанне па аднамантачнай творчасці Ян Дуан, Марцін Андрыховіч, Брэдлі Стэдзі, Джонатан Хо, Ёнас Шнайдэр, Ілья Суцкевер, Пітэр Аббіл, Войцех Зарэмба

16 мая даследчыкі OpenAI падзяліліся відэа адным з сваіх праектаў, а таксама двума дакументамі, якія займаюцца вывучэннем рашэнняў трох асноўных вузкіх месцаў цяперашняга развіцця ІІ: мета-навучання, навучання ў адзін кадр і аўтаматызаванага збору дадзеных. У сваім папярэднім допісе я паабяцаў артыкул, прысвечаную займальнай праблеме навучання ў адзін прыём, і вось далей. Пачніце з таго, каб зірнуць на відэа, якое яны выпусцілі, якое тлумачыць іх дзіўную працу:

У гэтым відэа вы бачыце аднарукага фізічнага робата, які ўкладвае кубікі адзін на аднаго. Ведаючы складаныя задачы, якія прамысловыя робаты ў цяперашні час здольныя выконваць, калі даследчык не спрабуе растлумачыць, што адбываецца, на многіх рахунках гэта будзе вельмі карысным. У кіраванай абстаноўцы задачы простыя, працэдурныя (жорстка распрацаваныя) падыходы ўжо вырашалі гэтую праблему, што перспектыўна і рэвалюцыйна, колькі агульная рамка пад ёй можа маштабаваць да шматлікіх, больш складаных і адаптыўных формаў паводзін у больш шумных умовах.

Розніца ў думках паміж чалавекам і вышэйшымі жывёламі, як і вялікая, безумоўна, з'яўляецца адной ступені, а не выгляду.
- Чарльз Дарвін

Па аналогіі, гэты артыкул з'яўляецца яскравым сведчаннем таго, што адрозненні ў кагнітыўных сістэмах паміж увасабленым у цяперашні час штучным інтэлекту (штучным інтэлектам фізічных сістэм) і робатамі 22-га стагоддзя будуць маштабнымі і не падобнымі. Пачынаючы з 2012 года конкурс ImageNet *, даследаванні глыбокага навучання паскараюць не столькі для змены характару размеркаваных вылічэнняў, якія выконваюцца нейроннай сеткай, але пошуку новых спосабаў структуры сетак, каб яны даведаліся канкрэтную задачу. Для нейроннай сеткі функцыя - гэта структура, гэтая структура не з'яўляецца жорсткім кодам (не распрацавана ўручную), але гэта вынікі атамных вылічальных адзінак, першапачаткова звязаных паміж уваходамі і выхадамі, якія здольныя змяняць іх структуру і злучэнні. Менавіта змяняючы агульную структуру сеткі, яна вывучае пэўную функцыю.

У гэтым артыкуле яны стварылі агульную аснову, здольную падрыхтаваць агента да адлюстравання задач абстрактна і навучыцца пераносіць гэтыя веды на новыя нябачныя задачы (перадаваць навучанне) толькі пасля адной дэманстрацыі раманнай задачы (адзін стрэл, які імітуе навучанне).

Задачы

Хоць дакладная архітэктурная рэалізацыя адрозніваецца, яны бяруць дзве задачы ў якасці прыкладаў, каб паказаць выкананне агульнага падыходу.

Частка дасягае

У першым прыкладзе сістэма атрымлівае ўваходы каляровых мэтавых пазіцый на плоскасці і адзіны відэадэманстрацыя імітаванага агента, які ідзе да зададзенай мэты.

Малюнак 2. Робат - гэта кропкавая маса, якая кіруецца двухмернай сілай. Задача сям'і - дасягнуць мэтавай арыентыру. Ідэнтычнасць арыенціру адрозніваецца ад задачы да задачы, і мадэль павінна высветліць, якую мэту пераследваць на аснове дэманстрацыі. (злева) ілюстрацыя робата; (у сярэдзіне) задача - дабрацца да аранжавага поля, (справа) задача - дабрацца да зялёнага трыкутніка.

Падчас навучання сістэма павінна прайграваць тую ж задачу (дасягнуць аранжавага колеру), але з іншай канфігурацыі, з рознымі стартавымі пазіцыямі для робата і мэтаў. Незразумела, ці будзе падчас тэставання агент праходзіць тэст на заданне, на якім ён праходзіў навучанне (дасягнуць аранжавага колеру), альбо на заданне, якога ён ніколі раней не бачыў (напрыклад, дабрацца да зялёнага) альбо на абодва.

Навучаная палітыка ацэньваецца па новых сцэнарыях і абумоўліваецца новымі дэманстрацыйнымі траекторыямі, нябачнымі падчас трэнінгу.

Вядома, што агент павінен вывесці мэта мэты з унікальнай дэманстрацыі і зноў пачаць з іншай канфігурацыі. Гэта азначае, што дакладную рухальную паслядоўнасць нельга было даведацца перад тэставаннем і яе трэба зрабіць шляхам абстракцыі (структураванага прадстаўлення больш высокага ўзроўню) і планавання рухавіка.

Блок кладкі

У другім прыкладзе агент павінен навучыцца складаць кубы (ідэнтыфікаваныя рознымі кветкамі) у тым жа парадку, што і той, які паказаны ў адной імітацыйнай дэманстрацыі. Гэтая мадэляваная дэманстрацыя ўяўляе сабой серыю двухмерных малюнкаў, згенераваных 3D-рухавіком фізікі, у якім мадэлююцца ўласцівасці рухавіка і сэнсарнага апарата робатаў.

Аднаразовая палітыка. Адзіная палітыка падрыхтавана для вырашэння многіх задач. Асноўная задача: {abc, def}, ніжняя задача: {ab, cd, ef}

У абодвух прыкладах пачатковыя пазіцыі кубікаў у дэманстрацыі і ў рэальным тэсце розныя, кожная задача пачынаецца з іншай зыходнай пазіцыі. Робат не спрабуе замяніць кубікі, каб яны адпавядалі зыходнай пазіцыі дэманстрацыі, ён пераносіў задачу больш высокага ўзроўню, каб скласці куб незалежна ад стану, у якім ён пачынаецца.

Навучанне з выкарыстаннем рандомізацыі даменаў

У абодвух выпадках усе выявы, якія выкарыстоўваюцца падчас трэніроўкі, атрымліваюцца з дапамогай мадэлявання з выкарыстаннем рандомізацыі даменаў, пры якой яны будуць рандомизировать наступныя аспекты ўзораў:

Колькасць і форма адцягваючых прадметаў на стале Размяшчэнне і тэкстура ўсіх аб'ектаў на стале Тэкстуры табліцы, падлогі, скрынкі і робата Размяшчэнне, арыентацыя і поле зроку камеры Колькасць агнёў у сцэне Размяшчэнне, арыентацыя, і макулярныя характарыстыкі агнёў Тып і колькасць выпадковых шумоў, дададзеных да малюнкаў

Навучанне для дасягнення часціц

Мы лічым усё больш складаным набор задач сем'яў, дзе колькасць арыенціраў павялічваецца з 2 да 10. Для кожнай сям'і задач мы збіраем 10000 траекторый для навучання, дзе пазіцыі арыенціраў і зыходнае становішча кропкавага робата рандомізаваны. Мы выкарыстоўваем жорсткую праграмную палітыку экспертаў для эфектыўнага стварэння дэманстрацый. Мы дадаем шум траекторыям, абураючы вылічаныя дзеянні перад ужываннем іх у навакольнае асяроддзе, і мы выкарыстоўваем простае паводніцкае кланаванне для навучання палітыцы нейроннай сеткі.

Навучальны набор для кладкі блокаў

У прыватнасці, мы збіраем 140 вучэбных задач і 43 тэставыя заданні, кожная з якіх мае розную планку блокаў. Колькасць блокаў у кожнай задачы можа вар'іравацца ад 2 да 10. Мы збіраем 1000 траекторый на заданне для навучання і падтрымліваем асобны набор траекторый і пачатковых канфігурацый, якія будуць выкарыстоўвацца для ацэнкі. Падобна да задачы, якая дасягае часціц, мы ўводзім шум у працэс збору траекторыі. Траекторыі збіраюцца з выкарыстаннем жорсткай праграмы.

Паспяховыя дэманстрацыі збіраюцца з выкарыстаннем жорсткай праграмы

Звярніце ўвагу, што падчас навучання правільныя траекторыі генеруюцца працэдурнай "цвёрда кадзіраванай" палітыкай, і я лічу, што яна абапіраецца на класічныя метады ідэнтыфікацыі і кіравання сістэмай. Такім чынам, падчас трэніроўкі і тэставання агент мае два ўваходы: а) дэманстрацыя ў канфігурацыі A і б) пачатковая канфігурацыя B. Толькі падчас трэнінгу алгарытм навучання мае доступ да ідэальнага адказу: траекторыі, якая пачынаецца з канфігурацыі B, адказвае на праблему і з чым будзе параўноўвацца рэакцыя агента падчас навучання - што робіць яго праблемай навучання пад наглядам.

Для кожнай трэнінгавай задачы мы мяркуем пра наяўнасць набору паспяховых дэманстрацый.

Калі гэта незразумела, я перайду адрозненні паміж рознымі тыпамі парадыгмаў навучання ў наступным раздзеле.

Алгарытм аптымізацыі і функцыя страт

Навучанае кіраванне адносіцца да парадыгмаў навучання, пры якіх пры кожным рашэнні сетка мае доступ да правільнага выбару, які ён павінен зрабіць, а значыць, і да паняцця памылак. Напрыклад, у заданні па класіфікацыі паміж сабакамі і коткамі, загадзя вядомы ярлык выяваў сабак і катоў, і памылкі адразу выяўляюцца. У гэтым сэнсе ён адрозніваецца ад непадкантрольнага навучання, калі ўвогуле агент просіць знайсці невядомую раней структуру ва ўводах, якія ён атрымлівае, і без ярлыкоў котак і сабак прыйдзецца выявіць, што існуе два кластара розных аб'ектаў толькі на аснове інфармацыя, якая змяшчаецца ў дадзеных. Ён таксама адрозніваецца ад "Афіцыйнага навучання", што часта ўжываецца да сістэмы рэальнага часу, у якой дакладная паслядоўнасць рашэння, якая вядзе да мэты, невядома, але толькі канчатковая "ўзнагарода" будзе вырашаць, ці была паслядоўнасць правільнай. З дапамогай імітацыйнага навучання яны ператвараюць класічную задачу навучання ўмацаванне ў кіраваную задачу навучання, у якой памылка вылічваецца з адлегласці да назіранай траекторыі.

Як і ў выпадку з любой навучальнай устаноўкай, якая кантралюецца, задача, якая ідзе, цалкам вызначаецца функцыяй страт, якая накіравана на тое, каб вызначыць, наколькі далёкі быў агент ад меркаванага паводзін. Вызначэнне гэтай функцыі часта з'яўляецца найважнейшым этапам, бо яна вызначае, як алгарытмы аптымізацыі абнаўляюць параметры мадэлі. Гэтыя алгарытмы маюць важнае значэнне для тэрмінаў вылічэння, і часта патрабуюць налады, каб мець магчымасць збліжацца. Сапраўды, рашэнні, якія зводзяць да мінімуму функцыю ў вельмі вялікім вымярэнні, знаходзяцца ў вельмі маленькай абалонцы прасторы параметраў, з невялікім адлегласцю паміж імі, як толькі вы адыходзіце ад гэтай невялікай вобласці, адлегласць паміж рашэннямі хутка расце. Існуе шмат вельмі цікавых работ па гэтай тэме, зробленых сярод іншых вельмі дзіўнай Джэніфер Чайс, яна распраўляе гэтую тэму ў вельмі цікавым інтэрв'ю ў апошнім эпізодзе Talking Machines.

Падчас навучання палітычным сеткам (уся сетка, здольная вызначыць, з чаго можна прыняць меры) яны спачатку апрацоўваюць паспяховую дэманстрацыйную траекторыю. У гэтай частцы яны будуць параўноўваць два падыходы: класічнае паводніцкае кланаванне (не зусім упэўнены ў рэалізацыі, якое яны выкарыстоўвалі) і алгарытмы DAGGER. Затым гэта дазволіць ітэратыўна мінімізаваць функцыю страт праз l2 альбо праз крос-энтрапійную страту ў залежнасці ад таго, ці з'яўляюцца дзеянні бесперапыннымі або дыскрэтнымі (на аснове размеркавання падзей у паслядоўнасці). Ва ўсіх эксперыментах яны выкарыстоўвалі алгарытм Adamax для аптымізацыі з хуткасцю навучання 0,001.

Памер кроку пачынаецца невялікім і распадаецца ў геаметрычнай прагрэсіі.

Алгарытм сам па сабе не дазваляе пераносіць, гэта дазваляе будаваць свой навучальны набор і функцыю страты, якая дазволіць пераносіць.

У задачах існуе два віды перадачы. Першы выгляд называецца "пераадоленне разрыву рэчаіснасці", гэта абагульненне ў навучанні, якое дазваляе перанесці паміж трэніроўкамі на мадэляваных прыёмах тэсціраванне прыродных раздражняльнікаў. Дадзеныя мадэлявання часта збядняюць набліжэнне рэальнага свету, занадта дасканалыя, пазбаўленыя складанасці рэальнага аб'екта. У рэальным свеце камера можа быць няспраўнай і шумнай, кіраванне рухавіком будзе менш дакладным, колеры будуць мяняцца, тэкстуры будуць больш насычанымі і г.д. Для атрымання першай перадачы яны выкарыстоўваюць метад, які яны называюць "рандомізацыяй дамена" : менавіта шляхам дадання шуму да ўваходаў сетка можа даведацца агульную адпаведную структуру, што дазволіць ёй адпаведным чынам абагульніць рэальны свет. Яны будуць, напрыклад, мяняць кут камеры паміж прыкладамі трэніровак, мяняць тэкстуру ці робяць траекторыі менш дасканалымі. Дадаючы шум падчас трэніровак, мы дадаём надзейнасці.

Другая тэставаная тут перадача - магчымасць вырабляць адпаведную рухальную паслядоўнасць у раней нябачным наборы канфігурацыі і мэты, заснаванай на адной дэманстрацыі, пачынаючы з іншай першапачатковай канфігурацыі, але з аналагічнай канчатковай мэтай. І зноў перанос стане магчымым дзякуючы таму, як мы будуем трэніровачны набор і мадэлюем функцыю страты. Прадстаўляючы дэманстрацыі падчас трэніровак, якія не пачынаюцца з той жа першапачатковай умовы дасягнення падобнай мэты, вы дазваляеце сетцы навучыцца ўстаўляць мэты вышэйшага ўзроўню без выкарыстання абсалютных пазіцый, а таксама прадстаўніцтва больш высокага парадку рухальная паслядоўнасць, якая не з'яўляецца простай імітацыяй. Наіўная першапачатковая архітэктура дазваляе навучаць мадыфікаваць структуру адпаведным чынам, і гэтая падрыхтаваная структура прадугледжвае канчатковую функцыю.

Мэты

Для парадыгмы блок-кладкі яны мелі некалькі абмежаванняў, з якімі імкнуўся адпавядаць іх вучэбны агент.

Гэта павінна быць лёгка прымяняцца да асобнікаў задач, якія маюць розную колькасць блокаў.
Гэта павінна натуральна абагульняць розныя перастаноўкі адной і той жа задачы. Напрыклад, палітыка павінна добра выконваць задачы {dcba}, нават калі яна навучаецца толькі для задач {abcd}.
Ён павінен змяшчаць дэманстрацыі зменнай даўжыні.

У іх было некалькі пытанняў, на якія яны хацелі адказаць для гэтай задачы.

Як параўноўваць навучанне з паводніцкім кланаваннем з DAGGER, улічваючы, што дастатковую колькасць дадзеных можна збіраць у аўтаномным рэжыме?
Якім чынам кандыцыянаванне на ўсёй дэманстрацыі параўноўваецца з кандыцыянаваннем канчатковай патрэбнай канфігурацыі, нават калі ў канчатковай канфігурацыі ёсць дастаткова інфармацыі для поўнай задачы задачы?
Як кандыцыянаванне на ўсёй дэманстрацыі параўноўваецца з кандыцыянаваннем на "здымку" траекторыі, які ўяўляе сабой невялікі набор мноства кадраў, найбольш інфарматыўных
Ці можа наша аснова паспяхова абагульняць віды задач, якіх ён ніколі не бачыў падчас навучання? (++)
Якія сучасныя абмежаванні гэтага метаду?

Архітэктура

Дасягненне часціц

Для гэтага першага прыкладу яны параўналі тры архітэктуры, заснаваныя на нейронных сетках Доўгая кароткатэрміновая памяць (LSTM). Апісанне гэтых сетак будзе змешчана ў будучым паведамленні пра памяць і ўвагу, якія з'яўляюцца абсалютна займальнымі прадметамі як у кагнітыўных, так і ў вылічальных навуках. Па сутнасці, LSTM сілкуе папярэднія выхады сеткі (у часе) як частку ўваходу ў сетку ў кожны новы момант часу, што дазваляе інфармацыі мінулых станаў паведамляць пра сучаснасць (адсюль іх назва кароткатэрміновых сетак памяці). Яны ляжаць у корані многіх сучасных тэхналогій, якія тычацца часовых радкоў (Alexa, Siri і г.д.).

Тут яны выкарыстоўваюць гэтыя тры канкрэтныя ўмовы:

  1. Звычайны LSTM: вучыцца ўстаўляць траекторыю і бягучы стан, каб падаваць яе на шматслойны перспептрон, які будзе вырабляць рухальныя дзеянні
  2. LSTM з увагай: стварыць узважанае ўяўленне над арыенцірамі траекторыі
  3. Канчатковы стан з увагай: выкарыстоўвайце ў трэніроўках толькі канчатковы стан, каб стварыць узважванне арыенціраў, падобна папярэдняй архітэктуры

Блок кладкі

У той час як агульная нейронавая сетка можа вывучыць адлюстраванне ад дэманстрацыі і бягучага назірання да адпаведных дзеянняў, мы палічылі важным выкарыстоўваць адпаведную архітэктуру. Наша архітэктура для складання блока навучання з'яўляецца адным з асноўных укладаў гэтага дакумента, і мы лічым, што ён уяўляе сабой тое, якім можа выглядаць архітэктура для навучання імітацыі аднаразовымі складанымі задачамі ў будучыні.

Модулі ўвагі

У артыкуле застаецца адносна высокі ўзровень апісання структуры сетак, якія выкарыстоўваюцца для вывучэння задачы. Ключавым кампанентам архітэктуры з'яўляецца іх модуль увагі, але я лічу, што гэтай тэме неабходна падрабязна паглыбіцца ў яе асноўную ролю. Па аналогіі з кагнітыўнай навукай канцэпцыі пастаяннага ўвагі, модулі ўвагі выкарыстоўваюцца, каб захаваць і засяродзіцца на адпаведнай інфармацыі, якая змяшчаецца ў розных прасторах і часе. Ён стварае выснову фіксаванага памеру, якая змяшчае ўкладанне інфармацыйнага змесціва, якое было расцягнута ў часе і прасторы. Па аналогіі з тапалогіяй, матэматычнай галіной, якая, як я мяркую, будзе значна інфармаваць, як мы разумеем размеркаваныя ўяўленні ў будучыні, сетка ўвагі выконвае тапалагічны ізамарфізм інфармацыі, тую ж крывізну, іншую форму. Звярніце ўвагу, што гэтыя сеткі не гуляюць ролі дэтэктара слізлівасці, здольнага засяродзіцца на нечаканых або рэдкіх падзеях, што з'яўляецца функцыяй, звязанай з паняццем увагі ў неўралогіі.

Тут яны выкарыстоўваюць два тыпы сеткі ўвагі: а) часовая сетка ўвагі, якая вырабляе ўзважаную суму над зместам (запыты, кантэкст і вектары памяці), якія захоўваюцца ў памяці, і б) сетка ўвагі наваколля, здольная аднаўляць інфармацыю адносна блока пазіцыі ў залежнасці ад бягучага запыту агента.

Сетка часовай увагі, з c: кантэкстны вектар, m: вектар памяці, q: вектар запыту, v: вага вектара. Выхад такога ж памеру, што і вектар памяці. Гэта лінейнае спалучэнне тых вектараў, якія дазваляюць некаторым вектару памяці мець большы ўплыў на высновы на аснове кантэксту і вектараў запытаў.У той жа самай ідэі, што сістэма ўвагі дынамічна падтрымлівае канкурэнцыю паміж прасторавай інфармацыяй.

Палітыка сеткі

Поўная сетка складаецца з трох розных сетак: дэманстрацыйнай сеткі, кантэкстнай сеткі і сеткі маніпуляцый.

Дэманстрацыйная сетка атрымлівае дэманстрацыйную траекторыю ў якасці ўваходу і вырабляе ўкладанне дэманстрацыі, якая выкарыстоўваецца палітыкай. Памер гэтай убудовы лінейна расце як функцыя ад даўжыні дэманстрацыі, так і ад колькасці блокаў у навакольным асяроддзі.

Як паказана тут, дэманстрацыйная сетка здольная ўбудаваць дэманстрацыю рознай складанасці і памеру ў агульны фармат, які будзе выкарыстоўвацца кантэкстнай сеткай для прадстаўлення задачы. Верагодна, ужо на гэтым узроўні адбываецца абагульненне, дэманстрацыя дэманстрацыі павінна выпускаць звесткі пра дакладную траекторыю і абсалютныя пазіцыі куба, заўважаныя падчас дэманстрацый.

Гледзячы на ​​структуру кантэкстнай сеткі, хаця і з вельмі высокага ўзроўню, мы бачым інтэрфейс з дэманстрацыйнай сеткай, які падае ўкладанне дэманстрацыі да цэнтральных часовых модуляў увагі. Мы таксама бачым, што папярэднія дзеянні (LSTM) і бягучы стан падаюцца як ўваход, звязаны з укладаннем дэманстрацыі для атрымання глабальнага ўбудавання ў кантэкст, накіраванага ў рухавіковую сетку.

Іх апісанне функцый сеткі, на мой погляд, з'яўляецца найбольш важнай часткай працы:

Кантэкстная сетка пачынаецца з вылічэння вектара запыту як функцыі бягучага стану, які затым выкарыстоўваецца для ўдзелу на розных этапах часу ў дэманстрацыі. Узважвання ўвагі на розных блоках у межах аднаго кроку часу падсумоўваюцца разам, каб атрымаць адзін вагу за этап часу. Вынікам гэтай часовай увагі з'яўляецца вектар, памер якога прапарцыйны колькасці блокаў у навакольным асяроддзі. Затым мы ўжываем увагу наваколля, каб распаўсюджваць інфармацыю па ўкладаннях кожнага блока. Гэты працэс паўтараецца некалькі разоў, калі стан вылучаецца пры дапамозе ячэйкі LSTM з развязаным вагой.
Папярэдняя паслядоўнасць аперацый вырабляе ўбудаванне, памер якога не залежыць ад працягласці дэманстрацыі, але ўсё яшчэ залежыць ад колькасці блокаў. Затым мы ўжываем стандартную мяккую ўвагу для стварэння вектарных памераў, дзе ўтрыманне памяці складаецца толькі з пазіцый кожнага блока, які разам са станам робата фармуе ўваход, перададзены ў маніпуляцыйную сетку.
Інтуітыўна, хоць колькасць аб'ектаў у навакольным асяроддзі можа змяняцца, на кожным этапе аперацыі маніпуляцыя колькасць адпаведных аб'ектаў невялікая і звычайна фіксавана. У прыватнасці, для асяроддзя кладкі блока, робату трэба толькі звяртаць увагу на становішча блока, які ён спрабуе забраць (зыходны блок), а таксама на становішча блока, які ён спрабуе размясціць зверху ( мэтавы блок). Такім чынам, правільна навучаная сетка можа навучыцца адпавядаць бягучаму стану з адпаведным этапам дэманстрацыі і выводзіць ідэнтычнасці зыходнага і мэтавага блокаў, выражаных у выглядзе мяккага ўцяжарвання ўвагі над рознымі блокамі, якія потым выкарыстоўваюцца для атрымання адпаведных пазіцый у быць перададзены сеткі маніпуляцый.

Тое, як яны завяршаюць сваё апісанне, з'яўляецца выдатным прыкладам цяперашняга дрэйфу даследаванняў ІІІ ад экспертнага сістэмнага падыходу да сістэмнага падыходу да навучання, а таксама намякае на дыскусію пра тое, як развіваўся мозг ніжэй.

Хоць мы не ўжываем гэтую інтэрпрэтацыю ў навучанні, наш эксперыментальны аналіз падтрымлівае такую ​​інтэрпрэтацыю таго, як вывучаная палітыка працуе ўнутры.

Яны не ведаюць, як гэта працуе! Яны будуюць структуру, здольную выконваць пэўныя вылічэнні і захоўваць пэўную інфармацыю, якую мы лічым апрыёры карыснай, і падаем ёй навучальны набор з надзеяй, што ўся структура пазнае! Існуе своеасаблівае вывучэнне штучнага інтэлекту на вуду, мастацтва, спосаб накіроўваць эўрыстычны пошук у правільнае рэчышча. І, падобна, шмат такіх чараўнікоў зараз працуе для openAI.

Па іх уласных словах, сетка маніпуляцый - гэта самая простая структура: з кантэксту ўбудавання, які падаецца на шматслаёвы рэцэптрон, вырабляецца рухальнае дзеянне.

Вынікі

Вынікі часта з'яўляюцца часткай, да якой я мала цікавую, асабліва для тых, хто дзіўна бліскучых тэхнічных работ. Я пайду хутка, у тым, што гэты падыход працуе, ён выконвае з дакладнасцю, аналагічнай жорсткай кадзіраванай экспертнай палітыцы, і, насуперак спецыфічнаму працэдурнаму падыходу, абагульняецца да вялікай колькасці задач.

Дасягненне часціц

Кладка блокаў

У гэтых эксперыментах яны таксама правяралі розныя ўмовы. Выкарыстоўваючы DAGGER, яны параўналі тры розныя ўмовы ўводу, панізіўшы дэманстрацыю прадэманстраванай траекторыі: поўную траекторыю, здымак траекторыі ці толькі выкарыстоўваючы канчатковы стан. Яны таксама параўналі алгарытм паводніцкага клонавання з поўнай траекторыяй дэманстрацыі.

Надзейныя доказы здольнасці сістэмы да абагульнення ідэнтычнасці куба

Абмеркаванне

Чытаючы хуткія тэндэнцыі дасягненняў OpenAI за апошнія месяцы, я адчуваю ўсё большае жаданне расказаць пра сваю працу і падзяліцца сваімі думкамі пра тое, што я лічу іх працай, і пра поспехі ў сферы ІІ у цэлым, паведамляю наша разуменне таго, як біялагічныя мазгі працуюць. У прыватнасці, гэта расце ідэя, што, здавалася б, агульныя кагнітыўныя функцыі паміж людзьмі звязаны не столькі з агульнай структурай, якая па сваёй сутнасці ведае, як выконваць задачу, але замест таго, што з'яўляецца вынікам адносна падобных наіўных структур, якія сутыкаюцца з адным асяроддзем, навучыцца выконваць падобныя заданні. Функцыя з'яўляецца вынікам функцыянавання без функцый, здольнага толькі даведацца канкрэтную задачу з-за канкрэтнага асяроддзя, а не структуры, якая здольная выконваць заданне самастойна, проста падправіўшы пару параметраў, каб адаптавацца да навакольнага асяроддзя.

Задачы супраць канфігурацый: на першы погляд азначэнне

Трэба прызнаць, што не разумею, чаму яны вырашылі размаўляць пра розныя задачы так, як яны рабілі. Заданне вызначаецца ў эксперыменце ўкладання блокаў як набор радкоў, якія прадстаўляюць становішча блокаў адносна адзін аднаго, колькасць элементаў у наборы вызначае колькасць стэкаў і колькасць сімвалаў, колькасць блокаў, якія трэба расставіць . Задача - гэта размяшчэнне блокаў у стэках незалежна ад абсалютнага становішча стэка.

Некаторыя блокі могуць быць на стале, але не ўваходзяць у заданне

Выбар вызначэння адноснай пазіцыі і колькасці стэкаў у якасці крытэрыяў для асобнай задачы здаецца адвольным. Сапраўды, таксама можа мець сэнс гаварыць пра розныя задачы, заснаваныя на абсалютных стартавых пазіцыях блокаў (тое, што яны называюць канфігурацыяй). Я лічу, што агульны характар ​​праблемы ў іх відавочны, але для нагляднасці яны аддаюць перавагу не ўдавацца ў падрабязнасці. Гэта мае больш сэнс разглядаць навучанне па палітыцы як два тыпы абагульненняў, як гэта адбываецца далей:

Звярніце ўвагу, што абагульненне ацэньваецца на некалькіх узроўнях: вывучаемая палітыка не толькі павінна абагульняць новыя канфігурацыі і новыя дэманстрацыі ўжо заўважаных задач, але і павінна абагульняць новыя задачы.

Проста заменіце "задачы" на "замовы стэкаў". Правільна вывучыць задачу азначае, што агент вывучае ўбудаванне, здольнае абстрагаваць становішча кубоў (канфігурацыя), а таксама іх ідэнтычнасць (заданне), колькасць стэкаў (заданне) і траекторыю дэманстрацыі (коратка ўведзена ў цытата) стварыць адпаведную рухальную рэакцыю.

Гэтыя абагульненні выглядаюць супярэчлівымі: як тая ж сетка можа абстрагаваць першапачатковую канфігурацыю куба альбо іх ідэнтычнасць і аднавіць адносна абсалютнага становішча для рухальнай рэакцыі?

Гэта тлумачыць неабходнасць у розных сетках сумеснай працы падчас навучання, атрыманні розных уваходных дадзеных, і тлумачыцца, што ў кантэкстнай сетцы абстрактнае прадстаўленне задачы падаецца інфармацыяй ніжэйшага парадку, як кубічныя абсалютныя пазіцыі, перад камандай памяншэння.

Можна падумаць, каментаваць гэтае адрозненне задачы і канфігурацыі вельмі глупства, але важна разумець, што гэта па сутнасці той самы працэс абстракцыі пры гульні на розных аб'ектах (і гэта адкрыецца для наступнага раздзела).

Навучанне не існуе без інварыянтнасці

Перадача навучання - гэта, мабыць, самая займальная канцэпцыя пазнання, будзь то па-сілікону ці ў натуральных умовах, гэта вельмі актуальная тэма як для даследчыкаў ІІ, так і для неўролагаў, і гэта, магчыма, з'яўляецца прадметам маёй кандыдацкай дысертацыі. Звярніце ўвагу, што цесныя адносіны былі вывучаны ў многіх галінах да машыннага навучання, і гэтая абстрактная і заўсёды часткова вызначаная канцэпцыя мае мноства назваў. Філосафы, антраполагі і сацыёлагі могуць назваць гэта як (пост-) структуралізм (Клод Леві-Строс, Мішэль Фуко), лінгвіст распавядзе пра сінтагму і структуры ўкладзеных дрэў (Ноам Хомскі), матэматыкі, напэўна, думаюць пра гомаморфізм альбо інварыянты і адукацыю даследчыкі ці нейразнаўцы могуць называць гэта структурным навучаннем. Вы таксама можаце ўбачыць звязаную з гэтым канцэпцыю ў галіне машыннага навучання, напрыклад, навучанне ўяўленнем і мета-навучанне, якое ў залежнасці ад аўтара можа ставіцца да перадачы навучання альбо парадыгмы навучання, якая выкарыстоўваецца для выканання перадачы навучання. Кажучы пра глыбокія нейронныя сеткі, гэтыя адрозненні размываюцца, бо па сутнасці нейронавая сетка вучыцца ўкараняць пэўную праблему (рэпрэзентатыўнае навучанне), змяняючы сваю структуру (метанавучанне), як правіла, у шумнай абстаноўцы, якая мае на ўвазе форму перадачы навучання.

Даследчыкі ІІ і кагнітыўны навукоўцы часта маюць вельмі канкрэтнае вызначэнне трансфернага навучання, гэта працэс, які дазваляе сістэме выкарыстоўваць веды, атрыманыя ў пэўнай задачы, для выканання іншай задачы з сумеснай кампазіцыйнай структурай (як апісана ў артыкуле). Кагнітыўная навука мае такое паняцце блізкага і далёкага пераносу, у залежнасці ад таго, як здаюцца дзве задачы. Але з больш абстрактнай пункту гледжання, у шумнай і складанай абстаноўцы, усё навучанне - гэта форма перадачы навучання, а розніца паміж вельмі блізкім і вельмі далёкім пераносам - толькі пытанне сумеснай інфармацыі - зноў жа пытанне маштабу не характару.

У кантралюемай абстаноўцы прадпрымаюцца загадзя намаганні, каб пабудаваць цвёрда закадзіраваную дыскрэтызацыю рэчаіснасці, але на самой справе гэтая дыскрэтызацыя працэдурна ўзнаўляе тое, што робіць трансфернае навучанне, яно аб'ядноўвае бясконцае мноства станаў, якія знаходзяцца ў рэчаіснасці пад агульнай ахоўнай структурай. Па сутнасці, трансфернае навучанне ставіцца непасрэдна альбо шляхам пашырэння працэсу, дзякуючы якому агенты навучання выкарыстоўваюць інварыянты для пабудовы мадэляў свету. Гэта працэс, які выкарыстоўвае падабенствы, паўторы і адны і тыя ж варыянты, каб сфармаваць усё больш абстрактнае і складанае ўяўленне, якое будзе структураваць ансамблі па дыяпазоне дысперсіі на ўваходзе. У агульным сэнсе ён дазваляе ствараць асноўныя аперацыі, з дапамогай якіх мы маніпулюем інфармацыйнымі групамі, гэтак жа, як і ў матэматыцы, ён дазваляе аб'яднаць і скрыжаваць. Гэта дазваляе ідэнтычнасці, тлумачыць нашу здольнасць да катэгорыі аб'ектаў. Джош Тэнембаўм прыводзіць прыклад, які сапраўды казаў мне: уявіце, вы вучыце двухгадовага дзіцяці распазнаваць каня ўпершыню, вы паказваеце яму пару фатаграфій розных коней, а потым паказваеце яму выяву іншага каня і карціна дома і папрасі яго расказаць, хто з іх конь. Дзіця справіцца з гэтай задачай даволі лёгка, але ўсё ж такі кампутар не можа справіцца з такім невялікім колькасцю ўваходаў (аднаразовым навучаннем).

Як дзіця гэта зрабіў?

Распазнаванне жывёл было вывучана ў дзяцей і звязана з нашай здольнасцю дэканструяваць прадметы на адпаведныя часткі, каляровую гаму футра, памер шыі, агульную форму і г.д .. Гэтая здольнасць таксама тое, што дазваляе вам адкрыць дзверы вы ніколі не бачылі раней, вы даведаліся рухальную паслядоўнасць, якая абагульняе любую сітуацыю (абагульненне даменаў). Гэта таксама тое, што вы выкарыстоўваеце для стварэння тлумачальных мадэляў, якія спрашчаюць свет, вы маглі спачатку здзіўляцца раптоўнаму з'яўленню зязюлі ў вядомым швейцарскім гадзінніку, але пасля другога з'яўлення вы чакаеце гэтага. Пошук інварыянтнасці - гэта тое, як нейронавая сетка вучыцца, і гэтыя мадэлі будуюцца несвядома. Напрыклад, мы інтуітыўна даведаемся пра фізіку яшчэ да таго, як пачуем матэматыку і лікі.

Можна спытаць, напрыклад, з якой хуткасцю дзіця, які нарадзіўся ў мікрагравітацыі, прыстасоўваецца да гравітацыі зямлі і інтуітыўна даведаецца, што прадметы пры падзенні падаюць на зямлю?

Мы можам выказаць здагадку, што немаўляты і большасць жывёл будуць падсвядома пераглядаць сваю мадэль, як, напрыклад, калі вы надзяваеце шкарпэткі на лапкі сабакі і спатрэбіцца некаторы час, каб адаптавацца да новай інфармацыі.

Але для маленькага дзіцяці адбудзецца свядомы допыт і перагляд яго інтуітыўнай мадэлі, ад цікаўнасці, праз мову, сімвалы і перакананні. Наша здольнасць свядома дапытвацца і мяняць нашы мадэлі займальная, і, як бачна, чалавек можа быць адзіным відам, здольным да слоўнага працэсу, але іншыя віды могуць праводзіць падобныя свядомыя перагляды.

Інварыянтнасць - абавязковая ўласцівасць часу, калі б усё заўсёды было новым і ніякім чынам не прадказальным, усё роўна заставалася б гэтая унікальная інварыянтнасць, што ўсё заўсёды новае і непрадказальнае. Немагчыма ўявіць сабе свет без інварыянтнасці, бо не можа быць свету, на які можна звярнуцца, без інварыянтнасці жыццё было б немагчыма, а нашы мазгі бескарысныя. Жыццё - гэта машына, якая працуе толькі праз прадказальнае паўтарэнне падзей, паўтарэнне прычын і наступстваў, цыклічнае паўторнае ўвядзенне энергіі ў арганізм. І ў пошуках жыцця, каб палепшыць выкарыстанне неабходных цыклаў, наш мозг - найлепшы інструмент. Гэта машына прагназавання, адаптацыйны орган, здольны дынамічна знаходзіць паўтарэнне і выкарыстоўваць яго для лепшага ўзаемадзеяння з светам.

Гэты спосаб, які абрала жыццё, з'яўляецца надзвычай надзейным да нязначных зменаў у структуры. Тое, што застаецца нязменным, - гэта свет, статыстычныя ўласцівасці навакольнага асяроддзя, але нервовая структура, з якой ён сутыкаецца, можа змяняцца да таго часу, пакуль у яго можна будзе ўносіць адпаведную інфармацыю, якую ён апрацаваў. Гэта тлумачыць, чаму наш мозг можа быць настолькі розным ад індывідуальнага да індывідуальнага, што нават першасны корт, і разам з тым мае аднолькавыя функцыі.

Нервовыя сістэмы адаптыўныя, ім не патрэбна эвалюцыя і павольныя генетычныя мутацыі, каб змяніць паводзіны адпаведнымі спосабамі. Простая нервовая сістэма, такая, як у Элеганса, служыць прыроджаным унутраным каардынатарам і знешнім датчыкам: адчуваючы ежу і рухайцеся да яе, ратуйцеся ад болю, размнажайцеся. Гэтыя простыя сістэмы былі першапачаткова жорсткімі і збліжалі наш шумны свет з мэтай дыскрэтызацыі яго ў невялікім наборы магчымых станаў (ежа злева, цяпло ніжэй і г.д.). Нашы рухальныя і сэнсарныя здольнасці развіваліся рука аб руку з прагназаваннямі нашай нервовай сістэмы. Па меры таго, як нашы датчыкі сталі больш дакладнымі, нервовая сістэма паступова стала мадыфікаваць сваю структуру, каб захаваць інфармацыю і пераняць вопыт. Першапачаткова яму ўдалося навучыцца распазнаваць пэўныя катэгорыі ўваходаў, напрыклад, тыпы пахаў або лёгкіх малюнкаў, а таксама стала магчымасць навучыцца метадам спроб і памылак кіраваць усё больш складанай рухальнай сістэмай. Звярніце ўвагу, што свет настолькі складаны, што наш мозг натуральна развіваўся да парадыгмы навучання, а не да прыроджанага працэдурнага падыходу. Вылічальна гэта мае сэнс, простая гульня Go мае прастору станаў, значна большых (2,10¹⁷⁰), чым колькасць атамаў ва Сусвеце (10,), і паколькі арганізмы становяцца больш складанымі, спрабуючы ўзмоцніць набліжэнне ўсіх магчымых. дзяржаў, гэта можа быць хутка становіцца невырашальным з-за камбінацыйнага выбуху.

Некаторыя людзі могуць паверыць, што наш мозг пабудаваны такім чынам, што ён унутрана ўяўляе сабой прастору, у якую ён будзе развівацца, што ў ДНК дзе-то ёсць ген для таго, што ўяўляе сабой твар, альбо часовай арганізацыі гукавых хваль, якія ствараюць да слоў. Яны маглі б верыць, што гэта прыроджанае веданне закадавана дзесьці пры нараджэнні. Іншыя могуць паверыць, як мой настаўнік філасофіі, калі я вучыўся ў сярэдняй школе, што існаванне папярэднічае сутнасці і што наш мозг цалкам і выключна вызначаецца сустрэчай арганізма і свету. Рэчаіснасць, вядома, больш складаная, і для большасці тэлецэфальных сістэм, якія былі вывучаны да гэтага часу, мозг не кадуе ўнутрана функцыю, якую ён будзе выконваць, але вывучыць яе ў залежнасці ад інфармацыі, якая змяшчаецца ў яго дадзеных. Калі ўваходныя дадзеныя занадта слабыя, здольнасць да навучання ў гэтай структуры можа мець тэрмін прыдатнасці (напрыклад, Амбліопія). Але калі прыроджаная структура не кадуе канчатковую функцыю, мозг сапраўды мае пэўную структуру. Гэтая структура захоўваецца ў асобных асоб, і асобіны аднаго віду маюць агульныя функцыі і прывады. ДНК сапраўды ўсталёўвае пэўную структуру на месцы, структура не здольная выконваць сваю канчатковую функцыю ўнутрана, але структура, здольная даведацца складанасць канкрэтных задач на аснове індывідуальнага вопыту. Не дзіўна, што эвалюцыя прывяла да з'яўлення высокаэфектыўнага гематоэнцефаліческій бар'ер, які ізаляваў мозг ад астатняй часткі цела, а таксама мазгавых абалонак і цвёрдай касцяной абалонкі, абараняючы яго ад знешняга свету, таму што ў адрозненне ад іншых органаў, у якіх структура генеруецца ў геноме, структура трэніраванага мозгу не можа быць адноўлена з унутрана захаванай мадэлі. Займальна тое, што мы бачым аднолькавыя механізмы навучання, якія ўзнікаюць па аналогіі праз развіццё ўсё больш складаных глыбокіх сетак, якія выконваюць усё больш складаныя задачы.

Кампазіцыйныя структуры цяжка ўбачыць, але ўсюды

Як бачна, дзіўна, што нават аўтары не прызнаюць, што іх першая задача дасягнення мэты мае кампазіцыйную структуру.

Дасягненне заданняў часціцы добра дэманструе праблемы абагульнення ў спрошчаным сцэнары. Аднак задачы не маюць кампазіцыйнай структуры, што робіць ацэнку абагульнення новымі задачамі складанай задачай.

Нягледзячы на ​​тое, што структура сапраўды ніжэй, чым блок-кладка, і недаступная для эксперыментальнага маніпулявання, задача сапраўды складаецца з агульнай структуры. Набліжаючы свет да плоскасці, адна кампазіцыйная структура заключаецца ў тым, што ідэнтыфікацыя куба (колер) захоўваецца пры перакладзе і пераходзіць ад блока А - альбо выпадковага стартавага становішча - у становішчы (Xa1, Ya1) да блока B у становішчы (Xb1, Yb2 ) з'яўляецца часткай той жа кампазіцыйнай структуры больш высокага парадку, чым пераход ад блока А ў становішчы (Xa2, Ya2) да блока B у становішчы (Xb2, Yb2).

Інтэрфейсы паміж сеткамі

Агенцтву нейронавых сетак, якія могуць разглядаць дадзеныя на розных узроўнях абстракцыі, спатрэбяцца інтэрфейсы, дамен, які я лічу, яшчэ шмат, што трэба будзе адкрыць. Гэтыя інтэрфейсы могуць мець шматлікі характар. Яны могуць, напрыклад, разглядацца як агульная мова паміж дзвюма сеткамі, як паказана ў артыкуле, сетка ніжэйшага ўзроўню, узброеная сістэмай увагі (дэманстрацыйная сетка), можа перавесці дэманстрацыю ў прадстаўленне, якую можа выкарыстоўваць іншая сетка (кантэкстная сетка). на непасрэднае дзеянне незалежна ад даўжыні ці першапачатковай канфігурацыі дэманстрацыі.

Паверхня гэтай мовы тут плоскасць, замацаваная ў памерах, але можна ўявіць магчымыя змены, якія маглі б палепшыць сувязь паміж сеткай. Напрыклад, памер паверхні можа быць усталяваны, каб дынамічна расці ці скарачацца, калі сеткі ўзаемадзейнічаюць падчас навучання, такім чынам, сціскаючы або пашыраючы складанасць мовы. Мы маглі б таксама ўявіць больш дынамічныя ўзаемадзеяння, напрыклад, праз зваротную сувязь. Можна ўявіць наяўнасць сетак фасілітараў, якія навучыліся б згладжваць сувязь паміж сеткамі, якія існуюць у выглядзе паралельнай сеткі, якія вучацца мадуляваць ўваход першай сеткі на аснове ўваходу і выхаду другой сеткі. Можна ўявіць складаныя кантэкстныя сеткі, якія дзейнічаюць як танічныя (павольна змяняюцца) прытокі да некалькіх больш спецыялізаваных сетак ... Захоплівае будучыня вобласць даследаванняў!

Выпадкі адмоваў намякаюць на магчымыя ролі новых модуляў

Варта адзначыць, што памылкі часта звязаны з рухальнымі памылкамі і што колькасць памылак павялічваецца са складанасцю задачы.

Маторныя функцыі не павінны пагаршацца толькі пры павелічэнні колькасці мішэняў, гэта надзейны доказ таго, што спосаб размнажэння сеткі вучыцца размаўляць з рухальнай сеткай занадта абстрактна. Дзіўна, бо яны кажуць, што іх тэст паказвае, што інтэрфейс паміж кантэкстнай сеткай і рухальнай сеткай з'яўляецца адносна канкрэтным (становішча робата, становішча мэты).

Магчымае рашэнне можа быць, паколькі гэта модульная архітэктура, выкарыстоўваць розныя функцыі страт альбо модульныя функцыі страт, якія прадстаўляюць кожны канкрэтны аспект задачы. Гэтаму таксама дапамог бы эквівалент предмоторных абласцей мозгу, каб забяспечыць дэманстрацыю і кантэкстная сетка можа заставацца абстрактнай без пагаршэння рухальнай каманды. Прэмотарныя рэгіёны неабходныя для лепшай лакалізацыі аб'ектаў на аснове мэты (з абстрактных сетак) і сэнсарных уваходаў, каб выбраць найлепшую маторную каманду. Здаецца, кантэкстная сетка адначасова спрабуе перанесці дэманстрацыю на ўбудаванне больш высокага ўзроўню і адначасова падрыхтаваць рухальныя дзеянні ў бягучым кантэксце. Роля перадматорнай сеткі заключаецца ў тым, каб навучыцца мець зносіны з рухальнай сістэмай мэтанакіравана і адаптацыйна, спалучаючы як функцыі премотора, так і мозачка для маторнага навучання і хуткай адаптацыі.

Парадокс Маравец мае цікавую тэорыю, якая прагназуе, што вылічэнне падаткаабкладання не будзе вышэйшага ўзроўню, а лячэнне сэнсарных уваходаў і выхадаў рухальных сістэм. Гэта сапраўды можа тлумачыць вялікую колькасць нейронаў, прысутных у нашай мозачку (больш, чым у астатняй частцы нашага мозгу) для адаптацыйнага кантролю рухальных дзеянняў. Гэты парадокс быў сфармуляваны ў той час (80-я гады), калі мы ўсё яшчэ верылі, што зможам унесці ўласныя веды ў машыну для выканання складаных задач у некіравальнай шумнай абстаноўцы. Зразумела, гэты парадокс мае сэнс, калі нейкім чынам машына здольная прадстаўляць свет у непрыхаваным наборы станаў, пабудаваць на ім функцыю больш высокага ўзроўню было б прасцей. Але я лічу, што абодва будуць вельмі падаткаабкладальнымі, і ўнутранае прадстаўленне, якое выкарыстоўваецца ў інтэрфейсе паміж сеткамі, будзе далёкім ад падобнага на нашы ўласныя свядомыя ўяўленні.

Выснова

Спалучаючы розныя нейронныя сеткі, якія адказваюць за канкрэтнае лячэнне праблемы, гэты артыкул паказвае, што, ствараючы задачу, якая па сваёй сутнасці мае патрэбу ў абагульненні, і стварыць адпаведную сераду навучання праз рандомизацию даменаў, нейронную сетку з доступам да памяці і Сістэма ўвагі можа навучыцца абагульняць па-за межамі простага ўзнаўлення. Ён можа навучыцца выяўляць мэта больш высокага парадку, якая была прадэманстравана толькі адзін раз у візуальным патоку інфармацыі, і праводзіць вылічэнні ў абагульненай прасторы, каб аднавіць адпаведныя дзеянні, здольныя прайграць гэтую мэту ў іншым кантэксце.

У далейшым мы бачым усё больш складаныя структуры, пабудаваныя на тых атамных будаўнічых блоках, здольных навучыцца абагульняць складаныя задачы, але яшчэ важней выконваць некалькі такіх задач у новых умовах, з меншай залежнасцю ад жорсткіх метадаў, такіх як папярэдняя апрацоўка ўваходных дадзеных або сховішча памяці. Захоўванне памяці будзе заменена размеркаванымі ўяўленнямі па ўсёй сетцы памяці, а сістэма ўважлівасці будзе заменена цыклічнай дзейнасцю ў рэжыме рэальнага часу сеткамі ўвагі. Застаецца пытанне, як мы зможам адаптаваць магутную серыйную тэхналогію (машыны Цьюрынга) да нашай большай залежнасці ад размеркаваных вылічэнняў ва ўвасабленай сістэме.