Новая прылада штучнага інтэлекту Point-E дазваляе карыстальнікам ствараць 3D-аб'екты, выкарыстоўваючы толькі тэкставыя падказкі
Чарговай прыступкай, якую захопіць свет штучнага інтэлекту, могуць стаць генератары 3D-мадэляў. Кампанія OpenAI прэзентавала праграму з адкрытым зыходным кодам Point-E, якая ўяўляе сабой сістэму машыннага навучання, што стварае 3D-аб'ект па тэкставай падказцы.
Выява: OpenAI, TechCrunch
Згодна з дакументам, апублікаваным разам з базай кода, Point-E можа ствараць 3D-мадэлі за адну-дзве хвіліны на адным графічным працэсары Nvidia V100.
Выданне TechCrunch паведамляе, што Point-E не стварае 3D-аб'екты ў традыцыйным разуменні. Хутчэй, ён стварае «воблакі кропак» або дыскрэтныя наборы кропак даных у прасторы, якія ўяўляюць сабой трохмерную форму — адсюль і назва. (Point з англійскай азначае «кропка», а літара «E» — гэта скарачэнне ад «эфектыўнасць», таму што гэта быццам бы хутчэй, чым папярэднія падыходы да генерацыі 3D-аб'ектаў.) Воблакі кропак лягчэй сінтэзаваць з пункту гледжання вылічэнняў, але яны не фіксуюць дробназярністы аб'ект формы або тэкстуры. Гэта ключавое абмежаванне Point-E на цяперашні час.
Каб абысці гэтае абмежаванне, каманда Point-E навучыла дадатковую сістэму штучнага інтэлекту пераўтвараць воблакі кропак Point-E у сеткі — наборы вяршыняў, рэбраў і граняў, якія вызначаюць аб’ект і звычайна выкарыстоўваюцца ў 3D-мадэляванні і дызайне. Але ў артыкуле яны адзначаюць, што мадэль можа часам прапускаць пэўныя часткі аб'ектаў, што прыводзіць да «блокавых» ці скажоных формаў.
Апроч мадэлі генерацыі сетак, якая стаіць асобна, Point-E складаецца з дзвюх мадэляў: мадэлі «тэкст-у-малюнак» і мадэлі «малюнак-у-3D». Мадэль пераўтварэння тэксту ў малюнак падобная да такіх генератыўных мастацкіх сістэм, як уласныя DALL-E 2 і Stable Diffusion ад OpenAI. Яна была навучана на адмысловых выявах, каб зразумець сувязі паміж словамі і візуальнымі паняццямі. Мадэлі пераўтварэння выявы ў 3D, з іншага боку, былі «скормленыя» наборы малюнкаў у пары з 3D-аб'ектамі, каб мадэль навучылася эфектыўна пераходзіць паміж імі.
Пры атрыманні тэкставай падказкі — напрыклад, «шасцярэнька для 3D-друку, адна шасцярэнька дыяметрам 3 дзюймы і таўшчынёй паўдзюйма» — мадэль пераўтварэння тэксту ў малюнак стварае сінтэтычны візуалізаваны аб'ект, што падаецца ў мадэль «малюнак-у-3D», якая ў сваю чаргу ўжо стварае воблака кропак.
Працуе гэта пакуль не ідэальна — мадэль «малюнак-у-3D» часам не можа зразумець відарыс з мадэлі «тэкст-у-малюнак», што прыводзіць да формы, якая не адпавядае тэкставай падказцы. Тым не менш, гэта на парадак хутчэй, чым папярэднія самыя сучасныя прылады — прынамсі, паводле каманды OpenAI.
Прыклады памылак мадэлявання / Выява: OpenAI, TechCrunch
Даследчыкі OpenAI адзначаюць, што воблакі кропак Point-E можна выкарыстоўваць для стварэння аб'ектаў рэальнага свету, напрыклад, з дапамогай 3D-друку. А з дадатковай дапрацоўкай і як толькі мадэлі стануць крыху больш адшліфаванымі, яны таксама могуць знайсці свой шлях у распрацоўцы гульняў і анімацыі.
OpenAI не першая кампанія, якая ўступіла ў барацьбу за распрацоўку 3D-генератараў. Раней сёлета Google выпусціла DreamFusion, пашыраную версію Dream Fields, генератыўнай 3D-сістэмы, якую кампанія прэзентавала яшчэ ў 2021 годзе. У адрозненне ад Dream Fields, DreamFusion не патрабуе папярэдняга навучання — гэта азначае, што яна можа ствараць 3D-рэпрэзентацыі аб'ектаў без 3D-даных.
У цяперашні час усе погляды скіраваныя на генератары 2D-мастацтва, але штучны інтэлект, які сінтэзуе 3D-мадэлі, можа стаць наступным буйным разбуральнікам галіны. 3D-мадэлі шырока выкарыстоўваюцца ў кіно і тэлебачанні, дызайне інтэр'ераў, архітэктуры і розных галінах навукі. Архітэктурныя фірмы выкарыстоўваюць іх, напрыклад, для дэманстрацыі прапанаваных будынкаў і ландшафтаў, у той час як інжынеры выкарыстоўваюць мадэлі ў якасці праектаў новых прылад, транспартных сродкаў і збудаванняў.
Канвертацыя аблокаў кропак у сеткі / Выява: OpenAI, TechCrunch
Стварэнне 3D-мадэляў звычайна займае некаторы час — ад некалькіх гадзін да некалькіх дзён. Прылада штучнага інтэлекту, кшталту Point-E, магла б змяніць гэта. Пытанне ў тым, якія спрэчкі аб інтэлектуальнай уласнасці могуць узнікнуць з часам. Існуе вялікі рынак 3D-мадэляў з некалькімі інтэрнэт-пляцоўкамі, у тым ліку CGStudio і CreativeMarket, якія дазваляюць мастакам і дызайнерам прадаваць створаны імі кантэнт.
Такім чынам, калі Point-E прыжывецца і яго мадэлі з'явяцца на рынках, мастакі-мадэлісты могуць пратэставаць, паказваючы на доказы таго, што сучасны генератыўны штучны інтэлект шмат у чым запазычвае з навучальных даных: у выпадку Point-E — з існуючых 3D-мадэляў. Як і DALL-E 2, Point-E не згадвае і не цытуе выканаўцаў, якія маглі паўплываць на яго працы. OpenAI пакідае гэтую праблему на іншы дзень.
Па словах даследчыкаў, яны чакаюць, што Point-E будзе пакутаваць ад іншых праблем, такіх як прадузятасць, успадкаваная ад навучальных даных, а таксама выкарыстанне прылады для стварэння «небяспечных аб'ектаў». Магчыма, таму яны асцярожна характарызуюць Point-E як «адпраўны пункт», які, як яны спадзяюцца, натхніць на «далейшую працу» ў галіне сінтэзу тэксту ў 3D.
