Kako filmski studio Laika in Intel revolucionirata stop-motion animacijo z umetno inteligenco

Priznani studio za 'Missing Link' in 'Coraline' v sodelovanju z Intelom ustvarja orodje za umetno inteligenco, ki bi lahko bil velik preskok pri animaciji stop-motion.

Kako filmski studio Laika in Intel revolucionirata stop-motion animacijo z umetno inteligenco

Filmski produkcijski studio Laika je zadnjih 15 let pionir v animaciji, saj je brezhibno združil taktično umetnost stop-motion s tehnološkim napredkom, vključno s CGI in 3D tiskanjem.



Zdaj je studio s sedežem v Oregonu v ospredju še enega preskoka, saj je v snemanje svojih filmov vključil AI.

Med produkcijo filma, nominiranega za oskarja Manjka povezava , so ekipe za tehnologijo in vizualne učinke v sodelovanju z Intelom razvile prototip orodja za umetno inteligenco.



Problem, ki ga je treba rešiti: vrstice.



Lutke, uporabljene v Laikinih filmih, imajo široko paleto izrazov obraza, ki jih množično ustvarja 3D tiskanje. V Manjka povezava samo je bilo več kot 106.000 obrazov natisnjenih v kosih (to je spodnji in zgornji del obraza). To je uporaben postopek pri nadzoru gibanja obraza lika, ustvarja pa tudi viden šiv, ki prikazuje, kje se povezujejo različni spodnji in zgornji del.

To je bil velik izziv, saj ko greš v kino in gledaš predstave likov, gledaš obraze likov, pravi Steve Emerson, nadzornik vizualnih učinkov pri Laiki. Gledate v njihove oči in ravno tam smo nameravali opraviti to kozmetično delo.

Emerson se je pred 12 leti pridružil Laiki za proizvodnjo Koralina , in na tem filmu in od takrat se je njegova ekipa opirala na zelo ročni postopek RotoPainting.



[Fotografija: z dovoljenjem Laike]

Podobno kot Photoshop, RotoPainting vključuje izolacijo in odstranjevanje neželenih predmetov s prizorišča, kot so lutkovne ploščadi ali linije šivov. Čeprav je učinkovit, je tudi neverjetno dolgotrajen.

Animatorjem želimo poskušati dati toliko prostora, da na odru ustvarijo naravno predstavo, pravi Jeff Stringer, direktor produkcijske tehnologije pri Laiki. To pomeni, da moramo uporabiti veliko ploščadi. 3D tiskanje obrazov je bilo namenjeno temu, da bi jim dali naravno zmogljivost, ki je z mehanskim obrazom ne bi mogli narediti. Tako da skoraj vsaka od teh inovacij v našem snemanju filma povzroči stroške ekipe Roto.



Vklopljeno Manjka povezava , na primer, v filmu je bilo 136.800 sličic. Z ročnim slikanjem RotoPainting bi trajalo en dan, da očistite okoli 50 sličic.

Imate veliko odličnih orodij za sledenje delov okvirja in barvanje stvari, vendar je še vedno okvir za okvir, pravi Stringer. Torej je to ena od stvari, ki je samo prosila za pospešek.

Z Laiko in Intelovim prototipom AI jim je to uspelo podreti za 50%.

Prvotno testiranje je bilo opravljeno na Manjka povezava lik Lionela (Hugh Jackman) in imel precej solidno uspešnost: od 50 posnetkov, ki so jih obdelali za odstranjevanje linij šivov, se jih je vrnilo 35, ki so bili uporabni ali pa so potrebovali le manjše popravke. Čeprav nabor orodij za umetno inteligenco ni bil uporabljen v končni različici filma, Stringer pravi, da nadaljujejo s preizkušanjem različnih likov, da bi zgradili robusten nabor podatkov za strojno učenje v upanju, da ga bodo uporabili za naslednji film studia.

Raziskujejo tudi širše primere uporabe AI v RotoPaintingu, da bi odstranili več kot linije šivov (npr. Lutkovne ploščadi).

Če bo to na koncu uspešno, bomo verjetno na koncu dobili osebo za podatkovnega znanstvenika, ki dela z zgodnjimi nabori podatkov vseh likov - in gradi te modele usposabljanja, pravi Stringer.

Čeprav je inovativna in prihrani čas, bi lahko uporaba umetne inteligence v filmih stop-motion premagala puriste umetniške oblike. Laika ni bila tuja pri uporabi tehnologije, a jih njihov napredek na področju umetne inteligence oddaljuje od specifične umetnosti stop-motiona?

Za Emersona gre za tisto, kar najbolj služi zgodbi.

[Fotografija: z dovoljenjem Laike]

Povedal vam bom primer, eksplozijo s kupom dima, pravi. Če želite animirati dim za en okvir naenkrat, boste morali iti ven in nabaviti nekakšen material, kot so bombažne kroglice. Če ste občinstvo, ki gleda film in pride do eksplozije in gre za kup bombažnih kroglic, bo videti res kul. In zabavno je. Verjemite, rad imam takšno filmsko ustvarjanje. Vendar bo prišlo do delčka sekunde, ko vas bo to popeljalo ven. Zavedali se boste, da to ni dim, ampak bombažne kroglice.

Emerson poudarja, da se animatorji trudijo narediti čim več v kameri s ploščadmi in sklopi. Toda po potrebi se ne bojijo loviti digitalnih rešitev, vključno z AI. Končni cilj z nekaj podobnim njihovemu prototipu, da pospešijo RotoPainting, je porabiti manj časa za podrobnosti pri izdelavi in ​​več časa za ugotavljanje, kako najbolje predstaviti zgodbo.

Pri vizualnih učinkih opravljamo dve vrsti dela: obstaja objektivno delo in obstaja subjektivno delo. Objektivno delo je, da je v okviru nekakšna nora ploščad, ki jo je treba umakniti. Emerson pravi, da gre skozi lutkovni obraz, ki ga je treba odstraniti. Subjektivna stran tega je, ali je okvir lep? Je vznemirljivo? Je to v nasprotju z vsem, kar sem kdaj videl? Veliko tega, kar tukaj lovimo, je sposobnost, da se premaknemo mimo objektivnih stvari. Upajmo, da si bomo lahko pomagali z umetno inteligenco in strojnim učenjem, nato pa se bomo lahko bolj osredotočili na subjektivno in se resnično potrudili, da bodo te podobe podobne vsem, kar je kdorkoli že videl s stop-motion filmi.