Inside Pinscreen's Secretive paplašinātā realitāte un CGI

Palielinātā realitāte un sejas maiņa šķiet karsti kandidāti nākamajām mobilajām lietotnēm; apskatiet tikai Facebook iegādātos MSQRD vai „Looksery” pirkumus. Bet viens AR starta nosaukums Pinscreen, ko pašlaik atbalsta 1,8 miljoni ASV dolāru no Lux Capital un Colopl VR fonda, šajā jomā vēlas rīkoties savādāk. Apgrieztā runāja tikai Pinscreen dibinātājam Hao Li par to, kas varētu būt par šo slepeno uzņēmumu.

Iespējams, jūs neesat dzirdējuši par Hao Li, bet jūs, iespējams, esat redzējuši šo USC asistenta profesora pētījumus darbībā vairākās filmu veidošanas filmās. Strādājot vizuālo efektu studijā „Industrial Light & Magic”, Li palīdzēja izstrādāt dažus rīkus, kas ļāva veikt reāllaika veiktspēju. Ideja bija, ka aktieris var sēdēt pie datora ar tīmekļa kameru, rīkoties ar skatuves, un tad šī darbība tiks tulkota reālā laikā ar CG raksturu.

Li ir veikusi plašu izpēti arī citās jomās, tostarp reālo cilvēku 3D modeļu izstrādi reālajā laikā un svarīgu to daļu, īpaši seju un matu, notveršanu. Pavisam nesen Li parādīja pētījumus, ko viņš un citi veica, lai uztvertu sniegumu no personas, kurai ir tikai viena kamera, un pārvēršot to par ciparu raksturu.

Sākumā tas neizklausās tik jauni. Attīstībā jau ir vairāki sejas izsekošanas risinājumi gan mobilajām lietotnēm, gan daudz sarežģītākām sistēmām, piemēram, Faceshift (ko Apple nopirka 2015. gadā). Bet daudzi no tiem balstās uz dziļuma sensoriem, kurus Li tehnoloģija neprasa. Šāda pieeja, viņš saka, ir ļoti atšķirīga.

“Ja jums ir dziļuma sensors, viss, kas jums nepieciešams, ir optimizēt sejas modeļa parametrus, lai modelis būtu pēc iespējas tuvāks 3D ieejai,” skaidro Li. „Bet tīra RGB ievades gadījumā visa pasaule tiek projicēta uz divdimensiju attēlu bez zināmiem kameras parametriem, piemēram, fokusa attālumiem. Tāpēc no šī paredzētā attēla ir jāsecina precīzs 3D sejas modelis un jāspēj tikt galā ar dažādiem apgaismojuma apstākļiem, kā arī dažādu priekšmetu parādīšanos. ”

Līdz ar to Li pētījumu par 3D avatāriem ir svarīgi. Kartējot cilvēka seju, daudzām kartēšanas programmām ir problēmas ar vizuāliem šķēršļiem, piemēram, matiem un brillēm. Lai izvairītos no šīs problēmas, Pinscreen “izveidoja dziļu konvolucionālu neironu tīklu, kas var iemācīties segmentēt sejas reģionu pilnībā neierobežotā attēlā.”

Tātad, kas ir Pinscreen, izmantojot šo crazy moderno tehnoloģiju, lai jebkurā gadījumā?

„Mēs būsim jauna veida sociālo mediju / komunikāciju platforma ar dažām interesantām AR iespējām,” saka Li. “Tā nebūs kā lietotne, piemēram,“ Lēcas ”vai MSQRD, kas vairumam cilvēku ir interesanti tikai dažas minūtes.”

Tātad, tas vēl nav daudz vairāk par atslēgvārdiem. Taču, skatoties dziļāk, viņa iepriekšējais darbs liek domāt, ka viņi vēlas attīstīt spēju izsekot kādas sejas, neskatoties uz matiem, brillēm vai citiem objektiem, kas traucē vienotās kameras skatu. Pievienojiet dažās paplašinātās realitātēs un debesīs ierobežojumu filmām, sociālajiem medijiem un spēlēm.

Tas izklausās pārsteidzoši, taču ir svarīgi atzīmēt, ka Li un viņa komanda nav vienīgie, kas šajā jomā pētījuši. Disneja nesen iepazīstināja ar savu reāllaika sejas sniegumu, kā arī daži citi pētnieki ar rīku Face2Face. Ir arī iepriekš minētais Faceshift, kā arī Facebook un pants, kas arī ir sākuši demonstrēt savus izstrādājumus.

Tātad, kas padara Pinscreen tehnoloģiju atšķirīgu? Li ierosina, ka viņa uzņēmuma risinājums ir „daudz izturīgāks un var secināt precīzākus 3D modeļus, jo mēs skaidri rīkojamies ar oklūzijām.”

„Mūsu svarīgākais jauninājums ir tehnoloģija, kas ļauj mums izveidot pilnīgu 3D galvas modeli, kurā automātiski iekļauj matus no jebkura attēla,” viņš norāda. “Šāda veida uzdevums tradicionāli prasa kvalificētu CG modelētāju un riggeru ražošanu, bet mēs varam to pilnībā izveidot. SIGGRAPH (vadošā datorgrafikas un interaktīvo metožu konference) jaunākajos dokumentos ir nepieciešami arī vairāki ievades attēli kā ievads - mēs koncentrējamies uz risinājumu ar minimālu ievades prasību, vienu 2D attēlu. ”

Protams, kamēr cilvēki neredzēs un neizmantos kādu no Pinscreen lietotnēm, žūrija paliks ārpus savas spējas. Tomēr atšķirība šeit ir tāda, ka Li noteikti ir stabila pētniecības un inovāciju vēsture, it īpaši digitālo avatāru veidošanā.

Li ir pārliecināts par Pinscreen iespējām sociālajā medijā. “Tā kā mūsu tehnoloģija demokratizēs 3D avataru veidošanos, tai būs acīmredzami pieteikumi spēlēs, VR / AR lietojumprogrammās, kas saistītas ar saziņu, vai AI aģenti,” viņš saka, “bet es domāju, ka mēs paši radīsim visdziļāko pieteikumu, kas ir sociālā mediālā platforma, ko mēs izstrādājam.

"Vissvarīgākais," viņš piebilst, "mēs vēlamies veidot kaut ko, kas ļauj cilvēkiem radīt patiešām interesantu saturu bez nepieciešamības pēc šodienas dārga VFX cauruļvada un var izmantot patiešām jautru AR saturu, lai izveidotu savienojumu."

Izklausās tā, it kā Pinscreen ietvertu virkni tehnoloģiju Li un viņa komanda. Bet, viņš saka, tas ir tikai daļa no plāna. „Tehnoloģijas demonstrācija patiešām ir tikai tā iezīme, ko mēs plānojam izmantot,” viņš atzīmē. “Pinscreen būs kaut kas daudz lielāks, un tehnoloģija būs interesanta iezīme sākumā. Mēs arī būsim pilnīgi atšķirīgi no citām sociālo mediju platformām. ”

Pašlaik Pinscreen joprojām ir mazliet noslēpums, un izskatās, ka mums tikai jāgaida, lai redzētu, kas viņiem ir veikalā.