Унутар Пинсцреен-овог Сецретиве Аугментед Реалити и ЦГИ

Проширена реалност и замена лица изгледа да су врели кандидати за следеће мобилне апликације; само погледајте Фацебоок куповину МСКРД-а или Снапцхат-ове куповине Лооксери-а. Али један АР стартуп под називом Пинсцреен, који је тренутно подржан у износу од 1,8 милиона долара од Лук Цапитал-а и Цолопл ВР Фонда, покушава да уради ствари другачије у овој области. Инверсе говорио је искључиво о оснивачу Пинсцреен-а Хао Ли-у о томе шта би могло бити пред овим тајним друштвом.

Можда нисте чули за Хао Лија, али сте вероватно видели истраживање УСЦ асистента професора у акцији у неколико филмских филмова. Док је радио на студију визуелних ефеката Индустриал Лигхт & Магиц, Ли је помогао у развоју неких алата који су омогућили снимање перформанси у реалном времену. Идеја је била да један глумац седи испред компјутера са веб камером, да изведе сцену, а онда да се перформанс преведе - у реалном времену - на ЦГ карактер.

Ли је спровео опсежно истраживање иу другим областима, укључујући израду 3Д модела правих људи у реалном времену, и хватање важних делова њихове сличности, посебно лица и косе. Недавно је Ли показао истраживања која су он и други спровели у снимању перформанса од стране особе са само једном камером и превођењем на дигитални карактер.

У почетку, то не звучи тако ново. Већ постоји велики број решења за праћење лица у развоју, како за мобилне апликације, тако и за много софистицираније системе као што је Фацесхифт (које је Аппле купио 2015.). Али многи од њих се ослањају на дубинске сензоре, које Ли-ова технологија не захтева. Тај приступ је, каже он, веома различит.

"Ако имате сензор дубине, све што вам је потребно је да оптимизујете параметре модела лица тако да модел одговара 3Д улазу што је ближе могуће", објашњава Ли. „Али у случају чистог РГБ улаза, цео свет је пројектован на дводимензионалну слику без познатих параметара камере као што су фокалне дужине. Тако да се из овог пројектованог приказа мора извести прецизан 3Д модел лица и бити у стању да се носи са широким опсегом светлосних услова, као и изгледом различитих субјеката. “

Отуда и важност Ли-ових истраживања о 3Д аватарима. Када мапирате људско лице, многи програми мапирања имају проблема са визуелним препрекама као што су коса и наочари. Да би се избегао тај проблем, Пинсцреен је „изградио дубоку конволуцијску неуронску мрежу која може научити како сегментирати подручје лица у потпуно неограниченој слици“.

Дакле, шта је Пинсцреен користећи ову луду напредну технологију?

"Ми ћемо бити нови тип друштвене мреже / комуникацијске платформе са неким занимљивим АР способностима", каже Ли. "То неће бити апликација попут Снапцхат објектива или МСКРД-а, што је за већину људи занимљиво само неколико минута."

Дакле, то није ништа више од буззвордс за сада. Али, гледајући дубље, његов претходни рад сугерира да се надају да ће развити способност да прате нечије лице упркос било којој коси, наочарима или другим предметима који ометају поглед на једну камеру. Додајте неку увећану стварност, а небо је ограничење за филмове, друштвене медије и игре.

Звучи прилично револуционарно, али важно је напоменути да Ли и његов тим нису једини који истражују у овој области. Диснеи је недавно представио снимање перформанси лица у реалном времену, као и неки други истраживачи са алатом званим Фаце2Фаце. Ту је и поменути Фацесхифт, заједно са Фацебоок-ом и Снапцхатом, који су такође почели да демонстрирају своју робу.

Због чега је технологија Пинсцреен-а другачија? Ли сугерише да је његово решење "много робусније и да може да изведе прецизније 3Д моделе, пошто се експлицитно бавимо оклузијама."

„Наша најважнија иновација је технологија која нам омогућава да направимо комплетан 3Д модел главе укључујући и косу са било које слике аутоматски“, каже он. „Овај тип задатка традиционално захтева вјештог моделара ЦГ и риггер за производњу, али ми то можемо генерисати потпуно аутоматски. Најновији радови представљени на СИГГРАПХ-у (водећа конференција о рачунарској графици и интерактивним техникама) такође захтевају више улазних слика као инпута - фокусирамо се на решење са минималним захтевом за уносом, једну 2Д слику. ”

Наравно, док људи не виде и не користе било коју апликацију са Пинсцреен-а, жири ће остати изван својих могућности. Разлика је, међутим, у томе што Ли сигурно има солидну историју истраживања и иновација иза себе, посебно у изради дигиталних аватара.

Ли је очигледно сигуран у могућности Пинсцреен-а у простору друштвених медија. "Како ће наша технологија демократизовати генерацију 3Д аватара, она ће имати очигледне апликације у играма, ВР / АР апликацијама за импресивну комуникацију, или АИ агентима", каже он, "али мислим да ћемо сами створити најбољу апликацију, која је социјалну медијску платформу коју развијамо.

"Оно што је најважније", додаје он, "желимо да направимо нешто што омогућава људима да креирају заиста интересантан садржај без потребе за данашњим скупим ВФКС цевоводом и могу да користе заиста забаван АР садржај за међусобно повезивање."

Звучи као да ће Пинсцреен укључити низ технологија на којима Ли и његов тим раде. Али, каже он, то је само дио плана. „Технолошка демонстрација је заправо само карактеристика онога што планирамо да користимо“, напомиње он. „Пинсцреен ће бити нешто много веће и технологија ће бити занимљива функција на почетку. Такође ћемо бити сасвим другачији од друге платформе друштвених медија. ”

За сада, Пинсцреен је још увек мистериозна и изгледа да ћемо само морати да сачекамо да видимо шта имају.