Kako jedinstvo gradi svoju budućnost na ar, vr i ai

Jedinstvo je najčešće korištena 3D razvojna platforma na svijetu. Pokreće 40 posto najboljih 1000 mobilnih igara i više od polovice svih novih mobilnih igara, prema analitičkoj tvrtki Apptopia. Uz Unreal Engine, dva popularna pokretačka motora podupiru većinu gaming iskustava na webu.

Međutim, prostor za razvoj 3D-a mnogo je gužniji nego što je bio prije, posebno kada je riječ o razvoju proširene i virtualne stvarnosti.

Jedinstvo služi kao građevni blok ili se integrira s većinom novijih AR / VR platformi, uključujući Apple-ov ARKit i Googleov ARCore, ali sada se bavi i konkurencijom poput amazonskih sumerskih i ostalih drag-and-drop sučelja koja nastoje pojednostaviti iskustvo korištenja manje tehnički kreativci.

Kako bi bio ispred konkurencije i razvio svoju platformu za rastući ekosustav novih uređaja i 3D iskustava, Unity potiče dvospolnu strategiju koju predvode svoje AR / VR i AI divizije. PCMag je razgovarao s Tonyjem Parisijem, globalnim šefom robnih rješenja VR / AR-a, i Dannyjem Langeom, Unity-jevim VP-jem za AI i strojno učenje, kako bi iznutra pogledali budućnost Unitya i kako će platforma i igre koje stvaraju postati pametnije bez to čak i shvaćate.

Jedinstveni pogled na krajolik AR / VR

IDC predviđa da će ove godine potrošnja na AR / VR proizvode i usluge doseći 27 milijardi dolara, a tržište od tada raste. Parisi je rekla da Jedinstvo želi podržati svaku platformu u prostoru.

"Prije tri ili četiri godine, prije nego što sam se pridružio, Unity je započeo značajna ulaganja na VR tržište u nastajanju - Oculus Rift, HTC Vive, Samsung Gear VR itd. - sa ciljem stvaranja nekakvog potpuno opremljenog sustava za programere tako da se ne moraju šetati u pojedinostima o niskoj razini kako podržati te platforme ", rekao je Parisi. "Došli smo do trenutka kada većinu svojih aplikacija napišete jednom i možete je prenijeti na ove uređaje."

To nije univerzalno istina, rekao je, jer će aplikacija koju napravite za slušalice za mobilne gledatelje biti dizajnirana malo drugačije od aplikacije optimizirane za PC-iskustvo. Ali prema internim mjernim podacima Unity-a, platforma trenutno pokreće 69 posto iskustava Oculus Rift, 74 posto HTC Vive, 87 posto Gear VR i 91 posto iskustva mješovite stvarnosti (MR) na Microsoftovu HoloLensu.

• Rad s rastućim ekosustavom

  Parisi radi u AR / VR od sredine 90-ih radeći na 3D vizualizaciji. Ko-stvorio je VRML format datoteke i ostale specifikacije na kojima se temelji WebGL, te je osnovao i radio za nekoliko drugih VR tvrtki. Pridružio se Unityu krajem 2016. godine kako bi radio na oglašavanju, marketingu i strategiji kroz AR, VR, MR i kišobran šire proširene stvarnosti (XR).

  "odmah nakon booma Pokemon Go-a, koji je bio vrsta ovog pojednostavljenog AR-a više o lokaciji, odlasku negdje i pronalaženju Pokemona, te malo fotoaparata. To je faktor koji nastavljamo povećavati. Radi se o lokaciji koliko god govori o uranjanju ", rekao je Parisi.

  Na prednjoj strani AR-a, Parisi je govorio o tome kako Facebook i Snap koriste svoje platforme za razvojne programere Camera Effects i Lens Studio kako bi razvili ono što možete napraviti sa kamerama pametnih telefona kako bi preslikali okruženje oko sebe. Spajanje AR-a temeljenog na pametnim telefonima i slušalicama doživljaji su poput igre Star Wars: Jedi Challenges, koja je također stvorena s Unity-om i koja radi sa pametnim telefonom u kombinaciji s slušalicama Mirage AR tvrtke Lenovo.

  Sljedeći val su telefoni s AR operativnim sustavom koji podržavaju Appleov ARKit i Googleov ARCore, rekla je Parisi. Kao i kod Amazon Sumerian, Unity surađuje s Appleom i Googleom u kreiranju AR sadržaja pomoću 3D alata. Jedinstvo služi i kao temelj za Googleove alate otvorenog koda kao što su Tilt Brush i Blocks. Parisi predviđa zajednički prošireni svijet koji obuhvaća mobilne operativne sustave.

  "Apple i Google su sjajni partneri. Imamo duboke veze s njima kako bismo razvili i podržali ta iskustva i XR sadržaje putem Unityevih 3D alata", rekao je Parisi. "U naš je motor ugrađeno mnoštvo demokratiziranih alata za stvaranje koji nisu za kodere ili programere ili profesionalne dizajnere. Još je bolje što možete uzeti Blocks modele ili Tilt Brush art i unijeti ih u druge Unity aplikacije kao i bilo koji drugi softver koja dolazi u Jedinstvo."

  Sa MR i VR strane, veliki uređaji i softverski playeri su Oculus, HTC, i naravno Microsoft i njegov Windows Mixed Reality ekosustav. Unity gradi 3D aplikacije za sve njih, ali Microsoft pomalo zamagljuje crte između miješane i virtualne stvarnosti, rekao je Parisi. HoloLens je uređaj miješane stvarnosti, ali Windows Mixed Reality slušalice su VR.

  "Industrija se još uvijek suočava s onim što bismo sve trebali nazvati", rekao je Parisi. "Ovisno o tome dizajnirate li sadržaj koji digitalno kombinira sa stvarnim svijetom, a ulazeći u potpuno imerzivni svijet, imate različite izazove. U VR-u su izazovi u pogledu performansi veći. Morate stvoriti potpuno sintetički svijet. To znači PC VR slušalice temeljene na 90 sličica u sekundi, izražavajući performanse. Mješovita je stvarnost manje intenzivna, ali mora se u stvarnom vremenu prilagoditi cijelom okruženju koje obrađuje."

• Evolucija stvaranja 3D sadržaja

  Jedinstvo je demokratizirani 3D alat za stvaranje za razvoj imerzivnog sadržaja. Postoje besplatne, plus i pro verzije koje možete kupiti za mjesečnu pretplatu, i to besplatno. Dakle, ono što gradite s Jedinstvom je vaše. Unity trenutno podržava izgradnju za oko 30 različitih platformi, od pametnih telefona i PC operativnih sustava do mnoštva igara, pametnih televizora i VR slušalica.

  U posljednje vrijeme Jedinstvo se koristi za stvaranje širokog spektra potopnih sadržaja i iskustava. To je raspon od serije Sundance Film Festival nazvane Sfere, koja omogućuje gledateljima istraživanje kozmičkog sudara dviju crnih rupa u VR-u, do Disneyjeve igre CocoVR, koja koristi projekcije u 360 stupnjeva koji prevoze igrače u zemlju Pixar-ove Zemlje mrtvih.

  Parisi je također razgovarao o korištenju Unityja za izgradnju zabavnih VR igara poput Beat Sabera i dograđenih iskustava, uključujući MLB At Bat AR aplikaciju, koja omogućuje gledateljima bejzbola da usmjere svoje pametne telefone u igru ​​i vide statistiku na ekranu iznad igrača.

  Jedinstvo može graditi sve ove vrste aplikacija, ali postoji puno nijansi koje treba uzeti u obzir u dizajnu. Iskustva bazirana na PC-u su snažnija, što omogućava veće 3D modele u bogatijim okruženjima, a slušalice poput Oculus Rift i HTC Vive također vam daju ulazne kontrolere, kao i praćenje pozicija i raspona u sobi. Parisi je rekla da za takvu aplikaciju morate dizajnirati drugačije nego što biste imali iskustvo gledanja s tri stupnja slobode na slušalicama kao što je Google Daydream View. Nije lako poput pritiska na gumb, ali Unity je radio na tome da 3D sadržaj koji stvorite može prelaziti s jednog uređaja na drugi bez previše ponovnog kodiranja.

  Pored aplikacija za igranje i zabavu za AR / VR iskustvo, jedno od pitanja s kojima se Unity susreo u posljednje vrijeme je kako poboljšati svoje okruženje za stvaranje 3D-a kako bi se zadovoljili različitim industrijama, razinama vještina i upotrebom slučajeva. Kao i kod alata za razvoj niskog koda čiji je cilj zadovoljiti ozbiljne kodrere i netehničke korisnike, Unity pronalazi načine kako svoje sučelje, skladište imovine i ostatak svoje platforme raditi za razne vrste kompanija i korisnika kako bi proširili kupca. baza.

  "Pogledali smo ove različite industrije u kojima se pojavljuju AR i VR. To bi mogle biti automobilske, filmske, arhitektonske, medicinske ili druge organizacije u kojima distribuirate softver na stotine tisuća sjedišta", rekao je Parisi. "Potpuno su različiti svjetovi, različita poduzeća, različita podrijetla i proizvodni alati. U početku smo bili fokusirani na mobilnu industriju i industriju igara, jer tamo je rastao, ali sada je točak okrenuo i vrijeme je ispravno uzeti taj playbook i donijeti ga u neke od tih drugih industrija sada jer svijet postaje B2B."



Trenutačna AR / VR ograničenja

U ovom trenutku, najveća prepreka široj rasprostranjenosti usvajanja MR-a i VR-a nije nedostatak sadržaja, već hardverska ograničenja kada je u pitanju udobnost i prenosivost u odnosu na računalnu moć, rekao je Parisi. Dugo putovanje nadolazećih slušalica Magic Leap služi kao studija slučaja iz udžbenika u pokušaju da se procesor koji je dovoljno moćan pretvori u dovoljno mali oblik faktora za masovnu potrošnju.

"Izazovno je stvoriti mješovitu stvarnost koja djeluje hodajući po vašoj dnevnoj sobi nasuprot navigaciji otvorenim ulicama", rekao je Parisi. "Na mjestu smo gdje još uvijek prolazimo kroz iteraciju hardvera kako bismo pronašli slatko mjesto između računalne snage i prenosivosti. S VR slušalicama možete se kretati dok ne osjetite kako se žica zaglavila. Potreban nam je drugi način da to prenesem. Ta žica boli, pukne uronjenje. Bila sam negdje drugdje na minutu, ali tada sam se nešto zaplela oko stopala."

Na strani AR ograničenja su različita; puno je više o računalnom vidu i procesuiranju 3D grafike u stvarnom vremenu. Kada je u pitanju računalni vid i korištenje različitih vrsta strojnog učenja (ML) za popunjavanje praznina i AR / VR iskustva pametnija i neprimjetnija, tu dolazi i sve veći AI odjel Unitya.

• AI strategija jedinstva

  Unity koristi AI na mnoštvo različitih načina, od poboljšanja igranja i dizajna motora do praćenja ponašanja korisnika i promjena načina na koji programeri igara mogu unovčiti svoje aplikacije. AI tim, koji broji više od 100 zaposlenika širom svijeta, vodi Danny Lange, Unity-ov VP zamjenik aI-a i strojno učenje.

  Lange se pridružio Unityu prije otprilike 18 mjeseci nakon što je postao voditelj strojarskog učenja u Uberu i generalni direktor Amazonskog strojnog učenja. Također je radio u IBM-u i Microsoftu. Došao je u svijet igara s drugačijom perspektivom na ML i pomogao je pretvoriti tradicionalne napore Unitya u ambicioznije projekte.

  "Tvrtke poput Amazona i Ubera toliko su strojne za učenje. Dolazeći iz svijeta samostalnih automobila u ovo okruženje za 3D igre, želite potražiti savršeno mjesto za pomicanje granice umjetne inteligencije", rekao je Lange.

  "Kad sam došao tamo, u tijeku su brojni napori strojnog učenja gdje sam stekao iskustvo s učvršćivanjem učenja i dinamičkim sustavima u kojima u osnovi poboljšavate ponašanje", nastavio je Lange. "Ovo smo nešto učinili i u Amazonu i u Uberu. Bilo da šaljete knjige ili optimizirate kameru za Uber bez trenja, sve te stvari zapravo ne sjede i dizajniraju ljudi, to su računalni sustavi koji uče gdje reći vi gdje upoznati svog Uberovog vozača. I kad sam došao u Unity, vidio sam ogromnu priliku za uvođenje tih ideja u svijet igara."

  Kao što je Lange objasnio, ML-ovi projekti tvrtke Unity obuhvaćaju sve, od igranja do monetizacije. U jednom slučaju, tim traži grozdove korisnika koji imaju određene obrasce potrošnje koje programeri Unity-a žele unovčiti oglašavanjem ili kupnjom putem aplikacija. Jedinstvo tada te rezultate pruža programerima za učinkovitije dugoročno angažiranje.

  Tvrtka također primjenjuje ML za poboljšanje gameplay-a, dizajn motora i pomoć u postupku stvaranja sadržaja. Sveobuhvatna strategija Unity-a je u osnovi podijeljena između razvojne strane na ML više razine usluga i naprednijeg istraživanja dubokog učenja s akademske strane. Lange je rekao da se to uklapa u ono što Parisijev odjel radi s XR razvojem, gdje Unity pruža istraživačima 3D grafičko okruženje za testiranje novih algoritama za ML.

  "AR i VR su zapravo fantastična područja za strojno učenje i AI. Često razmišljam o AI kao o poboljšanoj stvarnosti, a s realnošću se teško nositi", rekao je Lange. "Teško je smisliti fiksne algoritme koji razumiju sve u sobi i mogu prekrivati ​​tu sobu. Ne možete to stvarno kodirati. Morate koristiti strojno učenje i AI da biste postavili virtualne predmete u sobu koja prepoznaju da je tablica površinu, a ako je stavite na rub stola, ona će pasti. To su područja u kojima strojno učenje igra vrlo važnu ulogu zbog ovog dinamičnog ponašanja u stvarnom svijetu, razumijevanja dubine i dimenzija u virtualnim prostorima. sa ciljem da se dovede do ruba dubokog učenja kako bi se revolucioniziralo način na koji se te igre stvaraju i ponašaju."



Strojno učenje iza kulisa

Što se tiče razvoja i igranja, Lange je povukao zavjesu kako Unity unosi ML algoritme u iskustvo kako bi automatizirao proces kreiranja i iteracije.

"Mi bilježimo puno podataka o ponašanju: kada igra počne - koliko dugo ste igrali, kroz koje scene prolazite u toj igri", rekao je Lange. "U tom smislu, koristimo strojno učenje i analizu podataka u sličnom kontekstu kao što to rade Amazon ili Google - prikupljamo podatke o ponašanju i vraćamo ih programerima igara. To je vrsta ekvivalenta web analitike, koja vam daje djelotvorne podatke odmah iskoristiti kako biste vidjeli na kojoj se razini igrači zaglave, koje scene ne funkcioniraju itd."

Ti se podaci mogu upotrijebiti za optimizaciju čimbenika poput kupnje putem aplikacija i oglašavanja, ali Lange je rekao kako algoritmi pomažu u pronalaženju ravnoteže između prikazivanja korisničkog sadržaja koji ih zanima i unovčavanja igara do krajnosti. Na makronaredbi objasnio je da je više riječ o stvaranju neprekidne petlje podataka o ponašanju kako bi se pomoglo igrama da se organsko razvijaju, uzimajući ručni programer rad iz jednadžbe.

"Strojno učenje je mjesto gdje možete preuzeti podatke i početi uspostavljati veze", rekao je Lange. "Kad to stavite u petlju, poput onoga što ćete često vidjeti u igri, podaci vode prema predviđanjima igre i igrača. To stvara više podataka o ponašanju, a sada zapravo imate sustav koji može komunicirati i učiti od korisnika i kako međusobno komuniciraju. Jedno od naših velikih nastojanja je korištenje AI tehnologije za stvaranje više organskih igara koje se s uporabom razvijaju."

• Agenti za strojno učenje

  Najvažniji način na koji to čini Unity je putem ML Agents, beta inicijative otvorenog koda koja pretvara igre i 3D simulacije u poligon za obuku autonomnih inteligentnih agenata. U osnovi, Unity omogućava programerima da raspoređuju ove fleksibilne ML agente u bilo kojem scenariju i oni će se ponašati poput spužve: učiti i razvijati se na prilagođeni način na temelju bilo kojeg virtualnog okruženja u koje ih upadnete.

  "Moja je definicija strojnog učenja naspram AI-ja ta da s strojnim učenjem prikupljate podatke, trenirate sustav i to je to", objasnio je Lange. "AI je kada se sustav stalno usavršava i postaje sve bolji i bolji. Želimo da se igre mogu razvijati, a jedna od naših javnih inicijativa za promicanje su agenti za strojno učenje."

  Unity ima nekoliko ciljne publike za svoje ML agente. Jedan je scenarij namijenjen programerima, koji omogućuje automatsko kretanje i interakciju s igračima. Umjesto da kodiraju svoje akcije, ML agenti uče kroz pojačanje jer simuliraju različite razine i pomažu programerima da brzo testiraju igre koje djeluju kao virtualni igrači koji paralelno testiraju tisuće razina igre.

  Još jedan slučaj upotrebe ML agentima usredotočuje se na narativ. Lange je rekao da Unity testira agente pokušavajući dokučiti što će igrač dalje raditi, a zatim ih pratiti korak po korak. Ideja je razumjeti što rade ljudski igrači i kako će igra nadoknaditi te odluke u većoj shemi naracije. U igrama u kojima su milijuni igrača aktivni, ML Agenti mogu masovno učiti i podešavati razine ili priče igre.

  U gornjoj simulaciji "Goodboy", Langeov tim izgradio je jednostavnu mobilnu igru ​​koristeći model strojnog učenja iz Unity-ovog ML-Agents alata. U igri, mali corgi dohvaća štap slatkim pokretima, a sve bez toga da bude tvrdo kodiran. Umjesto toga, njegovi postupci i ponašanje kontroliraju ML agenti. Unity planira surađivati ​​s partnerima platforme na proširivanju ML Agenta na sve platforme koje podržava Unity.

  "Ako razmišljate o takvoj sposobnosti unutar igre na onoj koju zovemo narativnom nivou, nisu likovi koji se kreću u igri nužno kontrolirani, nego sama narativ igre. Dakle, u osnovi je igra koja vas pokušava uvući u neku vrlo uzbudljive ceste. Dakle, možete birati lijevo ili desno po stazi i igra će u osnovi orkestrirati niz događaja na temelju onoga što predviđate da ćete učiniti za pet, 10, 15 poteza od sada, " rekao je Lange.

  "Možete zamisliti kako bi to moglo funkcionirati u igri za više igrača", nastavio je. "Jedan od klasičnih primjera: rano u igri, dvije se osobe susreću. Jedan oduzima sve zlato od drugog igrača, a zatim se razdvoji s lošom krvlju. Tako bi igra osigurala pripovijest gdje svaki igrač završi zajedno na mjestu gdje će preživjeti, morat će raditi zajedno. Trebaju prijeći most, a to mogu samo zajedno, inače su izvan igre. Bilo bi vrlo teško teško šifrirati svoj put kroz to s velikim simulacije, ali s ML agentima igra može dinamički stvoriti takve vrste simulacija."

• Izgradnja virtualnih svjetova uz pomoć AI

  Gornji demo "Pyramids" okruženje je koje pokazuje rezultate projekta učenja učenja pod nazivom Curiosity, gdje ML Agenti brzo istražuju svijet kako bi otkrili skrivene nagrade na karti.

  Druga strana AI operacija Unity-a uključuje korištenje ML-a za stvaranje imerzivnijih scena i tekstura pri generiranju 3D sadržaja. Lange je rekao da je ovo novije, ali vrlo obećavajuće polje u kojem autonomni sustavi unutar igre mogu stvarati sadržaj koji kontrolira kretanje i ispunjavati prirodne pokrete, učeći kako se lik, čovjek ili životinja kreću i oponašaju tu animaciju u igri.

  "Imamo na hiljade programera koji ovo testiraju", rekao je Lange. "S akademske strane, počeli smo viđati mnogo NASA-ina studenta i doktoranda na MIT-u i Institutu Paul Allen iz Seattlea koji objavljuju stvari na Unityu. Upravo sam se sreo s programerima u Londonu koji ovo gledaju na razvoj NPC-a koji stvarno guraju ograničenje grafičkih performansi s iPhoneima i Android uređajima."

  Unity također ima motor zvan Extreme AI za mapiranje ličnosti na likove, slično kao Amazon Sumerian gradi AI-e napunjene "domaćinima". Za likove u igri koji se ne mogu igrati, Unity je u posljednjih godinu ili dvije počeo eksperimentirati s tim radi prirodnije simulacije, rekao je Lange.

  "Dakle, ako želite izgraditi robota ili automobil koji samostalno vozi ili dizajnirate kuću, to možete učiniti u Jedinstvu i tu kuću naseliti NPC-ima", rekao je Lange. "Možete simulirati 1.000 obitelji koje žive u toj kući i prikupiti informacije o tome kako se likovi kreću. Da li se vrata otvaraju na pravi način? Ima li dovoljno svjetla u sobama? Ako to učinite u oblaku, mogli biste imati 1000 različitih kuća s 1.000 različitih obitelji. To bi moglo izgledati kao put izvan samog igranja, ali sve je to temelj igre tehnologija."

• Budućnost imerzivnih aplikacija

  Kako se tvrtke AR / VR i ambicije umjetne inteligencije šire, Unity traži više od igre za novu generaciju 3D aplikacija. Jedan primjer je automobilska industrija, za koju je Unity nedavno osnovao posvećeni tim koji će pomoći u stvaranju AR / VR sadržaja za kupce, uključujući Audi, Toyota, Lexus i Volkswagen. Parisi je rekao da Jedinstvo želi primijeniti moć svog ekosustava za razvojne programe na više platformi kako bi stvaranje AR / VR aplikacija stvorilo u novim industrijama.

  "Mi mijenjamo kako dizajnirate automobile, snimate filmove; kako sve te stvari radite kao tvrtka koja zna prodati programerima igara", rekao je Parisi. "Kao primjer, recimo da Ford želi stvoriti aplikaciju u svom laboratoriju za inovacije. Imaju vrhunski hardver i softver, a zatim izlazi Rift i odluče to jednostavno učiniti na igračkom računalu. Izložili su oglas a izgledi su da je netko u području Detroita programer Unitya. Jedna osoba započne prototipiranje, pretvara se u tim za inovacije s tri osobe i tada počinju razvijati nove načine izrade automobila kako bi zamijenili fizičke prototipe."

  Parisi također vidi puno potencijala za smanjenje trenja kada je u pitanju AR i e-trgovina. Najveća točka pregiba predstavlja ratifikacija WebXR-a World Wide Web Consortium (W3C), novog standarda koji će omogućiti da se AR i VR iskustva odvijaju kao web aplikacije izravno u desktop i mobilnim preglednicima.

  Zamislite da u svom društvenom feedu vidite oglas za novi kuhinjski uređaj, a zatim povučete taj 3D model u miješano okruženje stvarnosti povezano s vašim fotoaparatom da biste vidjeli kako to izgleda u vašoj kuhinji. Kako bi takva tehnologija 3D oglašavanja funkcionirala u masovnim razmjerima, Parisi je rekla da web iskustvo mora biti besprijekorno. Ako morate instalirati aplikaciju da biste pregledali svaki 3D objekt označen virtualnim informacijama samo da biste ga povezali s kamerom, model ne radi, ali Unity sebe vidi kao alat zajedno sa standardima poput WebXR-a koji može premostiti te nedostatke kompatibilnosti.

  Parisi predviđa budućnost u kojoj je faktor forme za AR / VR doživljaj samostalni zabavni uređaj, bilo da je riječ o kućnom iskustvu, aplikaciji koja se temelji na lokaciji ili poslovnoj simulaciji obuke. Također je rekao da korisničko sučelje mora postati potpuno uronjeno. Tehnologije još nema, ali ne vjeruje da je to tako daleko kao što možda neki misle.

  "Neki misle da će proći desetljeća prije nego što dođemo do stvarno dobrih uronih slušalica ili naočala s dovoljno računalne snage", rekao je Parisi. "Kada razmotrite sva čudesna otkrića u minijaturizaciji svih tih aspekata računanja - CPU, GPU, 5G umrežavanje - za nekoliko godina bi mogli dio te obrade pomaknuti do ruba ili do oblaka. Faktor oblika mogao bi biti bilo što, ali zajednički element je definitivno imerzivno korisničko sučelje na kojem možete pritisnuti gumb i doživjeti potpuno realizirane digitalne znakove ili slojevito okruženje stapajući digitalni i stvarni svijet."