HoloLens medoppfinner Avi Bar-Zeev deler: The Road To All-Weather AR Glasses

Veien til allværs XR-briller

I over 30 år har jeg jobbet med XR, metaversen og romlig databehandling, inkludert assistanse eller rådgiving i 10 forskjellige XR-hodesettprosjekter. Jeg har vært så heldig å bidra til en rekke prosjekter tidlig, for det meste ved å bevise eller avkrefte krav og definere nøkkelbrukeropplevelser før team bruker 1 milliard dollar på å bygge dem. Underveis har jeg lært leksjoner om hva som fungerer og hva som ikke fungerer. Noen ganger er det riktige svaret "ikke moden ennå."

Jeg vil ikke avsløre informasjon som min tidligere arbeidsgiver fortsatt anser som proprietær. Jeg vil gi lenker til publiserte patenter som kan gi oss litt innsikt. Det er den faktiske hensikten med patenter, tro det eller ei. Selvfølgelig ville jeg unngå patenter som jeg tror ville invitere til spekulasjoner.

Det er viktig å være forsiktig så du ikke tar noe jeg sier eller skriver som bevis på et selskaps produktplaner, eller til og med kritikk av noens innsats. Dette var ikke min hensikt i det hele tatt.

Som bakgrunn var den første virkelige XR-opplevelsen jeg bygde en CAVE. På den tiden lånte jeg en $250,000 datamaskin og gigantisk projektor, og investerte ytterligere $30,000 i råvarer. Disneys $100,000 VR-headset, som ble laget på 90-tallet, kom aldri ut på det kommersielle markedet. Det krever kabler som henger fra taket for å bære vekten, men hundretusener har prøvd det.

Innen januar 2010 håper jeg at vi er klare til å begynne å utvikle bruksklare XR-briller. Det er på tide å gjøre et stort plask i dette saktegående feltet. I tillegg dukket Google Glass og Magic Leap opp omtrent samtidig. Heldigvis var en av oppgavene vi fikk hos Microsofts inkubasjonsteam å finne nye ideer til neste generasjon Xbox.

"Vær aggressiv, til og med få oss til å si 'dette er galskap'," sa en Xbox-sjef den gang.

Jeg har absolutt "radikale" ideer. Vårt lille team begynte snart å jobbe med et nytt produktkonsept "Screen Zero": å erstatte alle skjermer med én skjerm. Jeg var ansvarlig for teknisk utforskning og var med på å definere opplevelsen i det første formative året. Mine grunner til å forlate er ikke verdt plassen i denne artikkelen. Men etter mer enn tusen mennesker ble HoloLens lansert i 2016.

Dette er banebrytende utstyr. Men det er fortsatt ikke en all-værs forbruker wearable. Ingen av dagens Magic Leap 2, Snap Spectacles, Varjo eller Quest.

Så, hva skal til for å oppnå AR-briller som kan brukes hele dagen?

1. Maksimalisme og minimalisme

Den maksimalistiske tilnærmingen, som den HoloLens til slutt tok, refererer til konsolideringen av en rekke sensorer, algoritmer og kraft til et avansert system. Når vi har satt ingeniør- og brukeropplevelsen på plass, kan vi teoretisk begrense den. Men det tar mer tid, og det kan ta opptil et tiår før viss elektronikk optimaliserer kraften alene.

Cambria og lignende enheter er på samme måte maksimalistiske, så mye at de simulerer AR med en gigantisk ugjennomsiktig VR-skjerm og flere kameraer, med presis piksel-for-piksel kontroll over blandingen av virkelighet og simulering. Maksimalisme er best for avanserte applikasjoner og kjerne-FoU. Noen hevder at selv om applikasjonene er mer industrielle, er de de eneste verktøyene som fungerer for øyeblikket.

Men selv de dyreste enhetene på markedet i dag kan ikke brukes hele dagen, og kan ikke brukes til vanlige sosiale interaksjoner eller til og med å gå trygt på gatene. Maksimalistiske funksjoner som holografiske eller lysfeltskjermer er ennå ikke modne.

På den annen side inkluderer enheter med en minimalistisk tilnærming Amazon Echo Frames, Snap Spectacles og Ray-Ban Stories, for å nevne noen. De pakker kun teknologi som passer innenfor gjeldende begrensningene til formfaktoren for brukbare briller, og fjerner ofte skjermene helt.

Likevel, kan briller uten skjerm telle som XR?

Hvis det forbedrer ens situasjonsperspektiv, vil jeg si ja. En podcast eller musikkmiks er ikke XR fordi den fortsatt ikke registrerer deg eller ditt nåværende miljø. GPS-navigasjonsapper passer litt, men ikke nok. Å legge til romlig lyd og kameraer for AI og nøyaktig posisjonering teller definitivt som XR, selv uten skjerm.

Minimalistiske tilnærminger kan selge flere produkter på kort sikt, og de fokuserer vanligvis på et spesifikt aspekt og gjør det til en best-in-class-løsning. Hvis du kan gjøre det riktig, som Walkman og iPhone, kan du selge for milliarder av dollar. Men tro ikke minimalisme er lett, for på mange måter er det vanskelig å gjøre det bra.

2. Beste metode

Jeg hadde håpet at XBox sin Screen Zero var en hybrid mellom minimalistiske briller og en maksimalistisk konsoll. AR-briller bør ha samme størrelse som Oakley-briller eller mindre. Neste vert vil gjøre det meste av tunge løft for opptil fire par briller i samme rom.

3. Ergonomi, energiforbruk og varme

Hvorfor skilles? Det kommer ned til energiforbruk, eller mer nøyaktig: varme.

Alt arbeidet til en datamaskin ender opp i form av varme, og andre kan inkludere fotoner og/eller mekaniske stasjoner, for eksempel lyd. Hvor mye varme? Et par lette AR-briller kan generere omtrent en watt energi.

En typisk smarttelefon kan generere rundt 10 watt og deretter varmes opp. En vert eller PC kan forbruke 10-100 ganger mer energi enn en smarttelefon, og derfor 100-1000 ganger mer energi enn briller. Tenk på små LED-lommelykter og gigantiske tørketromler. Dette er en enorm forskjell i energiforbruk.

For å balansere energiforbruket trenger vi løsninger som ligner på det jeg har jobbet med siden 2010, for eksempel datafusjon, delt gjengivelse, optimaliserte gjengivelsesstrømmer. For lavere båndbredder fungerer eye-tracking-basert tidsforvrengning-gjengivelse godt og dekker kommunikasjonsforsinkelser.

CPU, kamera, skjerm og RAM bruker mye energi og genererer mye varme. Så hemmeligheten er å bruke dem sparsomt i de fleste tilfeller. Tenk egendefinert maskinvare med lavt strømforbruk: nye kontekstuelle sensorer, skjermer med ultralav effekt og algoritmer som smart «våkner».

Dette vil ta tid å løse. For eksempel, hvis den optiske musen og vertskontrolleren ikke er i standby, vil batteriene deres tømmes, så de starter med en tilkoblet løsning. I dag kan en optisk mus vare flere måneder på et lite batteri.

4. Utenfor stuen

For å støtte et bredt spekter av brukstilfeller, må optisk transparente AR-systemer ideelt sett blokkere lys fra lyse omgivelser (selv vindus- eller stuebelysning), bedre tilpasse og blande romlig lyd med virkeligheten, justere optisk fokus, fange og reprodusere virtuelle hologrammer av andre og mer.

Selv om enheten er delt inn i hovedenheten og headsettet, er det fortsatt for mye "ting" i hodet vårt. En stor ergonomisk utfordring er å bli kvitt de gigantiske stroppene som de fleste XR-enheter fortsatt bruker, som får hodesett til å se ut som ansiktsnære insekter.

Enhver form for stropper som krever stramming vil begrense mangfoldet i brukerbasen (med tanke på hodestørrelsesvariasjoner og følsomhet for å rote til håret), og det vil redusere sannsynligheten for å bruke briller. Det betyr at allværsutstyr skal være superlett og generelt passe like godt som vanlige briller.

Å komme til størrelsen på Oakley-briller eller mindre betyr ofte å flytte mer av systemet inn i en klips eller fjernkontroll. Magic Leap tilbyr et slikt klipp. Jeg har lagt merke til at XR-enheter bruker et nakkebåndoppsett, som betyr å henge datakomponentene rundt forbrukerens hals. Med denne delte designen, jo mer separat arbeid som gjøres, desto lettere kan øye-/hodeenheten være.

I 2010 var jeg personlig mer interessert i biceps fordi det var et ankerpunkt og en kort linje om nødvendig. Dette holder tyngre og varmere komponenter borte fra hodet og nakken og har mye overflate for å spre varme. Biosensorer plassert på armen kan også oppdage bevegelser, på samme måte som Meta bruker Control plus Labs-enheten til å lese bevegelser fra håndleddet. På denne måten kan produktdesignere fortsatt si «ingen kabler».

5. Fokus

Fordi et stort antall voksne trenger å korrigere nær- og fjernsyn, må en formfaktor som kan brukes hele dagen ofte forstørre og fokusere den virkelige verden for oss. Som et minimum betyr dette at linsene må støtte tilpasset synsparameteroptikk. Et bølgelederselskap som Snap kjøpte tidligere kunngjorde planer om å bygge inn den relaterte optikken i funksjonelle synslinser, men det har vært vanskelig.

Men er én synsparameter nok? Mange voksne trenger kun briller for å lese eller kjøre bil (langsynthet), noe som betyr at de trenger briller for å kunne bytte til forskjellige tilstander. Så, trenger vi to eller tre par dyre briller? Eller bifokale, trifokale, som bøyer lyset tilsvarende avhengig av hvor du ser? (Praktisk, men ikke ideelt)

En løsning jeg presser på er dynamisk optisk justering, slik at de samme brillene kan støtte lesing eller kjøring, og til og med forstørre små skrift og fjernskilt. Dette lar også flere venner prøve det enkelt. Tenk om XBoxen din kun støtter enkeltspillerspill og du har to eller tre venner i rommet? En slags bummer.

De nåværende beste dynamiske fokuseringsmetodene inkluderer Alvarez (mekanisk skyve) og væskefylte justerbare linser. Mekaniske løsninger har en tendens til å redusere påliteligheten. Det er en god del forskning og utvikling som går til å stable spesielle LCD-skjermer og endre fokus elektronisk. Mega kjøpte opp et selskap for å ta på seg oppgaven.

Så er det problemet med å fokusere det virtuelle bildet basert på gjeldende siktelinje. Avegant og Magic Leap viste oss hvordan vi raskt kan bytte mellom to brennvidder, og simulerte en enkel lysfeltvisning, som er viktig for å navigere "virtuelle objekter" med riktig brennvidde innenfor vingespennet. Jeg har sett på flere måter å kontinuerlig skanne brennvidden før, men kommersielle monitorer er ikke raske nok i praksis.

Å spore øynene dine kan hjelpe behandlingen, redusere beregningsbelastningen og gi mer naturlig brukerinndata. Jeg er veldig kjent med øyesporingsproblemet og varsler beslutningstakere om risikoen tidlig.

Til slutt, på forretningssiden, tjener Luxottica mye penger på å selge briller til rimelige priser. Det dominerer markedet i dag, og de fleste brillemerker du kjenner. XR-brilleselskaper må jobbe med dem eller mot dem, ingen av dem er enkle valg. Meta valgte å samarbeide med dem for å utvikle Ray-Ban-brillene. Selskapets konkurrenter inkluderer Warby Parke og andre små aktører. Du kan ikke selge gode nye produkter uten gode distribusjonskanaler og partnere.

6. Kontrast

Magic Leap 2 tilbyr en måte å selektivt uskarpe den naturlige verden. Jeg har jobbet med dette problemet siden 2010, men det er fortsatt ingen perfekt løsning. En serie optiske ingeniører anså det ikke som nødvendig. Årsakene er som følger:

Det er generelt forstått hvorfor transparente "additive" skjermer ikke kan gjengi "svarte". RGB{{0}},0,0 for svart, som faktisk ikke legger til noe og ikke er synlig i det eksisterende lyset. Vi kan imidlertid enkelt lure deg til å oppfatte svarte og skygger ved å nærme oss lysere områder.

Det virkelig vanskelige problemet oppstår når du tar XR-brillene utendørs og ser på en vegg opplyst av sterkt sollys, sannsynligvis i nærheten av et mørkt eller skyggefullt område. Enkelte områder kan være 1000 til 10000 ganger lysere enn andre. Kontrasten er så uttalt innendørs at AR-visuelt ser direkte skummelt ut. Optiske ingeniører hevder ofte at for å overvinne dette, må du sende ut mer lys. Optikken deres er vanligvis bare 1 prosent -10 prosent effektiv, noe som betyr at det meste av lyset ikke en gang kommer inn i øynene dine og bare tilfører mer varme. Husk at du ikke bare kan designe et system rundt optikk fordi varme er en av de største begrensende faktorene.

Realiteten er at ethvert par gjennomsiktige AR- eller video-gjennomsiktige briller må ta hensyn til den virkelige scenen når du gjør visuelle forbedringer. Når det gjelder gjennomsiktighet, må glass ofte trekkes fra ekte belysning for å oppnå ønsket endelig farge. Når det gjelder videoperspektiv, kan skjermen erstatte hele pikselen, men eventuell gjennomsiktighet i den virtuelle 3D-scenen må fortsatt blandes med bakgrunnsfargen som leses av kameraet. Så det du egentlig ser på er et høyenergikamera og kretser som enten er gjennomsiktige eller ugjennomsiktige. Dette er en enorm designbegrensning da den tilfører energi og vekt samtidig som den blokkerer øynene.

På overflaten er selektiv skyggelegging med klare briller rimeligere enn å legge til strøm til skjermen eller legge til et kamera. I 2010 plasserte jeg en enkel monokrom LCD foran bølgelederen. Den fungerer som forventet, og gjengir solide 3D-objekter med myke svarte konturer. Men det har ulemper, inkludert behovet for dynamisk kalibrering, LCD-skjermen forvrenger ekte lys (hovedsakelig brytningen av kontrollledningene). Den har dårlig dynamisk rekkevidde alene. Utendørs trenger du noen ganger nesten 100 prosent tetthet. Innendørs, spesielt i sosiale situasjoner og telepresence, ønsker man å være mer transparent for å se folk direkte i øynene.

Hovedinnvendingen mot denne tilnærmingen er at LCD-skjermer eller andre romlige lysmodulatorer ofte er ute av fokus, en tomme fra øyet. Men forvrengningen er slik at med de riktige pluss- og minustransparente AR-skjermene og noen raske sensorer med lav effekt, kan solbrillene blokkere sollys, gjenskinn eller frontlykter uten å dempe synet ditt andre steder. Du kan subtilt mørkne verden og få anbefalte bøker til å se glitrende ut. Med mer avansert subtraksjon (filtrering) kan brillene til og med fargelegge verden på nytt, forbedre nattsynet og til og med gi biometrisk tilbakemelding når du føler deg rastløs eller distrahert.

Jeg laget forskjellige demo-ting og brukte lang tid på å lete etter en bedre måte. Men de har alle visse ulemper. Implementeringen av Magic Leap 2 gir meg imidlertid håp om at kjerneproblemene vil bli løst.

7. Nettverk

Radioer krever også energi, så det er alltid en avveining i et delt system. Den mest lovende fremtiden ligger i bruken av avanserte radiofrekvenser for å oppnå lavere effekt og høyere båndbredde enn i dag. Men hovedutfordringen er at denne frekvensen ikke kan passere gjennom hud eller vegger (på godt og vondt). Så løsningen må være veldig smart, ettersom radiobølger spretter og stråler rundt i rom og mennesker, så det kan være nødvendig å bruke flere sendere enn det er i dag. Det er klart at dette øker kostnadene og kompleksiteten.

For wearables hele dagen krever det også at nettverket er tilgjengelig før du selger produkter som er avhengige av det. Denne begrensningen er den største grunnen til at bedrifter aldri slipper den delte gjengivelsesløsningen jeg anbefaler. 5G er nærmere det vi trenger, men i hvert fall i USA løser dette stort sett problemet med lavere ventetid og flere som bruker nettverket samtidig. Vi trenger mer enn 5G, men det er en god start.

For å kvitte seg med den opprinnelige "verten" (eller lignende) i rommet, samtidig som vi opprettholder en liten og lett formfaktor, trenger vi en måte å "edge" databehandling på, kombinert på en måte som ikke invaderer privatlivet vårt. Å sende sine biometriske sensordata til en hvilken som helst kant- eller skyløsning er svært bekymringsfullt for alle fordi det lett kan misbrukes.

8. Kamera

Å sette kameraet til brillene er vanskelig. Google Glass har gjort mange feil i sosial aksept og har blitt utsatt for omfattende angrep. Men Snap ser ut til å ha få problemer i den forbindelse. Samtidig har Facebook jobbet med å fange opp detaljene i alles liv, antagelig for å kunne levere mer personlig tilpassede annonser, enten vi liker det eller ikke.

Enkelte kameraer er energikrevende, for eksempel digitalisering av 3D-scener og digital okklusjon av mennesker eller objekter. For å plassere 3D-grafikk på riktig måte, må du kontinuerlig spore hodet i rommet, og kameraer er fortsatt den ledende løsningen. Ved å utnytte IMU-sensorer øker vi energiforbruket.

Å ta bilder eller videoer er et ganske populært bruksområde, spesielt hvis det er mer naturlig og praktisk enn andre enheter. Men på grunn av størrelse og strømbegrensninger vil kvaliteten på bildene være lavere enn på en vanlig smarttelefon. Å gi et lite hvitt lys i rammen er ikke nok til å løse det komplekse problemet med sosial godkjenning.

Sceneforståelse er lettere å forestille seg som et hovedtrekk ved kamerabriller, delvis fordi det ikke trenger å ta bilder av andre mennesker, men enda viktigere åpner det opp for den viktigste nye brukssaken for å bruke briller hele dagen: situasjonsforståelse.

9. Erfaring

I 2010 er FoU-en jeg mest håper å utvikle AR-briller som støtter kraftig øye- og kroppssporing, og utforsker et mer naturlig romlig databrukergrensesnitt utover det tradisjonelle "rektangelet i et rektangel" med PC-er og mus. Selv om maskinvaren absolutt har sine begrensninger, krever utbredt bruk av XR at noen tar opp det erfaringsmessige spørsmålet om "hvordan" å samhandle i fremtiden? «3D-boks i en boks» er det tydeligvis ikke. Så vi har fortsatt mye arbeid å gjøre.

Mens Meta fokuserer sin VR-innsats på å bestå den såkalte «Visual Turing Test», må XR-briller som kan brukes hele dagen være mer nyttige enn andre. Mange forestiller seg AR-lag eller -kanaler som gjennomsyrer vår virkelighet, markerer alt vi ser, legger til informasjon, forteller romlige historier i 3D og tegner verden på nytt. Selv om dette sannsynligvis vil være på forespørsel, er det ikke den daglige opplevelsen jeg forventer.

Mesteparten av tiden ønsker folk å forbedre det de gjør ofte: kommunisere, navigere, oppdage verden rundt oss, forstå og til og med endre et sted, handle, oppleve innhold og tjene penger på jobb. For å lykkes må XR-briller gjøre det bedre enn vi gjør med smarttelefoner eller andre enheter.

Her er hva en smarttelefon ikke kan gjøre. Se for deg et par normale briller som dynamisk justerer fokus og selektivt blokkerer lys. De kan snakke med deg proaktivt og privat, uten at du trenger å skrive tekst eller spørre muntlig. Det alene ville vært et milliardprodukt. Slike briller kan hjelpe deg med å huske ting eller gi pålitelige anbefalinger som en del av din daglige opplevelse (mot push-annonser).

Den viktigste forskningen jeg har gjort på dette området er asynkron kommunikasjon ved hjelp av ikke-visuelle XR-briller. Smarttelefonenes stemme- og tekstfunksjoner er gode nok i dag, men vet de når du sliter med å fokusere? Kan de hjelpe deg å bytte kontekst til rett tid for å holde jobb eller lek flytende? Her er hvordan hvor brillene kan skinne (forutsatt at vi kan stole på produsenten).

Alt jeg har beskrevet er veldig vanskelig, og den relevante teknologien er nesten ikke-eksisterende. Det er ennå ikke på et minimalistisk spor, men det er fordi vi ikke har prioritert det fremfor miniatyrisering av optikk og maksimering av synsfeltet. Men hvis du stiller spørsmålet: Hva slags XR-briller kan lykkes der andre ikke har det? Jeg tror fortsatt at alt jeg har nevnt ovenfor vil hjelpe deg med å bygge et flott produkt.