De mixed reality-headset van Apple luidt een nieuw tijdperk van ‘ruimtelijk computergebruik’ in. Wij zijn niet klaar.
De technische wereld raakte in 2013 erg opgewonden toen Google een video uitbracht over een wild concept . Het toonde een first-person-perspectief van een man die door Manhattan liep, vrienden sms’te, kaartinstructies volgde en een videogesprek voerde.
Het was allemaal vrij normaal, behalve dat in plaats van een telefoon uit zijn zak te halen, de teksten, kaarten en video’s voor zijn ogen leken te zweven.
Het gadget dat dit allemaal mogelijk zou maken heette Google Glass, een apparaat van $ 1500 dat je als een bril droeg , met een klein display voor één oog en een camera die alles kon zien (en opnemen) wat je kon zien. Je zou in theorie je dagelijkse routine kunnen uitvoeren, spraakopdrachten kunnen geven aan de met internet verbonden headset en heldere, afleidende schermen tot het verleden kunnen behoren.
Het is een droom waar de technologie-industrie nog steeds naar streeft. Er zijn een paar namen voor dit concept. Mixed reality en augmented reality zijn de generieke. Metaverse , gepopulariseerd door Mark Zuckerberg toen hij zijn bedrijf omdoopte tot Meta , is degene waar je waarschijnlijk het meest van hebt gehoord. Spatial computing is de naam die Apple onlangs heeft bedacht voor zijn Vision Pro-headset ter waarde van $ 3.500, die op 2 februari in de verkoop gaat .
Of het nu slaagt of flopt, zoals Google Glass uiteindelijk deed , de Apple Vision Pro zal veel nieuwe aandacht vestigen op het mixed reality-concept. Hoe die aandacht de ontwikkeling van de technologie vormgeeft, zou kunnen bepalen hoe we computers in de toekomst zullen gebruiken. Apple heeft naar verluidt maar liefst 200.000 exemplaren verkocht in de Vision Pro-voorverkoop, een teken dat op zijn minst een paar mensen geïnteresseerd zijn om veel geld uit te geven om te zien wat Apple denkt dat we uiteindelijk moeten doen.
Zullen we allemaal door de stad lopen met een koptelefoon op en videogesprekken voeren terwijl we naar de zonsondergang kijken? Of zal een kleine groep van ons uiteindelijk videogames gaan spelen in een volledig – en waarschijnlijk eenzame – virtuele wereld?
Het is niet duidelijk wat Apple denkt dat je op dit moment met zijn mixed reality-headset moet doen. Het marketingmateriaal van het bedrijf lijkt te suggereren dat je het in je woonkamer moet gebruiken als een mooie tv waarmee je ook futuristische videogesprekken kunt voeren .
Het toestel heeft niet één maar twaalf camera’s aan de voorkant – om nog maar te zwijgen van een LiDAR-sensor, zes microfoons en een TrueDepth-camera die gezichten kan scannen. Net als de Meta Quest kan de nieuwe Apple-headset volledig meeslepende virtual reality uitvoeren, maar hij is ook in staat virtuele elementen te combineren met afbeeldingen van de echte wereld, net zoals het Google Glass-concept deed.
Maar waar Google Glass kijkers met minimale interferentie naar de echte wereld laat kijken, verandert de Apple Vision Pro-headset de wereld in wezen in een gigantisch scherm . In de headset bevinden zich twee 4K micro-OLED-schermen met maar liefst 23 miljoen pixels om de echte wereld buiten de drager als een virtuele na te bootsen. Al die camera’s, sensoren en schermen zorgen samen voor de kenmerkende functie van de headset, een functie die hem echt onderscheidt van eerdere slimme brillen: realtime passthrough-video .
Passthrough, die ook aanwezig is op de Meta Quest 3 , stelt de drager in staat de echte wereld te zien terwijl hij de bril draagt. Simpel gezegd lijken uw ogen dwars door de ondoorzichtige voorkant van de headset te gaan, zodat u de kamer waarin u zit kunt zien en zelfs met andere mensen kunt communiceren.
Het is ook een manier om een voorproefje te krijgen van die Google Glass-fantasie , waarbij je met je gezichtscomputer rond kunt lopen en naar een wereld kunt kijken met een handige digitale laag erop. Het grote probleem is natuurlijk dat niemand weet hoe naar de wereld kijken via een scherm, en alleen een scherm, je hersenen en je relatie met de samenleving kan verpesten.
Apple’s visie en de onvermijdelijke vervormingen ervan
Hoewel het verleidelijk is om filosofisch te worden en te praten over hoe dit Plato’s Allegorie van de Grot weerspiegelt , zijn er meer praktische vragen over wat de komst van de Apple Vision Pro zal betekenen voor de toekomst van de computer. Velen van ons maken al bijna voortdurend gebruik van computers – namelijk door onze nek uit te strekken om naar de wonderbaarlijke glasplaten te kijken die we smartphones noemen.
De smartphone bevrijdde het computergebruik van de computer en maakte er iets van dat we overal mee naartoe kunnen nemen. Ze hebben de manier waarop we de echte wereld zien en ermee omgaan al veranderd, zoals iedereen weet die iemand in zijn iPhone heeft zien verdwijnen. Dus als een radicaal nieuw apparaat, zoals een hoofdtelefoon of een bril, de dominante computertechnologie wordt, zal dit de manier veranderen waarop we de wereld zien. De vraag is hoe.
Een groep onderzoekers van het Virtual Human Interaction Lab van Stanford heeft geprobeerd het antwoord te achterhalen. De onderzoekers testten de Apple Vision Pro samen met een reeks andere headsets met passthrough-videomogelijkheden, waaronder de Meta Quest 3 . De onderzoekers onderzochten de psychologische impact van het leven in passthrough-video door deze headsets urenlang te dragen, en zich zelfs in het openbaar te wagen om dingen uit te proberen zoals fietsen of een maaltijd eten terwijl ze door een computer kijken.
Ze deelden hun bevindingen in een nieuw artikel dat klinkt als een waarschuwend verhaal voor iedereen die overweegt de Vision Pro ergens anders te dragen dan in de privacy van hun eigen huis.
Een groot probleem met de passthrough-videotechnologie is dat camera’s – zelfs camera’s die zo hightech zijn als die in de Vision Pro – niet zien zoals menselijke ogen zien. De camera’s introduceren vervorming en missen de opmerkelijk hoge resolutie waarmee onze hersenen de wereld kunnen zien. Wat dat betekent is dat alles er grotendeels echt uitziet, maar niet helemaal.
De Stanford-onderzoekers legden uit dat voorwerpen die zich dicht bij je gezicht bevinden er bij het passeren ongewoon groot uitzien, waardoor eten met een vork een echte nachtmerrie is. Dragers van hoofdtelefoons hadden ook de neiging afstanden te onderschatten, waardoor het indrukken van liftknoppen een leuk raadspelletje wordt. En omdat niets er helemaal goed uitziet, hadden dragers van hoofdtelefoons de neiging om voorzichtig en langzaam te bewegen tijdens het lopen. Je kunt je bijna voorstellen dat ze er altijd verloren en overweldigd uitzien.
De tijd die je besteedt aan het observeren van de wereld via de headset is niet het meest alarmerende deel van het experiment. Pas toen ze de koptelefoons afzetten, begonnen de geesten van de onderzoekers hen echt voor de gek te houden. Het menselijk brein kan zich over het algemeen aanpassen aan veranderingen in het gezichtsvermogen en elke vervorming effectief corrigeren, en het is mogelijk dat Apple software-updates kan pushen die het vervormingsprobleem oplossen.
Maar toen de koptelefoons afgingen, duurde het even voordat de hersenen van de onderzoekers weer normaal waren, waardoor ze afstanden opnieuw verkeerd inschatten. Velen meldden ook symptomen van simulatorziekte – misselijkheid, duizeligheid, hoofdpijn – die bekend zullen klinken voor iedereen die veel tijd heeft doorgebracht met het gebruik van een VR-headset.
Dan zijn er de sociale effecten. Terwijl het dragen van Google Glass in het openbaar tien jaar geleden belachelijk werd gemaakt , zullen headsets als de Meta Quest en, binnenkort genoeg, de Apple Vision Pro er bekender uitzien voor hedendaagse waarnemers. Je ziet niet dat mensen ze vaak in het openbaar dragen, maar dat is niet uitgesloten . De onderzoekers die probeerden te leven met headsets die passthrough ondersteunen, zeiden dat ze niet veel negatieve reacties kregen op wat ze deden.
In plaats daarvan voelden ze zich ongelooflijk zelfbewust toen ze door een bril door de wereld navigeerden, en sommigen ervoeren iets dat ‘sociale afwezigheid’ werd genoemd. De onderzoekers beschreven deze sensatie in de krant: “Mensen in de echte wereld voelden zich simpelweg minder echt. … In het openbaar zijn kan soms meer lijken op tv kijken dan op face-to-face interactie. Het was vaak gênant om met vreemden te communiceren terwijl je een headset droeg.”
Jeremy Bailenson, die het onderzoek leidde en de oprichter en directeur is van Stanford’s VHIL, heeft de afgelopen 25 jaar de psychologische effecten van virtuele en gemengde realiteit bestudeerd. Hij vindt niet dat deze technologie de hele dag of zelfs maar elke dag gebruikt moet worden, deels vanwege de sociaal isolerende werking ervan. Zijn laboratorium heeft een raamwerk ontwikkeld dat het DICE noemt. Dat is een acroniem voor “gevaarlijk, onmogelijk, contraproductief of duur” – de gebruiksscenario’s die het meest logisch zijn voor het gebruik van VR en mixed reality-technologie.
“Het trainen van brandweerlieden, het rehabiliteren van slachtoffers van een beroerte, het leren van kunstgeschiedenis via beeldhouwmusea, tijdreizen om de klimaatverandering te begrijpen zijn allemaal voorbeelden die precies passen in DICE,” vertelde Bailenson aan Vox. “Je e-mail checken, films kijken en algemeen kantoorwerk doen dat niet. Laten we het medium gebruiken als het zijn brood verdient.”
De onvermijdelijke groeipijnen van technologische processen
Afgezien van de grot van Plato is het duidelijk dat deze nieuwe toekomst van gezichtscomputers op praktisch niveau op zijn minst voor iedereen lastig zal zijn.
De Apple Vision Pro mag dan een wonder van modern industrieel ontwerp zijn, passend bij het prijskaartje van vier cijfers, maar hij ziet er nog steeds uit als een opzichtig setje skibrillen. Apple heeft zelfs geprobeerd om ze minder ongemakkelijk te laten voelen voor degenendie ze niet dragen met een functie genaamd EyeSight die de ogen van de drager laat zien op een display dat in de voorkant van de headset is ingebouwd, maar mensen vinden het nog steeds eng .
Ondertussen heeft Apple, in een poging om de headset minder omvangrijk te maken, hem voorzien van een externe batterij die mensen in hun zak moeten dragen, waardoor de outfit van de drager een beetje een cyborg-sfeer krijgt. Het is allemaal verre van natuurlijk.
David Lindlbauer, een professor die leiding geeft aan het Augmented Perception Lab aan de Carnegie Mellon Universiteit, betwijfelt of we in de nabije toekomst mensen in coffeeshops met hun vrienden zullen zien praten terwijl ze Vision Pro-headsets dragen. Het is gewoon vreemd om met iemand te praten wiens gezicht je niet volledig kunt zien.
“Sociaal gezien zijn we er niet aan gewend”, zei Lindlbauer. “En ik denk niet dat we zelfs maar weten of we ooit aan deze asymmetrie willen wennen in een communicatie waarin ik kan zien dat ik mezelf ben, me bewust ben van het apparaat, je gezicht kan zien, al je nabootsingen kan zien, allemaal je gebaren, en je ziet er maar een fractie van.”
Maar de situatie kan tijdelijk zijn. Laten we niet vergeten dat het nog niet zo lang geleden was dat draadloze oordopjes, waaronder Apple AirPods, ervoor zorgden dat mensen op straathoeken stonden en schijnbaar met niemand praatten, terwijl ze in werkelijkheid aan het telefoneren waren.
Als de hardware steeds beter en kleiner wordt , zien we misschien mensen op straathoeken staan met een gewone bril op, voor zich uit starend en met hun vingers in de lucht tikken omdat hun bril een digitale laag op de fysieke wereld projecteert. Ze kunnen op zoek zijn naar een vriend verderop in de straat terwijl ze tegelijkertijd een TikTok- video bekijken en met een stemassistent praten. Dat soort dingen zullen er zeker ongewoon uitzien als je het voor het eerst ziet.
Dit is nog steeds de grote droom voor computers. Google Glass is uiteindelijk niet het mixed reality-apparaat geworden dat de wereld heeft veranderd, maar je moet ervan uitgaan dat Apple miljarden investeert in mixed reality . Het zal waarschijnlijk jaren duren voordat de Vision Pro en zijn opvolgers net zo populair worden als de iPhone of iPad , maar op een dag wil Apple zien hoe mensen een headset gebruiken die je hele wereld in een computer verandert.
Dat is eigenlijk wat Apple Vision Pro belooft te doen. “Het tijdperk van ruimtelijk computergebruik is aangebroken”, zei Apple-CEO Tim Cook begin januari. De Vision Pro, zei hij, “zal de manier waarop we verbinding maken, creëren en ontdekken opnieuw definiëren.” Maar voorlopig is het addertje onder het gras dat hij die dingen waarschijnlijk alleen zal doen terwijl u in huis bent.
Mixed reality – of ruimtelijke computing of hoe je het ook wilt noemen – is nog steeds een experiment. Op een aantal niveaus zijn we er nog niet klaar voor. De hardware is er nog niet, anders zouden we geen zware skibrilvormige hoofdtelefoons hoeven te dragen en geen accu’s in onze zakken hoeven te dragen. Als de weergavetechnologie de resolutie van het menselijk gezichtsvermogen zou kunnen repliceren zonder vervorming of beperkingen, zouden we misschien alle negatieve gevolgen van passthrough-video kunnen vermijden.
De wereld zal ook moeten wennen aan het idee van gezichtscomputers, net zoals ze moest wennen aan het idee van personal computers, en net zoals wij nog steeds moeten wennen aan de alomtegenwoordigheid van smartphones. En onze hersenen zullen wat aanpassingen moeten doen om te begrijpen waar de virtuele wereld eindigt en de echte begint.
Verwacht dus nog niet dat je in het openbaar te veel mensen tegenkomt die Vision Pro-headsets dragen. Zelfs Apple lijkt het idee zachtjes te ontmoedigen. Het meeste promotiemateriaal voor de Vision Pro maakt het tot een productiviteitsapparaat (een manier om uw spreadsheets eruit te laten zien alsof ze in uw woonkamer staan) of een entertainmentsysteem (een manier om films in 3D te bekijken op schermen zo groot als je hele gezichtsveld, hoewel Netflix, YouTube en anderen geen apps gereed hebben wanneer de headset wordt gestart).
Het is dus vooral binnenspeelgoed. Tech-analist Benedict Evans merkte iets grappigs op in de video’s die Apple afgelopen zomer aan ontwikkelaars heeft vrijgegeven om te laten zien wat de Vision Pro kan doen: “Apple laat helemaal niet zien dat dit buitenshuis wordt gebruikt, ondanks de ogenschijnlijk perfecte doorvoer. Eén videoclip van Apple eindigt met iemand die hem neerlegt om naar buiten te gaan.”
Het zal nog een tijdje duren voordat we die magische headset krijgen, de lichtgewicht bril die een computerscherm op jouw wereld zet. Lindlbauer, hoogleraar aan Carnegie Mellon, denkt niet dat we over vijftien jaar nog steeds smartphones zullen gebruiken. Wat we zullen gebruiken zal spannender zijn, en hoe die technologie zal werken hangt af van wat mensen doen met gadgets als de Apple Vision Pro. Als mensen die de headset kopen er niet van houden om de wereld door een scherm te zien en de momenten van hun leven voorbij te zien vliegen als schaduwen op de muur van een grot, zal iemand gewoon iets beters moeten bouwen. En hopelijk goedkoper.