Publié le 26 juin 2020.
Par La Rédaction

WWDC20 : nouvelles fonctionnalités d’ARKit avec iOS 14

Publié le 26 juin 2020.
Par La Rédaction

ARKit vous donne les outils pour créer des expériences de réalité augmentée qui changent la façon dont vos utilisateurs voient leur environnement. L'iPad Pro 2020 est le principal pilote de réalité augmentée !

En utilisant la caméra de l’appareil pour présenter le monde physique à l’écran en direct, votre application superpose des objets virtuels tridimensionnels, créant l’illusion que ces objets existent réellement. Les utilisateurs peuvent réorienter l’appareil pour explorer les objets sous différents angles, interagir avec les objets à l’aide de gestes et de mouvements, et même rejoindre d’autres personnes dans des expériences AR multi-utilisateurs.

Certains des outils ARKit incluent le suivi de mouvement de l’appareil, la capture de scènes par la caméra et le traitement de scène avancé qui contribuent tous à simplifier la tâche de création d’une expérience de réalité augmentée réaliste et immersive. L’ARKit, c’est le couplage d’API comme le fait de permettre le positionnement du contenu virtuel par rapport à votre localisation. Mais aussi avec l’aspect matériel des appareils comme le nouveau capteur LiDAR qui apporte à l’ARKit la géométrie de votre scène.

La capture de mouvement est possible avec un seul appareil iOS et l’occlusion des personnes rend le contenu AR encore plus immersif, car les gens peuvent marcher juste devant un objet virtuel.

Il y a 5 grands défis que l’AR doit conquérir pour que les consommateurs se l’approprient en masse

Localisation – location anchors

L’un des défis est de rendre l’expérience AR la plus immersive possible dans votre contexte, la rue, votre salon, un magasin…

Vous pouvez commencer simplement une expérience AR en plaçant du contenu autour de vous. Parmi les nouveautés, les expériences multi-utilisateurs, ce qui permettra à votre contenu AR d’être partagé avec un ami à l’aide d’un device séparé pour rendre les expériences sociales. Les développeurs vont pouvoir désormais placer des objets virtuels et créer des expériences AR en spécifiant une latitude, une longitude et une altitude.

ARKit va prendre vos coordonnées géographiques ainsi que les données cartographiques haute résolution d’Apple Maps pour les placer dans un emplacement spécifique. L’ensemble de ce processus est appelé localisation visuelle, et il localisera précisément votre appareil par rapport à l’environnement environnant avec plus de précision que ce qui pouvait être fait auparavant avec le seul GPS. ARKit prend également en charge la fusion du système de coordonnées local avec le système de coordonnées géographiques.

Tout cela est possible grâce aux techniques avancées d’apprentissage automatique fonctionnant directement sur votre smartphone. Il n’y a aucun traitement dans le cloud et aucune image renvoyée à Apple. Une fois votre expérience AR créée, tous ceux qui utiliseront l’application pourront profiter de la création virtuelle au même endroit et de la même manière.

Comment cela fonctionne-t-il ?

Lorsque vous utilisez le suivi géographique, vous téléchargez toutes les données cartographiques détaillées d’Apple Maps autour de votre emplacement actuel. Une partie de ces données est une carte de localisation qui contient des points caractéristiques de la zone environnante qui peuvent être vus de la rue.

Ensuite, avec la carte de la localisation, votre position actuelle et les images de votre appareil, Apple utilise le machine learning pour localiser visuellement et déterminer la position de votre smartphone. Tout ceci est bien sûr transparent pour l’utilisateur. ARKit a toujours demandé l’autorisation de la caméra, mais une autorisation de localisation est nécessaire pour effectuer le suivi géographique.

Sachez que les coordonnées peuvent provenir de n’importe quelle source, du bundle d’applications d’Apple, de votre backend Web ou de n’importe quelle base de données. Une autre façon de créer “l’ancre d’emplacement” (location anchor) est via l’interaction avec l’utilisateur. Apple permettra sûrement dans l’avenir aux utilisateurs de toucher l’écran pour enregistrer leur propre point d’intérêt comme ils le font sur Plan avec les repère.

Pour l’instant, les emplacements qui permettent des créations AR sont ouverts sur la baie de San Francisco, New York, Los Angeles, Chicago et Miami, avec plus de villes à venir pendant l’été.

API disponibles dans iOS14

Elles sont nombreuses. Par exemple, depuis l’ARKit 3.5, Apple a introduit l’API de géométrie de l’emplacement (scene geometry) optimisée pour le scanner LiDAR sur le nouvel iPad Pro. Le LiDAR projette de la lumière sur l’environnement et recueille ensuite la lumière réfléchie par les surfaces de la scène. La profondeur est estimée en mesurant le temps qu’il a fallu à la lumière pour passer du LiDAR à l’environnement et se refléter vers le scanner. Ce processus s’exécute des millions de fois par seconde.

Cela offre la possibilité de créer des expériences AR plus riches où les applications peuvent désormais télécharger des objets virtuels avec le monde réel ou utiliser le monde physique pour permettre des interactions réalistes entre les objets virtuels et physiques. Le placement d’objets dans ARKit 4 est plus précis et plus rapide, grâce au scanner LiDAR.

Il y a aussi FaceTracking qui permet de détecter des visages dans l’expérience AR de la caméra frontale, de superposer du contenu virtuel sur le visage et d’animer des expressions faciales en temps réel pour faire par exemple des emoji. C’est pris en charge sur tous les appareils avec la caméra TrueDepth. Désormais, avec ARKit 4, c’est étendu aux devices sans caméra TrueDepth, à condition qu’ils disposent d’un processeur bionique Apple A12, comme l’iPhone SE.

Commerce

Il est évident que c’est un enjeu majeur pour Apple de montrer la valeur de l’AR pour le commerce. Le géant souhaite donner une nouvelle dimension aux achats en ligne comme par exemple des expériences “essayez avant d’acheter” en intégrant des actions personnalisées comme «ajouter au panier» et le checkout avec ApplePay.

C’est avec AR Quick Look que vous allez pouvoir afficher des fichiers USDZ d’objets virtuels en 3D ou en AR sur l’iPhone et l’iPad. Vous pouvez alors intégrer des vues Quick Look dans vos applications et sites Web pour permettre aux utilisateurs de voir des rendus d’objets incroyablement détaillés dans un environnement réel avec prise en charge notamment de la lecture audio.

 

Lire aussi
Article abonné

Brèves nouvelles Tech S27

Voici notre veille Tech de la semaine qui couvre les grandes marques, les smartphones, les applications, la réalité augmentée, virtuelle,...