Publié le 4 novembre 2020.
Par La Rédaction

Détection des personnes de l’iPhone 12 Pro avec l’ARKit et lidar

Publié le 4 novembre 2020.
Par La Rédaction

Apple a inclus une nouvelle fonctionnalité d'accessibilité dans la version actuelle de la version bêta d'iOS 14.2 appelée détection de personnes. Entre le Lidat, l'ARKit et l'AI, l'iPhone devient beaucoup plus intelligent avec le monde qui l'entoure.

Le logiciel, qui est en fait un sous-ensemble d’une application  introduite avec iOS 10, qui utilise maintenant la réalité augmentée et l’apprentissage automatique pour détecter où se trouvent les humains et les objets dans l’espace. Le but de la détection de personnes est d’aider les utilisateurs aveugles et malvoyants à naviguer. Ce type d’application est particulièrement bien adapté au capteur LiDAR de l’iPhone 12 Pro. Le but est d’aider les malvoyants à comprendre leur environnement. Par exemple, savoir combien de personnes il y a dans la file d’attente à l’épicerie, à quelle distance on se tient à l’extrémité du quai à la station de métro, trouver un siège vide à une table. Un autre cas d’utilisation est celui de cette ère de distanciation sociale, la fonctionnalité peut vous dire si vous êtes à moins de 2 mètres d’une autre personne afin de maintenir la sécurité.

Comment sa marche ?

La détection de personnes utilise l’Occlusion des personnes dans ARKit et le scanner LiDAR sur l’iPhone 12 Pro et l’iPhone 12 Pro Max, ainsi que sur l’iPad Pro. Le scanner LiDAR mesure la distance entre l’appareil et les objets à moins de 4.5m, en temps réel. Ensuite, en combinant ces données et l’ARKit pour déterminer s’il y a des personnes dans le champ de vision, vous donnez un retour continu sur la distance de cette personne.

L’apprentissage automatique sur l’iPhone déterminera si l’objet de la caméra est une personne ou non. S’il s’agit d’une personne, le scanner LiDAR détermine à quelle distance se trouve cette personne (la personne la plus proche dans le champ de vision). Que vous restiez immobile ou que vous marchiez en avant, vous recevrez des commentaires sur la distance entre vous et cette personne. Cela fonctionne de manière statique et dynamique. Même si vous marchez vers une personne qui marche vers vous, loin de vous ou à un angle du côté droit ou gauche de vous.

4 usages

Les développeurs vont petit à petit s’approprier la technologie, en attendant voici 4 façons de tester cette détection de personnes

  • Lecture audio : Une lecture vocale de la distance de la personne en mètres.
  • Définition d’une distance d’interaction : Vous pouvez définir une distance (2m, par exemple) et recevoir deux tonalités audio différentes, selon que vous vous trouvez à l’intérieur ou à l’extérieur de cette distance.
  • Haptique : Une fois qu’une personne est détectée dans la caméra, elle envoie une impulsion haptique lente et basse. Plus la personne se rapproche, plus le pouls est rapide.
  • Lecture visuelle : Une lecture sur l’écran qui note à quelle distance se trouve la personne la plus proche, où elle se trouve par rapport à votre direction actuelle.

Vous pouvez utiliser chacun d’eux individuellement ou en combinaison les uns avec les autres, et cela fonctionne avec VoiceOver. S’il y a plusieurs personnes dans la vue de la caméra, celle-ci identifiera la personne la plus proche et ne passera à une nouvelle personne dès que cette personne ne sera plus dans la vue de la caméra. Lorsque vous définissez une distance de 2m, vous pouvez créer une sorte de barrière géographique autour de vous pour vous informer lorsque vous vous approchez trop de quelqu’un d’autre et vous envoyer une alerte indiquant que vous êtes à moins de 2m d’eux.

Pour activer la fonction : Accessibilité > Activer Loupe – Vous aurez ainsi une icône  Loupe dans les utilitaires (vous pouvez la chercher dans la recherche de l’iPhone)

Airpods pro

Apple se projette souvent dans les usages qui n’existent pas, mais qui vont être utilisés dans la vie numérique ! Par exemple, l’interface utilisateur de l’iPhone tire parti de la révolution voice first et continue de s’améliorer en ce qui concerne la façon dont un utilisateur peut accéder à Siri sans compter, l’Apple Watch, le Car Play, les Airpods,  qui rentre dans le jeu ! Ils ne sont plus simplement des écouteurs, mais font partie de l’interface utilisateur pour de nombreux usages.

Si vous utilisez AirPods Pro, vous pouvez profiter de Spatial Audio pour entendre dans l’oreille gauche ou droite lorsque quelqu’un est à gauche ou à droite de vous. Il fonctionne à l’intérieur et à l’extérieur, mais ne fonctionne pas dans des conditions de noir absolu ou de très faible luminosité en raison de l’intégration de LiDAR avec l’apprentissage automatique pour détecter si l’objet dans la vue est une personne ou non.

Apple ouvre cette technologie aux développeurs via ARKit, CoreML et Machine Learning afin que tout le monde puisse créer des types d’applications de détection similaires, comme la détection de voiture.

Lire aussi
Article abonné

Brèves nouvelles Emobility S0621

La révolution électrique est là et la façon dont nous naviguons dans le monde change à un rythme rapide. Nous suivrons les villes, stratégies,...