Project Soli (annoncé en 2015) est un système de contrôle gestuel qui permettrait aux utilisateurs d’interagir avec les appareils à distance. Il utilise les ondes radar émises par l’appareil pour détecter l’emplacement des mains de l’utilisateur en fonction de la façon dont les ondes sont renvoyées vers le téléphone. En d’autres termes, vous pourriez bientôt faire des signes avec vos mains à votre téléphone.
Les commandes gestuelles peuvent donner à Android un avantage sur iOS d’Apple, mais peut-être plus important encore, cela pourrait donner à Google un second mécanisme, au-delà de la voix pour unifier les commandes sur les téléphones mobiles, sur la TV, dans l’automobile…
Le marché mondial de la reconnaissance des gestes devrait atteindre 30,6 milliards USD d’ici 2025. Il devrait afficher un TCAC de 22,2% de 2018 à 2025
Comme la voix, la montée en puissance de l’électronique grand public et de l’Internet des objets, associée à un besoin croissant de confort et de commodité dans l’utilisation des produits, stimule la croissance du marché de la reconnaissance des gestes. Dans nos vies quotidiennes, nous voyons plusieurs gestes de la main qui sont fréquemment utilisés à des fins de communication. La reconnaissance des gestes de la main est l’un des domaines de recherche avancés, qui offre un moyen d’interaction homme-machine. La reconnaissance des gestes manuels constitue une méthode intelligente d’interaction homme-machine (IHM).
Les entreprises qui ont développé les technologies autour des gestes sont présentes depuis de nombreuses années sur le MWC et font la démonstration que les gestes peuvent être utiles dans l’usage d’un smartphone et des autres devices ! Dés 2008, nous avions rencontré gesturetek qui proposer déjà des choses extraordinaires pour l’époque, voir la vidéo ci-dessous. Depuis, ils sont devenus les pionniers de la révolution du contrôle gestuel vidéo pour les surfaces immersives contrôlées dans de nombreux secteurs comme les jeux vidéos, la santé… Ils ont déposé de nombreux brevets sur le sujet comme ScreenFX qui permet lorsque les gens passent devant un écran dynamique, ils remarquent immédiatement les mouvements, créant de façon magique des changements étonnants dans le contenu graphique !
Le marché est instable et connaît une concurrence féroce, entraînant par conséquent un nombre élevé de fusions et d’acquisitions. Par exemple, Intel a acquis Omek Interactive. Certains des principaux acteurs du marché sont Apple, Intel, Microsoft et Google. Outre les géants mondiaux, les acteurs locaux et régionaux affichent également une croissance phénoménale et attirent de gros investisseurs. Ce scénario a porté la concurrence à un tout autre niveau.
– https://www.oblong.com/
– Elliptic Labs
– crunchfish
– eyesight-tech
En 2010, les équipes de Design Nokia effectuent des recherches auprès de la population locale pour comprendre, connaitre comment ils utilisent les gestes pour certaines tâches avec leurs mobiles qui embarquent de nouveaux capteurs ! La façon de vivre d’un Londonien et d’un Afghan n’est pas tout à fait la même et les gestes utilisés avec son mobile ne sont pas les mêmes.
En 2013, Le Galaxy S4, Smartphone de Samsung embarqué 2 capteurs infrarouges de chaque côté de l’écouteur pour la gestion d’Air view et Air gesture. Les deux fonctions permettaient d’avoir de l’information en pointant du doigt, obtenir un pop-up de vos rendez-vous pour la journée en survolant le calendrier autre utilisation utiliser des gestes pour changer des morceaux de musique, accepter des appels téléphoniques, et se déplacer rapidement vers le bas ou le haut d’un site web.
Il y avait aussi Smart Croll pour faire défiler une page Web ou vos e-mails sans toucher à l’écran, par la simple détection de votre regard et du mouvement de votre poignet. Cette dernière est beaucoup plus naturelle.Smart Pause, cette fonctionnalité vous permet de contrôler l’écran par le regard qui capte l’attention de vos yeux. Quand vous visionnez une vidéo, celle-ci se mettra en pause si votre regard se détourne de l’écran et la lecture reprendra dès que vous le regardez de nouveau.
– Contrôle des gestes sans contact par ultrasons dans vos Smartphones
– L’avenir des iPhones : UI gestures & écran incurvé ?
Par exemple la surcouche de Huawei avec EMUI 9.1 prend en charge de nombreux mouvements déployée à partir de la mi-juillet 2019 (déjà actif sur la gamme P30), et propose ainsi une expérience utilisateur enrichie grâce à l’arrivée d’Android 9 sur 24 modèles de smartphones lancés entre 2016 et 2019
Les contrôles par des gestes fantaisistes ont leurs limites, mais heureusement, Huawei les a tous réunis au même endroit afin que vous puissiez facilement désactiver ceux qui sont inutiles. Sous Paramètres> Assistance intelligente> Contrôle des mouvements, vous trouverez 6 gestes. Voici une liste des gestes et une brève description de ce qu’ils font :
– Flip pour mettre en sourdine les appels entrants, les minuteries et les alarmes
– Décrochez votre téléphone pour réduire le volume de la sonnerie des appels, le volume des minuteries et des alarmes ou pour le réactiver
– Portez votre téléphone à votre oreille pour répondre à un appel entrant, lancer un appel téléphonique ou basculer sur l’écouteur si le son en cours d’appel est actuellement acheminé via le haut-parleur ou le casque Bluetooth.
– Prenez une capture d’écran en plein écran en frappant deux fois sur l’écran avec l’un de vos doigts, prenez une capture d’écran partielle en traçant un cercle avec votre jointure, prenez un enregistrement d’écran en frappant à l’écran avec deux doigts, ou prenez une capture d’écran en défilement en dessinant un S avec une jointure
– Lancez une application de votre choix en traçant les lettres C, E, M ou W avec vos doigts lorsque l’écran est allumé.
– Activez le mode multi-fenêtres sur écran partagé en traçant une ligne sur l’écran avec un joint d’articulation.
Annoncé sur le MWC, le LG G8 ThinQ a été lancé avec les gestes Air Motion. Air Motion est conçu pour vous permettre d’utiliser différentes positions des mains, formes et gestes pour effectuer des tâches telles que ouvrir des applications, contrôler la lecture de contenus multimédias, prendre des captures d’écran, répondre à des appels téléphoniques, désactiver les alarmes, etc….
Quelles sont les implications de la technologie de suivi de mouvement et de reconnaissance des gestes sur la conception des interfaces ? Ce qu’avait fait Nokia en 2010 d’étudier les comportements est l’une des clés ! Pour créer des applications réussies intégrant des gestes, les concepteurs devront sortir du paradigme existant, observer et intégrer la manière dont les utilisateurs bougent naturellement les bras et les mains et créer des interfaces bien adaptées aux mouvements humains.
Si vous êtes sur des écrans plus grands comme la TV, les interfaces gestuelles nécessitent de manière inhérente l’utilisation de nos mains et de nos doigts pour contrôler les objets sur un écran. Alors, avons-nous également besoin d’un curseur pour indiquer à l’utilisateur et dans quel contexte il se trouve ?
Il faut aussi garantir que l’utilisateur reste dans le champ de vision actif de la caméra pour permettre une zone d’interaction efficace. Le contenu devra être amélioré pour prendre en charge l’affichage d’objets de tous les côtés. Les concepteurs vont pouvoir créer des expériences plus attrayantes pour leurs utilisateurs en tirant parti de cette nouvelle façon de s’engager avec du contenu. La reconnaissance des gestes offre des possibilités sans fin de redéfinir complètement la façon dont nous interagissons avec nos devices.
Alors que la pandémie de COVID-19 se poursuit, 80% des personnes pensent maintenant que les écrans tactiles publics ne sont pas hygiéniques et que les lieux doivent s’adapter. Ultraleap a présenté une application TouchFree pour permettre aux entreprises de moderniser les bornes et les écrans tactiles existants. En utilisant le module caméra et le logiciel de suivi des mains parallèlement à l’application, le contrôle gestuel sans contact peut être ajouté à n’importe quel écran pour créer une alternative hygiénique.
TouchFree est conçu pour fonctionner de manière invisible au-dessus des interfaces utilisateur existantes sans avoir besoin de modifier les interfaces et la conception existantes, ce qui signifie que les temps d’arrêt pour la modernisation sont minimisés, les interactions restent familières et le système reste facile à utiliser pour les consommateurs.
Dans un autre registre ce sont les campagnes publicitaires “Touchless campaign” qui sont possible avec plus d’interactivité, ce qui permet de donner au public la confiance d’interagir
