D’un robot invité à saisir mon téléphone du bureau à l’étage à un appareil qui aide une personne malvoyante à naviguer dans un métro inconnu, trouver leur chemin dans les rues simulées de New York et des agents qui naviguent dans des environnements intérieurs virtuels afin de répondre aux questions. L’objectif de Facebook est de développer une IA polyvalente et de la résolution de problèmes qui tire parti des progrès dans des domaines de la recherche traditionnellement distincts, tels que l’utilisation du traitement du langage naturel (PNL) pour communiquer avec des humains ou des agents, la vision par ordinateur (CV) pour percevoir des environnements simulés, et techniques d’apprentissage par renforcement (RL) qui permettent la prise de décision pour naviguer dans des espaces du monde réel.
La prochaine génération d’assistants alimentés par l’IA devra démontrer un large éventail de capacités. Les assistants virtuels devraient vous aider à vous souvenir des moments importants de votre journée, vous rappeler où vous avez laissé vos clés ou vous dire si vous oubliez un ingrédient dans une recette. La recherche Embodied AI de l’équipe Facebook AI Research nous rapproche de cette réalité.
Ils ont formé l’IA sur des ensembles de données pris du point de vue d’une personne pour imiter le monde réel et ont utilisé leur plate-forme de simulation 3D open source AI Habitat pour créer des agents virtuels plus intelligents. Semantic MapNet a enseigné à l’IA à créer des cartes descendantes (montrant où se trouve un objet) et des mémoires spatio-sémantiques (cartes mentales) à partir d’une personne pour permettre la navigation (par exemple aller au réfrigérateur) et répondre aux questions (par exemple, où ai-je laissé mes clés ?).
SoundSpaces est la première plate-forme d’agent virtuel qui inclut des informations visuelles et audio. Son acoustique est très réaliste, ce qui signifie que les agents peuvent désormais entendre, voir et naviguer vers une cible émettant du son comme un téléphone qui sonne quelque part dans votre maison. L’anticipation d’occupation permet aux agents IA d’explorer et de cartographier rapidement un espace inconnu, même lorsque les régions sont partiellement cachées, obstruées ou hors de vue (comme derrière une table). Contrairement aux systèmes de navigation traditionnels qui abordent la navigation point-objectif, l’agent de Facebook n’a pas besoin d’un pointeur vers l’emplacement de l’objectif.
Cela signifie qu’un agent peut désormais agir sur la commande vocale “aller chercher le téléphone qui sonne” plutôt que “aller au téléphone qui se trouve à 25 pieds au sud-ouest de votre position actuelle.” Il peut découvrir lui-même la position de l’objectif à l’aide de la détection multimodale.
Mike Schroepfer, CTO de Facebook, croit vraiment que la technologie est l’un de leurs meilleurs outils pour faire progresser Facebook vers quelque chose de plus rapide, moins cher et plus accessible pour plus de gens dans le monde. Améliorer la mémoire de milliards de personnes semble intimidant, mais cette technologie pourrait un jour faire exactement cela.
I really believe that technology is our one of our best tools for progressing society: faster, cheaper and more accessible for more people around the world. Improving the memory of billions of people sounds daunting, but this technology may one day do exactly that. (7/7)
— Mike Schroepfer (@schrep) August 22, 2020
Cette plate-forme contient les reconstructions 3D les plus photoréalistes d’environnements disponibles à ce jour devra avoir un plein impact sur l’AI Habitat, mais cela dépendra moins des mises à niveau que de son adoption. Au fur et à mesure que de plus en plus de chercheurs utiliseront la plate-forme, la communauté surprendra en donnant accès à davantage d’agents, de tâches et de stratégies prometteuses, ainsi qu’à des environnements actifs encore plus réalistes.
Ces efforts font partie de l’objectif à long terme de Facebook AI de créer des systèmes d’IA intelligents capables de penser, de planifier et de raisonner intuitivement sur le monde réel.