Chaque voiture est équipée de son propre téléphone Pixel, qui a utilisé son appareil photo pour détecter et comprendre les signaux du monde qui l’entoure. Afin de détecter les voies, d’éviter les collisions et de lire les panneaux de signalisation, le téléphone utilise l’apprentissage automatique fonctionnant sur le Pixel Neural Core , qui contient une version d’un Edge TPU qui est un ASIC conçu sur mesure par Google pour exécuter des solutions d’IA à la périphérie du réseau. Il offre de hautes performances avec un minimum d’encombrement et de consommation énergétique, et permet le déploiement de solutions d’IA haute précision à la périphérie du réseau. Le traitement de la vidéo et la détection d’objets sont beaucoup plus difficiles à utiliser à l’aide de méthodes basées sur le cloud – en raison de la latence. Si vous le pouvez, le faire sur l’appareil est beaucoup plus rapide.
L’Edge computing est un paradigme informatique distribué qui rapproche le calcul et le stockage des données de l’endroit où ils sont nécessaires, pour améliorer les temps de réponse et économiser la bande passante. Les utilisateurs peuvent interagir avec Pixelopolis via une «station» (une application fonctionnant sur un téléphone), où ils peuvent sélectionner la destination vers laquelle la voiture se rendra. La voiture se dirigera vers la destination, et pendant le trajet, l’application affiche la vidéo en streaming en temps réel de la voiture, cela permet à l’utilisateur de voir ce que la voiture voit et détecte. Pixelopolis a également un support multilingue intégré.
En utilisant la caméra frontale sur un appareil mobile, nous effectuons le suivi de voie, la localisation et la détection d’objets directement sur l’appareil en temps réel. Non seulement cela, dans notre cas, le Pixel 4 contrôle également les moteurs et autres composants électroniques via USB-C, de sorte que la voiture peut s’arrêter lorsqu’elle détecte d’autres voitures ou tourner à une intersection à droite quand elle en a besoin.
Les équipes de google on du construire le code, un modèle, la collecte des données, entraîner le modèle ML, créer des situations plus complexes pour la voiture comme l’ajout de plusieurs intersections aux voies, étiquetage et simulation des données… mais aussi la structure physique de la voiture avec sa coque, les roues, sa batterie, la carte de développement…
La détection d’objets à deux fins : L’un est pour la localisation. Chaque voiture a besoin de savoir où elle se trouve dans la ville en détectant des objets dans son environnement (dans ce cas, nous détectons les panneaux de signalisation dans la ville). L’autre objectif est de détecter d’autres voitures, afin qu’elles ne se heurtent pas.
Si vous êtes vraiment passionné par la construction de voitures autonomes et que vous souhaitez en savoir plus sur la façon dont l’apprentissage automatique et l’apprentissage profond alimentent l’industrie du véhicule autonome, consultez le programme Nanodegree de voitures autonomes de Udacity.
Les Google Pixel 4 et Pixel 4 XL disposent des meilleures fonctionnalités logicielles et caméras de la société, qui sont possibles en partie grâce à l’inclusion du Pixel Neural Core. Cette petite puce se trouve à côté du processeur principal du Pixel 4 pour exécuter efficacement les puissantes charges de travail d’apprentissage automatique de Google. Celles-ci vont du traitement d’image à la reconnaissance vocale et aux capacités de transcription.
Contrairement à un processeur traditionnel conçu pour gérer un large éventail de tâches de calcul, les processeurs d’apprentissage automatique (NPU), comme le Neural Core, sont optimisés pour quelques tâches mathématiques complexes spécifiques. Cela les rend plus comme des processeurs de signaux numériques (DSP) ou des unités de traitement graphique (GPU), mais optimisés pour les opérations spécifiques utilisées par les algorithmes d’apprentissage automatique. Le Neural Core accélère les algorithmes d’image et de voix qui fonctionnent moins efficacement sur un CPU ou un GPU.
Le matériel d’apprentissage automatique devient rapidement la pierre angulaire des capacités phares de l’image, de la vidéo et de l’intelligence artificielle des smartphones.
