Un journaliste US a passé une heure passionnante à discuter avec deux dirigeants d’Apple, John Giannandrea, vice-président principal d’Apple pour l’apprentissage automatique et la stratégie d’IA, ainsi que Bob Borchers, vice-président du marketing produit de la stratégie de l’entreprise et des implications en matière de confidentialité de toutes les nouvelles fonctionnalités basées sur l’IA et le ML. (Giannandrea et Borchers ont tous deux rejoint Apple au cours des deux dernières années, chacun a déjà travaillé chez Google.)
Les fonctionnalités basées sur l’intelligence artificielle dominent de plus en plus les keynotes où les dirigeants d’Apple prennent la parole pour introduire de nouvelles fonctionnalités pour les iPhone, les iPad ou l’Apple Watch. L’introduction de Mac avec Apple Silicon plus tard cette année apportera également de nombreux développements de l’intelligence artificielle aux ordinateurs portables et de bureau de la société.
L’article US passe en revue 6 thèmes :
Résumé succinct de la stratégie d’intelligence artificielle de l’entreprise selon John Giannandrea :
“I think that Apple has always stood for that intersection of creativity and technology. And I think that when you’re thinking about building smart experiences, having vertical integration, all the way down from the applications, to the frameworks, to the silicon, is really essential… I think it’s a journey, and I think that this is the future of the computing devices that we have, is that they be smart, and that, that smart sort of disappear.”
(“Je pense que Apple a toujours été à cette intersection de la créativité et de la technologie. Et je pense que, en ce qui concerne la conception d’expériences intelligentes, avec une intégration verticale, jusqu’aux applications, aux frameworks, à la puce, est vraiment essentiel… Je pense que c’est un voyage, et je pense que c’est le futur de l’informatique qui nous attend, les appareils seront intelligents, et cette intelligence évolue.”)
Il existe de nombreux exemples d’apprentissage automatique utilisés dans les logiciels et les appareils Apple, la plupart d’entre eux étant nouveaux au cours des deux dernières années. Les consommateurs utilisent mais c’est transparent !
L’apprentissage automatique est utilisé pour aider le logiciel de l’iPad à faire la distinction entre un utilisateur appuyant accidentellement sa paume contre l’écran tout en dessinant avec l’Apple Pencil et une pression intentionnelle destinée à fournir une entrée. Il est utilisé pour surveiller les habitudes d’utilisation des utilisateurs afin d’optimiser la durée de vie et la charge de la batterie de l’appareil, à la fois pour améliorer le temps que les utilisateurs peuvent passer entre les charges et pour protéger la viabilité à long terme de la batterie. Il est utilisé pour faire des recommandations d’application.
L’apprentissage automatique pilote plusieurs aspects de Siri, de la reconnaissance vocale aux tentatives de Siri d’offrir des réponses utiles.
Les propriétaires d’iPhone avertis peuvent également remarquer que l’apprentissage automatique est à l’origine de la capacité de l’application Photos à trier automatiquement les images dans des galeries prédéfinies ou à vous donner avec précision les photos d’une amie nommée Jane lorsque son nom est entré dans le champ de recherche de l’application.
Par exemple, votre iPhone peut prendre plusieurs photos en succession rapide chaque fois que vous appuyez sur le déclencheur. Un algorithme entraîné par ML analyse ensuite chaque image et peut composer ce qu’il considère comme les meilleures parties de chaque image en un seul résultat. Les téléphones incluent depuis longtemps des processeurs de signal d’image (ISP) pour améliorer la qualité des photos numériquement et en temps réel, mais Apple a accéléré le processus en 2018 en faisant travailler l’ISP de l’iPhone en étroite collaboration avec Neural Engine.
Il est difficile de trouver une partie de l’expérience où vous ne faites pas de travail prédictif. Comme, les prédictions d’applications, ou les prédictions de clavier, ou les appareils photo de smartphone modernes font une tonne d’apprentissage automatique dans les coulisses pour comprendre ce qu’ils appellent “Saliency”, qui montre entre autres quelle est la partie la plus importante de l’image.
Il y a deux enjeux : la privacy et la performance ! Il est préférable d’exécuter le modèle près des données, plutôt que de déplacer les données. Et que ce soit des données de localisation, comme ce que vous faites [ou] des données d’exercice, ce que fait l’accéléromètre dans votre téléphone. Il est préférable d’être proche de la source des données, et donc de préserver la confidentialité.
Si vous envoyez quelque chose à un centre de données, il est vraiment difficile de faire quelque chose à la fréquence d’images. Par conséquent, nous avons de nombreuses applications dans l’App Store qui font des choses, comme l’estimation de la pose, déterminer les déplacements de la personne ou identifier où se trouvent leurs jambes et leurs bras, par exemple. C’est une API de haut niveau que nous proposons. Exemple : Vous prenez une photo et les instants avant de prendre une photo avec l’appareil photo, l’appareil photo voit tout en temps réel. Cela peut vous aider à décider du moment où prendre une photo. Si vous vouliez prendre cette décision sur le serveur, vous devriez envoyer chaque image au serveur pour prendre une décision sur la façon de prendre une photo. Cela n’a aucun sens !
La puce personnalisée d’Apple, en particulier la puce Apple Neural Engine (ANE) incluse dans les iPhone depuis l’iPhone 8 et l’iPhone X, est une condition préalable à ce traitement sur l’appareil. Le Neural Engine est une unité de traitement neuronal octa-core (NPU) conçue par Apple pour gérer certains types de tâches d’apprentissage automatique.