Cet épisode de 135 Grammes est autour du hardware et en particulier de la caméra embarquée dans votre smartphone. Nous ferons un zoom sur les premières pas de la caméra, les constructeurs du marché des capteurs d’images, de leurs usages, nous passerons en revue les avancées logicielle et hardware de cette pièce maitresse du téléphone mobile ! Et aussi comment certaines startups ont réussi à être intégrées par les géants de l’industrie mobile dans ce domaine.
Nous avons réussi, non sans mal, à avoir des témoignages de plusieurs entrepreneurs de talent qui ont participé à cette époque du démarrage de l’écosystème mobile est en particulier autour de la photo et de la vidéo. Nous avons eu les témoignages et histoires du constructeur avec William George chef de produit chez Samsung, Patrice Roulet, co-fondateur de Immervision, de Philippe Kahn et de Philippe Dewost
La technologie des caméras a toujours été une caractéristique centrale des usages sur les smartphones. L’un des premiers téléphones avec un appareil photo a été le Kyocera VP-210. L’annonce Visual Phone 210 a été couverte par CNN en mai 1999. Le téléphone avait un appareil photo 0,11 MP et pouvait prendre jusqu’à 20 photos avant que son stockage embarqué ne soit plein. Mais en fait, c’est le 11 juin 1997, jour où Philippe Kahn a créé la première solution d’un téléphone avec un appareil photo permettant de partager instantanément des images à environ 2 000 personnes par email. L’élan de cette invention a été la naissance de sa fille qu’il voulait saisir, comme tous les papas. Il a donc couplé un téléphone portable avec un appareil photo numérique et envoyé des photos en temps réel. En 2016, le Time Magazine a inclus cette première photo de téléphone avec un appareil photo dans sa liste des 100 photos les plus influentes de tous les temps. Ci-dessous, en vidéo, l’histoire racontée.
23 ans après, la caméra est devenue le plus grand différenciateur pour les marques de smartphones et tout le monde souhaitent que sa photo ou sa vidéo sur les réseaux sociaux soient la plus belle.
La photographie est l’art de la lumière et la quantité de lumière admise qui détermine ainsi la qualité. Plus les lentilles et les capteurs sont grands, plus la lumière peut être utilisée pour capturer l’image parfaite. Les modules de caméra sont des composants optoélectroniques très précis, qui contiennent des capteurs d’image, des ensembles d’objectifs, des actionneurs et des ensembles. Ils sont devenus des composants clés de l’industrie mobile, se développant dans un écosystème riche qui s’est développé et mûri après plus de vingt ans de développement. Il bénéficie actuellement d’un boom de la demande qui profite à presque tous les acteurs.
Mais alors comment sont construites les caméras des smartphones dans un espace aussi réduit ?
Elles ont plusieurs composants qui fonctionnent tous ensemble pour permettre des photos de grande qualité :
Les caméras ont besoin d’un objectif, celui-ci embarque plusieurs lentilles pour gérer les différentes distorsions, parfois jusqu’à 12 lentilles. La minceur du smartphone est aussi un facteur de progrès pour la caméra, ce qui a amené les concepteurs à utiliser la plus grande largeur et hauteur des téléphones en ajoutant des caméras supplémentaires à leurs conceptions. Le fait d’avoir plusieurs caméras a rendu possible un éventail de nouvelles fonctionnalités – zoom, meilleur HDR, modes portrait, 3D et photographie en basse lumière.
Si on parle du zoom, jusqu’à l’introduction et le succès commercial de l’iPhone 7 Plus d’Apple en 2016, le zoom avant sur un smartphone était presque toujours entièrement numérique.
Je pense qu’il est prudent de dire que presque tous les smartphones d’aujourd’hui peuvent gérer correctement un zoom numérique. C’est l’implémentation la plus basique, où vous recadrez essentiellement l’image pour donner l’impression que vous vous rapprochez de votre sujet. Cela fait le travail, mais ce n’est pas la solution la plus efficace, car le grossissement numérique entraîne souvent une perte de détails. Choisissez n’importe quelle image de votre galerie de photos et essayez de zoomer sur une zone spécifique. Vous allez alors remarquer que les détails et les textures ne sont soudainement pas aussi beaux qu’avant le zoom avant.
Puis il y a eu des tentatives avec des objectifs optiques, mais leur conception volumineuse fait que la plupart des modèles des constructeurs utilisent une conception à double objectif et capteur. En conséquence, les fabricants de téléphones n’ont pu atteindre qu’un zoom optique 2x ou 3x en utilisant l’orientation traditionnelle capteur-objectif dans un smartphone.
Lorsque vous appuyez sur le bouton 2x ou 3x dans votre application appareil photo, le téléphone bascule simplement sur le capteur de zoom ou de téléobjectif, à condition que votre smartphone le prenne en charge. Ce type de zoom offre généralement la meilleure qualité d’image. Si vous voulez aller au-delà de 2x et 3x, alors c’est là que le software et l’IA rentrent en jeu. Vous avez sûrement entendu parler de terme marketing comme Zoom spatial, Zoom hybride ou Zoom sans perte.
Les fabricants de smartphones ont cependant du résoudre plusieurs grands défis pour créer des modes Portrait crédibles. Les effets comme le flou naturel obtenu en utilisant des optiques à grande ouverture.
Les téléphones Pixel 2 et Pixel 3 de Google, par exemple, utilisent les doubles pixels de leurs capteurs Sony pour lire séparément les images des moitiés gauche et droite de ses pixels, créant essentiellement deux caméras virtuelles légèrement décalées. Les téléphones combinent ensuite une rafale d’images avec l’intelligence artificielle pour générer une profondeur plus précise, et enfin estomper l’arrière-plan.
Regardez cette vidéo pour découvrir comment utiliser Super Res Zoom pour prendre la meilleure photo, même de loin, très loin sur votre Google Pixel 4 avec le téléobjectif.
Il faut toujours améliorer les détails de l’image et parfois, on met 2 appareil photo. En 2019, le smartphone est passé à 2,8 caméras par smartphone. Depuis 2020, nous voyons trois caméras par smartphone comme l’iPhone 11 Pro d’Apple qui intègre une technologie de triple caméra 12MP (large, ultra-large et téléobjectif). Mais il existe aussi 4 caméras comme le Galaxy A51.
Le Huawei P20 Pro a vraiment lancé le bal pour le zoom assisté avec l’IA et des téléphones comme le Samsung Galaxy S20 Ultra qui sont à l’apogée de ce qui est possible, offrant un énorme zoom 100x.
Autre exemple, le nouveau smartphone 5G de Samsung se compose de cinq appareils photo, dont un appareil photo grand angle orienté vers l’arrière basé sur un capteur d’image de 108 mégapixels (MP). Une caméra dispose d’un capteur de temps de vol, qui est utilisé pour la reconnaissance des gestes et des objets 3D.
En tout cas, les caméras haute résolution ne sont pas synonymes nécessairement de meilleures photos. C’est une question de compromis entre la taille des pixels et la résolution. Comprenons que lorsque la résolution est supérieure à 40 MP et 50 MP, les capacités peuvent dépasser l’œil humain pour voir ce qu’elles capturent.
https://youtu.be/x0Kv_QRWR-I
La technologie des capteurs d’image CMOS (complementary metal-oxide-semiconductor) est l’œuvre de la NASA et de l’université de Pasadena dans les années 90. Cette technologie spatiale a été adoptée par les industries commerciales pour arriver plus tard dans nos smartphones. Les capteurs d’image CMOS, également appelés «yeux électroniques», sont un composant central semi-conducteur qui convertit la lumière en informations électroniques. Ils sont souvent connus pour leur utilisation dans les caméras de smartphones, mais sont également largement utilisés comme composants clés dans divers domaines tels que les caméras de sécurité, la conduite autonome de véhicules, les applications industrielles telles que l’automatisation d’usine et les applications médicales.
Selon Counterpoint, chaque smartphone livré au 1T20 contient en moyenne plus de 3,5 capteurs d’image. La tendance irréversible des configurations multi-caméras est à l’adoption généralisée des systèmes de détection 3D. Le segment des capteurs aura une croissance élevée atteignant un niveau record de 5 milliards d’unités en 2020. En 2019, les ventes de capteurs d’images ont atteint environ 18 milliards de dollars, en hausse de 30% par rapport à 2018. La bataille est autour de l’innovation pour la course à l’échelle des pixels, on parle alors d’ingénierie optique à l’échelle nanométrique.
Aujourd’hui, Sony est le plus grand fournisseur de capteurs d’image CMOS, suivi par Samsung et OmniVision. Les autres fournisseurs comprennent Sharp, ON Semi, STMicroelectronics, Panasonic, Canon, etc.
SONY
L’entreprise a un long héritage sur le marché des capteurs d’image et elle est à la pointe de la technologie des caméras mobiles depuis plusieurs années, elle a notamment aussi licencié son savoir-faire ponctuellement sur d’autres marques de smartphones comme LG, HTC, Samsung, Motorola, OnePlus, Huawei, Oppo. En 2015, elle a investi 3 milliards d’euros dans son outil industriel sur le sujet uniquement de la caméra. Elle maitrise les capteurs d’image CMOS empilés. Cette technologie a été produite en masse et commercialisée pour la première fois au monde sous forme de capteurs d’image CMOS multifonctionnels empilés. Les caméras pour smartphones de ces dernières années peuvent prendre en charge diverses scènes d’imagerie et se sont considérablement améliorées non seulement en termes de qualité d’image, mais également en termes de fonctionnalité et d’opérabilité. Il n’est pas exagéré de dire que les capteurs d’image CMOS empilés ont grandement contribué à ces avantages.
Sony a également développé la technologie PDAF (Phase Detection Auto Focus), cette technologie de mise au point automatique est l’un des principaux piliers de la photographie mobile, garantissant des captures nettes même sur des sujets en mouvement le plus rapide. Le HDR dans le capteur et des modes de prise de vue à haute vitesse pour ses capteurs, ces innovations qui contribuent à maintenir l’entreprise à la pointe du marché. Les semi-conducteurs sont désormais l’activité la plus rentable de Sony après la PlayStation dont 85% sont pour les capteurs d’images.
Sony a déclaré en mai qu’il contrôlait 51% du marché des capteurs d’images et visait une part de 60% d’ici 2025.
MaJ 10/08/2020 : La part de marché mondiale de Sony, qui a atteint 56,2% au troisième trimestre de 2019, est tombée à environ 42,5% au deuxième trimestre de 2020. La part de marché de Samsung, le deuxième fabricant mondial de capteurs d’image, est passée de 16,7% à 21,7%
SAMSUNG
Samsung est le n°2 du marché mondial des capteurs d’image CMOS dominée par Sony. En mai de l’année dernière, Samsung représentant moins de 20%. Pour le géant c’est stratégique, car à long terme, cela pourrait dépasser la rentabilité des puces mémoire dont il est le leader mondial. D’ailleurs, ils ont annoncé en début de cette année augmenter la production de leurs capteurs de presque 20%.
Samsung est à la pointe de l’innovation et ils ont toujours des annonces en préparation, il pourrait lancer sur le marché des capteurs CMOS pour les mobiles de 144 MP. Notez que le SoC de Snapdragon 865 récemment introduit par Qualcomm prend déjà en charge les capteurs 200MP.
OMNIVISION
OmniVision fournit des capteurs CMOS à moindre coût sur les marchés chinois et indiens en pleine croissance des smartphones, pour vous donner une idée, certains capteurs de chez Sony coûtent environ entre 7/10€ et chez Omniviso,n on est plutôt entre 3/5$.
TOSHIBA
Il était derrière l’impressionnant capteur de 41 mégapixels qui alimentait l’appareil photo du Nokia 808 PureView. Toshiba produit des capteurs de 13 et 8 mégapixels pour smartphones et dispose également d’un capteur de 20 mégapixels pour le marché haut de gamme. Comme Sony, Toshiba dispose de sa propre technologie de cartographie en profondeur 3D et de la technologie en mode lumineux pour améliorer la visibilité des vidéos au ralenti.
Quel sera l’avenir des caméras sur nos smartphones ? Sony recherche maintenant une nouvelle génération de capteurs capables de voir le monde en trois dimensions, la 3D. La société utilise une méthode appelée temps de vol (capteur ToF) qui envoie des impulsions laser invisibles et mesure le temps nécessaire pour rebondir afin de mesurer la distance aux objets. Cette technologie existe depuis quelques années dans l’industrie.
Cela aide les caméras mobiles à créer de meilleures photos de portrait en sélectionnant plus précisément l’arrière-plan à estomper, et il peut également être appliqué dans les jeux mobiles, où les personnages virtuels peuvent être affichés en interaction réaliste dans des environnements du monde réel. S’ils sont utilisés à l’avant du téléphone, les capteurs TOF permettent des gestes de la main et la capture des mouvements du visage pour les avatars animés. La présence d’un capteur ToF sur les iPhone 12 Pro et 12 Pro Max vient d’être confirmée par le code d’iOS 14, essentiel pour l’usage de la réalité augmentée.
La stabilisation optique de l’image (OIS) est une autre technologie critique pour la photographie, en particulier pour le téléobjectif, c’est pourquoi les joueurs recherchent également des innovations dans ce domaine, en utilisant de nouveaux matériaux, des MEMS ou une lentille liquide pour remplacer l’approche du moteur à bobine vocale (VCM).
Evolution du CMOS dans le smartphone – Yole Dev
Les caméras des derniers téléphones 5G sont devenues plus avancées. Ils commencent à incorporer des technologies utilisées dans les lidar pour la détection de profondeur par exemple pour cartographier en 3D de votre salon et permettre à une application comme celle d’Ikea de revoir votre intérieur de chez vous ! Mais le gaming, la réalité augmentée et la vidéoconférence vont voir des avancées majeures.
Omnivision offre une nouvelle technologie depuis 2017, NIR, qui est conçue pour les applications qui fonctionnent dans l’obscurité proche ou totale. Elle offre une amélioration de 25% du spectre de la lumière invisible.
L’innovation dans le domaine des capteurs d’images est en mouvement perpétuel notamment depuis que l’IA a débarqué dans le smartphone. Capturer était une chose, elle est désormais éclipsée par le traitement. C’est une réalité qui a débarqué avec l’iPhone 11 et Deep Fusion.
L’appareil photo du téléphone prend neuf photos (deux groupes de quatre, avant d’appuyer sur le déclencheur) et une exposition plus longue (au moment de la pression, avec différents réglages de l’obturateur). Il examine ensuite automatiquement ces photos, sélectionne les meilleures combinaisons et les compose pour la netteté avec une meilleure granularité.
Avec la photographie computationnelle, 95% de ce que vous photographiez n’est plus capturé, mais généré.
Les capteurs permettent aussi de déverrouiller votre smartphone, d’utiliser la visio-conférence, de faire des emojis….
2005
Le Nokia N90 embarque un capteur de 2 mégapixels avec une optique Carl Zeiss, autofocus et flash LED. On se souvient de son écran rotatif, qui lui a donné une sensation de caméscope.
2006
Sony Ericsson était le principal concurrent de Nokia dans la course aux caméras. Le Sony Ericsson K800i avait un appareil photo 3.2MP avec autofocus, la stabilisation d’image et un flash au xénon.
2007
Nokia récidive avec le Nokia N95, toujours avec optique Carl Zeiss, de 5 mégapixels avec autofocus, capable de prendre des vidéos à 30 images par seconde.
L’iPhone est arrivé sur le marché quelques mois après le N95, en juin 2007. Mais avec capteur caméra qui ne faisait que seulement 2 mégapixels, sans flash, ni autofocus, ni enregistrement vidéo. Prendre des images numériques avec un iPhone repose sur un principe simple : après déclenchement de l’obturateur, la lumière qui pénètre dans l’objectif est saisie par le capteur, puis numérisée.
2008-2010
On a eu droit par Samsung du premier 8 MP, le i8510. La course à l’amélioration des caméras dans les téléphones s’est un peu arrêtée lorsque les ventes des smartphones ont décollé.
2012
Il convient de mentionner que le premier téléphone avec appareil photo de 41 mégapixels de Nokia a été le PureView 808 au début de 2012. Le capteur 41MP a également ouvert la porte au zoom sur les smartphones, qui est l’une des fonctions qu’Apple a ramenées avec la technologie à double caméra sur l’iPhone 7 Plus en 2016. Sur Flickr, vous avez quelques photos prises à l’époque avec le PureView, zoomez (+) et regardez la qualité de la photo !
2020
Nous allons pouvoir enregistrer des vidéos à des résolutions 8K, la plus haute résolution que presque n’importe quel téléviseur, et plus élevée que de nombreux projecteurs de cinéma – ainsi que de créer des vidéos 4K HDR certifiées Dolby Vision, des premières pour tout appareil grand public.
La course à de meilleurs capteurs n’a cessé d’avancer pour arriver en 2020 à un mix bien établi entre capteur, processeur, logiciel et l’intelligence artificielle d’autant que les nouveaux smartphones qui vont arriver sur le marché dans les mois qui arrivent vont permettre à de plus en plus de personnes de tourner des films et de les traiter en temps réel dans des applications pour les poster dans un format Cinéma ! Tous les constructeurs travaillent à ce sujet en ce moment.
La photographie et la vidéo sur smartphone sont devenues incroyables. Mais on ne peut conclure sans parler des usages. En juillet 2020, plus de la moitié des habitants de la planète utilisent les réseaux sociaux. Et forcément, cela a un impact sur la production des photos et vidéo sur les smartphones. Et nous serons tous d’accord pour dire que la photo et la vidéo sont les usages qui sont les plus utilisés sur un smartphone, même si nous ne publions pas sur les réseaux sociaux. Les gens envoient des photos au lieu d’écrire, certainss le font en utilisant les techniques de photo et les fonctionnalités des applications, d’autres c’est juste pour être vu !
Lorsque je partage une photo sur Instagram, quelle est la résolution de l’image ? Ce sera la meilleure résolution possible (1 080 pixels de large maximum).
Les deux plates-formes les plus emblématiques qui utilisent la photo et la vidéo sont Instagram et TikTok.
Plus de 40 milliards de photos et de vidéos ont été partagées sur la plate-forme Instagram depuis sa conception. Plus de 500 millions des inscrits utilisent ce réseau social chaque jour avec une durée moyenne de 28 minutes.
https://www.instagram.com/p/BmgkRynjD-G/?utm_source=ig_web_copy_link
TikTok compte 800 millions d’utilisateurs actifs, En moyenne, les utilisateurs passent 52 minutes par jour sur TikTok – 68 % des utilisateurs regardent les vidéos d’autres personnes, tandis que 55 % importent leurs propres vidéos.
Bien sûr, la photo et la vidéo ne concernent pas seulement les réseaux sociaux, ils servent aussi à capturer des événements joyeux, dramatiques, à être les témoins d’une action. D’ailleurs, de nombreux journalistes utilisent le smartphone pour faire leur métier. L’un des plus grands changements apportés par l’invention du smartphone est la possibilité d’accéder instantanément à une image et de la partager immédiatement. Ce qui a permis le succès fulgurant du selfie et la mort de la vie privée.
Le nombre de photos que nous avons collectivement prises a doublé entre 2013 et 2017, passant de 6 milliards à 1200 milliards et 85% sont prises par un smartphone.
– Apple, Itunes : https://podcasts.apple.com/fr/podcast/135-grammes/id1478886858
– Deezer : https://www.deezer.com/fr/show/496572
– Spotify : https://open.spotify.com/show/2udvUp2tm8uko6I21aLsPJ
– SoundCloud : https://soundcloud.com/135grammes