Musique sur mobile : Stemz révolutionne le mix audio avec l’IA

Séparer voix, batterie ou instruments d’un morceau en temps réel, sur smartphone ? Avec Stemz, MWM transforme un exploit technique en outil grand public, 100 % local, rapide et respectueux de la vie privée.

Une prouesse technologique née chez MWM

Il y a encore quelques années, isoler la voix ou la batterie d’un morceau relevait presque de la science-fiction pour l’utilisateur lambda. Désormais, grâce à Stemz, il suffit d’un smartphone pour séparer en quelques secondes les différentes pistes d’une chanson. L’application, conçue par l’équipe de MWM, s’inspire des « stems », ces fichiers utilisés en studio pour manipuler indépendamment chaque élément sonore. Ce bouleversement ne doit rien au hasard : il s’appuie sur une longue tradition d’innovation technique portée par la société française fondée en 2009 par deux ingénieurs férus d’audio.

Leur premier succès, avec edjing Mix, avait déjà attiré l’attention : synchronisation parfaite des BPM, traitement audio temps réel… et près d’un milliard de téléchargements plus tard, la jeune pousse s’imposait comme un acteur incontournable du secteur.

Sous le capot : l’intelligence artificielle à l’œuvre

La prouesse de Stemz, lancée début 2023, réside dans sa capacité à opérer une séparation audio instantanée directement sur mobile – un défi longtemps réservé aux puissants ordinateurs équipés de GPU haut de gamme. Pour comprendre le chemin parcouru : imaginez devoir dissocier le sel du sucre après qu’ils ont été mélangés dans un verre d’eau ; c’est peu ou prou le travail confié aux algorithmes IA tels que U-Net ou Demucs.

Mais là où les outils traditionnels mettent plusieurs minutes, Stemz agit quasiment sans latence grâce à une série d’optimisations pointues : quantification drastique des modèles, usage intensif de TensorFlow Lite et une architecture dédiée aux processeurs ARM. Le parcours technique est jalonné d’étapes-clés :

• décodage du fichier audio en PCM ;
• transformation FFT qui décompose les fréquences ;
• application de masques IA pour isoler voix ou instruments ;
• reconstruction finale via une FFT inversée.

En quelques millisecondes seulement, la magie opère dans votre poche et tout se passe localement.

Des défis relevés et des choix assumés

Concevoir une telle application soulève des obstacles majeurs. D’abord, il faut dompter la latence : le traitement parallèle CPU-GPU accélère jusqu’à vingt fois le calcul. Ensuite vient la gestion mémoire, solutionnée par le streaming en « chunks » et des buffers circulaires réduisant drastiquement l’espace utilisé. Autre casse-tête : préserver l’autonomie sans sacrifier la qualité  de l’app Stemz module intelligemment sa consommation selon l’état de la batterie.

L’hétérogénéité du parc mobile n’a pas été oubliée : que vous disposiez d’un iPhone dernier cri ou d’un Android bon marché, l’app adapte ses performances automatiquement. Enfin, question primordiale aujourd’hui : tout est traité en local afin de garantir une confidentialité totale des données utilisateurs.

L’humain derrière l’innovation

Toute cette avancée n’aurait jamais vu le jour sans le savoir-faire de l’équipe MWM. Ici, soixante pour cent des effectifs sont des ingénieurs – loin du cliché du « tech bro ». Le perfectionnisme est palpable jusque dans les détails : optimisation sur appareils entrée de gamme, tests répétés sur une multitude de smartphones… Et si Martin Solveig, DJ international et investisseur chez MWM, utilise Stemz au quotidien, c’est bien la preuve que technologie et exigence peuvent rimer avec simplicité.

En définitive, derrière chaque révolution IA comme Stemz se cache surtout un collectif passionné prêt à transformer un défi technologique en expérience accessible à tous – là réside sans doute la vraie innovation.

Le Podcast