Un commit qui change tout dans le petit monde de FFmpeg vient d’atterrir sur leur Git : L’intégration native de Whisper. Mais siii, vous savez, cette IA de reconnaissance vocale open source d’OpenAI. Eh bien maintenant, elle débarque directement dans votre outil de traitement vidéo favori.

Alors, ça veut dire quoi en français ? Et bien plus besoin de jongler entre plusieurs outils pour transcrire une vidéo. Terminé le bon vieux temps où il fallait extraire l’audio, le balancer dans un script Python avec Whisper, récupérer la transcription, la formater en SRT, puis la réinjecter dans FFmpeg.

Maintenant, tout se fait d’un coup avec une seule ligne de commande.

Le commit responsable de cette petite révolution, c’est celui de Vittorio Palmisano, daté du 17 juillet dernier et intégré par Michael Niedermayer le 8 août. Ce développeur a créé en fait un filtre audio qui s’appuie sur whisper.cpp, la version optimisée de Whisper qui tourne comme une bombe sur CPU et GPU.

Ce qui est particulièrement malin dans cette intégration, c’est le paramètre “queue” qui vous permet de doser entre rapidité et qualité. Avec une valeur de 3 secondes par défaut, vous avez une transcription qui se met à jour fréquemment mais avec une précision correcte. Si vous poussez à 10-20 secondes, la qualité monte d’un cran mais vous sacrifiez la réactivité. Un compromis classique, mais au moins vous avez le choix.

Pour les gros volumes, il y a même le support GPU pour décharger le boulot de transcription sur votre carte graphique. Et si vous voulez être encore plus précis, vous pouvez activer la VAD (Voice Activity Detection) qui va découper intelligemment votre audio selon les pauses dans la parole.

Le filtre peut sortir directement en format SRT pour vos sous-titres, mais aussi en JSON si vous voulez envoyer le résultat vers un service web, ce qui est super pratique pour intégrer ça dans une chaîne de traitement automatisée.

Cette intégration marque un tournant pour FFmpeg qui sort de son rôle traditionnel de couteau suisse multimédia pour embrasser l’IA qui visiblement devient suffisamment mature pour être intégrée nativement dans nos outils de base.

Maintenant, pour compiler FFmpeg avec ce nouveau super pouvoir, il faut ajouter l’option --enable-whisper à la configuration et s’assurer que whisper.cpp est installé sur votre système. Normalement, rien de bien sorcier si vous avez l’habitude de compiler des trucs mais moi j’en ai chié comme pas possible.

La commande magique ressemble à ça :

./ffmpeg -i test.mp4 -vn \
 -af "whisper=model=ggml-large-v3.bin:language=auto:queue=3:destination=whisper_output.srt:format=srt" \
 -f null -

Simple, efficace, et ça fonctionne aussi bien sur des fichiers pré-enregistrés que sur des flux audio en direct. La transcription automatique est maintenant accessible à tous ceux qui maîtrisent FFmpeg.

J’ai pris 15 secondes d’une vidéo à moi, et j’ai fait tourner le modèle Large V3 de Whisper au travers de FFmpeg et ensuite, j’ai incrusté (toujours avec FFmpeg) les sous-titres dans la vidéo. Voici ce que ça donne (extrait de 15 sec) :

Et voici ma commande tout en 1 :

./ffmpeg -i test.mp4 -vn -af "whisper=model=ggml-large-v3.bin:language=auto:queue=3:destination=temp.srt:format=srt" -f null - && \
ffmpeg -i test.mp4 -vf "subtitles=temp.srt:force_style='FontName=Arial,FontSize=32,PrimaryColour=&HFFFFFF,OutlineColour=&H000000,BackColour=&H80000000,BorderStyle=4,Outline=2,Shadow=1,MarginV=40,Alignment=2'" -c:a copy output_final.mp4

Si vous ne savez pas compiler ce truc, pas de soucis, puisque cette nouveauté sera disponible dans FFmpeg 8.0 qui devrait sortir dans les prochaines semaines.

Alors vous voyez déjà quels usages vous pourriez en faire ?

C’est vraiment paradoxal, mais plus on avance dans la technologie, plus on se tourne vers ce qui est vraiment, vraiment vieux. Et là, je ne vous parle pas de vos vieux CD-ROM Windows 95, non, non, mais de trucs qui traînent sur Terre depuis des milliards d’années (comme Bayrou ^^).

Une équipe de chercheurs de l’Université de Pennsylvanie vient de faire une découverte assez dingue. Ils ont utilisé une IA pour fouiller dans les protéines d’organismes appelés Archaea, des microbes tellement anciens qu’ils étaient déjà là avant que les bactéries ne deviennent “mainstream”. Ces bestioles survivent dans des conditions extrêmes : sources d’eau bouillante acide, cheminées volcaniques sous-marines, lacs salés où rien d’autre ne peut vivre. Bref, les endroits où même Bear Grylls ne mettrait pas les pieds.

Et ce qui est fou, c’est que ces microbes ont développé des mécanismes de défense complètement différents de ce qu’on connaît. Au lieu d’attaquer la membrane externe des bactéries comme le font la plupart des antibiotiques actuels, les composés découverts (baptisés sans originalité des “archaeasins”) s’attaquent directement aux signaux électriques à l’intérieur des cellules. C’est un peu comme si au lieu de défoncer la porte d’entrée, ils coupaient directement le disjoncteur de la maison.

L’équipe dirigée par César de la Fuente a utilisé un outil d’IA appelé APEX 1.1 pour scanner 233 espèces d’Archaea. Résultat, ils ont découvert plus de 12 600 candidats antibiotiques potentiels. Sur les 80 qu’ils ont synthétisés et testés en labo, 93% ont montré une activité antimicrobienne contre au moins une bactérie pathogène. C’est un taux de réussite assez impressionnant quand on sait que d’habitude, on tourne plutôt autour de quelques pourcents.

Selon l’OMS, on fait face en ce moment à une crise majeure avec 24 pathogènes prioritaires qui nécessitent de nouveaux antibiotiques de toute urgence. Seulement, voilà, le pipeline de développement de nouveaux antibiotiques est quasiment à sec, avec seulement 27 antibiotiques en développement clinique dont seulement 6 considérés comme vraiment innovants. Et pendant ce temps, les bactéries résistantes continuent de proliférer… Cela génère 2,8 millions d’infections résistantes aux antibiotiques se produisent chaque année rien qu’aux États-Unis.

Un des archaeasins testés, le numéro 73 (ils sont pas très créatifs pour les noms, j’avoue…), s’est montré aussi efficace que la polymyxine B sur des souris infectées. Pour ceux qui ne connaissent pas, la polymyxine B c’est un peu l’arme de dernier recours contre les infections multi-résistantes. C’est le genre de truc qu’on sort quand plus rien d’autre ne marche. Vous avez intérêt à bien bien prendre vos probiotiques après celui-là, pour ne pas repeindre encore une fois l’appart.

C’est donc un tout nouveau terrain de jeu qui s’ouvre car jusqu’à présent, la recherche d’antibiotiques s’est concentrée sur les bactéries, les champignons et parfois les plantes. Les Archaea, c’est donc un domaine complètement inexploré. Et vu qu’ils représentent une branche entière de l’arbre du vivant, distincte des bactéries et de tout le reste, le potentiel est énorme !

D’ailleurs, ce n’est pas la première fois que l’équipe de de la Fuente utilise l’IA pour chercher des antibiotiques dans des endroits improbables (oups, non pas là). Ils avaient déjà scanné l’ADN d’organismes éteints comme le mammouth laineux et même analysé les composés chimiques dans les venins d’animaux. L’idée, c’est que l’évolution a déjà fait le boulot pendant des millions d’années, alors il suffit de savoir où chercher.

Les chercheurs prévoient donc maintenant d’améliorer APEX pour qu’il puisse prédire l’activité antibiotique basée sur la structure 3D des molécules, et pas seulement leur séquence. L’objectif à terme, c’est évidemment d’arriver jusqu’aux essais cliniques sur l’homme. Mais ça, c’est encore une autre paire de manches qui prendra plusieurs années…

Bref, comme quoi, des solutions aux problèmes modernes se cachent parfois dans ce qu’il y a de plus ancien et ces microbes qui barbotent tranquillement dans leur soupe acide depuis des milliards d’années pourraient bien nous sauver la mise face aux superbactéries du 21e siècle qui déboulent en masse, notamment à cause du changement climatique.

Source

Hier soir, en faisant un peu de tri dans mon portefeuille, j’ai regardé un billet de 20 euros et là, je me suis souvenu d’un truc. Vous voyez ces petits cercles discrets disposés un peu partout sur vos billets ? Ces cinq points qui ont l’air anodins ? Eh bien figurez-vous que c’est un système de protection ultra sophistiqué qui peut bloquer instantanément n’importe quel photocopieur. Et le plus marrant, c’est qu’on peut l’utiliser pour nos propres documents.

Cette technologie s’appelle la constellation EURion, aussi connue sous le nom de cercles Omron, et elle existe depuis 1996. Ces cinq cercles jaunes, verts ou orange sont répétés à différentes orientations sur les billets de banque du monde entier et leur présence suffit à faire buguer la plupart des photocopieurs couleur qui refusent catégoriquement de traiter le document. Un vrai mur invisible contre la contrefaçon.

Alors attention, je vais maintenant vous révéler un secret. En fait, il y a deux systèmes complètement différents qui protègent votre argent. D’un côté, vous avez la constellation EURion qui fait planter les photocopieurs physiques. Et de l’autre, les logiciels comme Photoshop utilisent depuis 2003, un système totalement différent appelé CDS (Counterfeit Deterrence System). Selon les recherches de Steven J. Murdoch, ce système ne se base pas du tout sur les cercles EURion mais détecte un watermark invisible développé par Digimarc. Donc si Photoshop refuse d’ouvrir un billet scanné, ce n’est pas à cause des petits points, mais d’un filigrane numérique caché dans l’image.

Un développeur nommé Martin Scharm a surtout eu l’idée géniale de tester si on pouvait détourner ce système pour protéger ses propres documents. Il a créé un template LaTeX qui intègre la constellation EURion directement dans un PDF.

Voici le code :

wanna scan my letter?
\includegraphics[width=7mm]{EURion.pdf}

La taille de 7 mm est cruciale, car c’est l’idéal pour que les scanners détectent le motif. Martin a d’ailleurs mis tout son travail sur GitHub, avec l’image EURion et le fichier PDF résultant. Sympa de sa part de partager ça !

Le PDF de Martin

Par contre, voilà le hic… tous les scanners et photocopieurs ne sont pas sensibles à la constellation EURion. Certains modèles récents l’ignorent complètement, et d’autres la détectent parfaitement. D’après les discussions que j’ai pu lire sur Stack Overflow, un utilisateur a quand même réussi à bloquer un photocopieur Ricoh en ajoutant le motif EURion sur ses documents, mais sur d’autres machines, rien ne se passe. C’est un peu la loterie.

Alors maintenant, la question à 10 balles : Est-ce légal d’utiliser la constellation EURion sur ses propres documents ? Et bien, bonne nouvelle, aucune loi n’interdit l’utilisation de ce motif en dehors des billets de banque. Les discussions techniques sur TeX Stack Exchange confirment qu’on peut parfaitement intégrer ce système dans des documents LaTeX pour empêcher leur reproduction car c’est uniquement la reproduction des billets eux-mêmes qui est illégale, et pas l’utilisation du motif de protection. Logique, vous allez me dire.

Les cas d’usage sont quand même assez limités, je vous l’accorde. Pourquoi voudriez-vous empêcher quelqu’un de photocopier l’un de vos courrier ? Mais pour les photographes qui veulent protéger leurs œuvres en mode “le photocopillage tue le livre mais m’en fous je vais arrêter la vague de l’IA avec ma fourchette”, ou pour des documents confidentiels d’entreprise, ça peut avoir du sens.

D’ailleurs, les fabricants de photocopieurs et de scanners intègrent ce DRM physique volontairement dans leurs appareils depuis des années. C’est un accord tacite entre l’industrie et les banques centrales pour lutter contre la contrefaçon. Tout le monde le fait, même si légalement, personne n’est obligé.

Voilà, si vous voulez tester, récupérez le template LaTeX de Martin Scharm, ajoutez la constellation EURion à vos documents, et voyez si votre photocopieur au bureau fait la tête. Au pire, ça ne marchera pas. Au mieux, vous aurez créé un document physiquement incopiable. Ensuite en bon agent du chaos, y’a plus qu’à faire des patchs transparents avec cette discrète constellation de points, et à les coller sur la vitre des photocopieurs du boulot ! Et là vous récupérez tous les jours fériés qu’on vous a piqué.

Bon après, dans un monde où tout le monde partage des fichiers numériques, l’intérêt reste limité mais c’est toujours sympa de savoir qu’on peut transformer n’importe quel document en version “anti-copie” juste en ajoutant cinq petits cercles bien placés…

Source