FeatUp, c’est le nom de ce nouvel algorithme révolutionnaire développé par une équipe de chercheurs du MIT dont le but consiste à faire passer la vision par ordinateur à la vitesse supérieure en lui offrant une résolution digne d’un œil de lynx.

Comment ça marche ? En gros, FeatUp s’attaque au problème de la perte d’information qui se produit quand les algorithmes d’IA analysent une image. Normalement, ils la découpent en une grille de petits carrés de pixels qu’ils traitent par groupe. Résultat, la résolution finale est bien plus faible que l’image de départ. Avec FeatUp, fini la myopie ! L’algo est capable de capter tous les détails, des plus évidents aux plus subtils.

La clé, c’est de faire légèrement bouger et pivoter les images pour voir comment l’IA réagit à ces micro-variations. En combinant des centaines de « cartes de caractéristiques » ainsi générées, on obtient un ensemble de données haute définition super précis. Un peu comme quand on crée un modèle 3D à partir de plusieurs images 2D sous différents angles.

Mais pour que ça turbine, il a fallu créer une nouvelle couche de réseau de neurones ultra-efficace, baptisée « suréchantillonnage bilatéral conjoint« . Grâce à elle, FeatUp améliore les performances d’un tas d’algos différents, de la segmentation sémantique à l’estimation de profondeur.

Les applications potentielles sont dingues : imaginez pouvoir repérer un minuscule panneau sur une autoroute encombrée pour une voiture autonome, ou localiser précisément une tumeur sur une radio des poumons. Avec sa capacité à transformer des suppositions vagues en détails précis, FeatUp pourrait rendre tous ces systèmes bien plus fiables et sûrs.

L’objectif des chercheurs, c’est que FeatUp devienne un outil fondamental du deep learning, pour enrichir les modèles sans sacrifier l’efficacité. Comme le résume Mark Hamilton, co-auteur de l’étude, l’enjeu est d’obtenir « le meilleur des deux mondes : des représentations très intelligentes avec la résolution de l’image d’origine« .

Bref, si FeatUp tient ses promesses, on n’a pas fini d’entendre parler de cette prouesse technologique qui pourrait donner un sacré coup de boost à l’IA visuelle puisqu’elle fournit des versions haute résolution d’analyses d’images qu’on pensait jusque-là limitées à la basse résolution. »

Pour en savoir plus, direction l’article du MIT !

Vous vous souvenez sûrement de Neuralink, la startup fondée par Elon Musk qui veut révolutionner les interfaces cerveau-machine ? Eh bien, figurez-vous que leur premier cobaye humain, un certain Noland Arbaugh, s’est amusé comme un petit fou avec son nouveau gadget greffé dans le ciboulot !

Ce cher Noland, un jeune homme de 29 ans paralysé des épaules jusqu’aux pieds suite à un accident de plongée, a eu l’immense privilège de recevoir l’implant Neuralink N1 en janvier dernier. Et croyez-moi, il n’a pas perdu de temps pour tester son joujou high-tech !

Lors d’un livestream sur X (l’ex-Twitter, vous suivez ?), notre cher patient a fait une démonstration époustouflante en jouant aux échecs sur ordi rien qu’avec la force de son esprit. Tel un Jedi de la stratégie, il a déplacé les pièces sur l’échiquier virtuel en un clin d’œil, laissant les spectateurs bouche bée.

Mais ce n’est pas tout ! Noland nous a confié qu’il avait déjà passé une nuit blanche à s’éclater sur Civilization VI, le célèbre jeu de stratégie. Avant son opération, il devait compter sur un pote pour l’aider à jouer, ce qui était loin d’être idéal pour enchaîner les parties jusqu’au bout de la nuit.

Maintenant, grâce à son implant miracle, il peut s’adonner à sa passion sans limites ! Enfin, presque… La seule contrainte, c’est d’attendre que son gadget se recharge quand il a épuisé toute la batterie. Mais bon, c’est un détail quand on peut à nouveau profiter des joies du gaming de manière autonome, non ?

Et ce n’est pas fini ! Notre champion a aussi réussi l’exploit de terminer deuxième à Mario Kart 8 Deluxe en affrontant son père et un ami. Pas mal pour un débutant qui pilote son kart à la force de la pensée !

Bien sûr, comme le souligne Noland, tout n’est pas encore parfait avec cette technologie. Il reste du chemin à parcourir pour que Neuralink tienne toutes ses promesses. Mais avouez que c’est quand même un sacré bond en avant pour redonner de l’autonomie et des loisirs aux personnes paralysées. Bravo Elon 🙂

D’ailleurs, le grand gourou de la tech, ne compte d’ailleurs pas s’arrêter là. Son objectif ultime ? Utiliser les implants pour « shunter » les signaux du cortex moteur directement vers les membres paralysés, histoire de contourner les lésions de la moelle épinière. Carrément !

Mais avant d’en arriver là, Neuralink va devoir convaincre les autorités américaines que ses expériences sont éthiques et sans danger, car la startup a déjà fait polémique avec ses tests sur les animaux, accusée d’avoir provoqué des souffrances inutiles sur des singes, des cochons et probablement Bruno Le Maire si on en croit la dernière annonce du déficit français.

Espérons que cette success story avec Noland ouvre la voie à des essais cliniques plus larges, histoire de transformer la vie d’autres personnes dans sa situation. En attendant, on peut toujours rêver au jour où on pourra tous s’affronter sur Civilization ou Mario Kart par la simple force de notre cerveau !

Perso, si Neuralink me permet de débrancher à la demande le son de mes oreilles quand j’ai les enfants dans les pattes, je me le fait implanter tout de suite !

Source

Qui n’a jamais rêvé d’automatiser n’importe quelle tâche web peu importe sa complexité, pour évidemment se la couler douce ?

C’est précisément ce que vous propose Skyvern, un outil qui allie intelligence artificielle et vision par ordinateur pour interagir avec les sites web comme vous le feriez vous-même.

Plus besoin de scripts qui pètent à tout bout de champs, de XPath qui changent tous les 4 matins et de parseurs de DOM capricieux puisque Skyvern est capable de comprendre visuellement ce qu’il y a sur une page web et ainsi générer un plan d’interaction en temps réel.

Cela signifie que Skyvern est capable d’agir sur des sites qu’il n’a jamais vus auparavant, le tout sans avoir besoin de code spécifique. Il analyse les éléments visuels de la page pour déterminer les actions nécessaires pour répondre à votre demande, ce qui en fait un outil immunisé contre les changements de design de sites, contrairement à votre bon vieux scrapper.

Grâce aux modèles de langage (LLM) qu’il embarque, il est capable de « raisonner » donc par exemple, de remplir un formulaire qui vous pose plein de questions, ou de comparer des produits.

Vous voulez voir Skyvern à l’œuvre ? Voici un petit aperçu en vidéo :

Sous le capot, Skyvern s’inspire des architectures d’agents autonomes comme BabyAGI et AutoGPT, avec une couche d’automatisation web en plus, basée sur des outils comme Playwright.

Et comme d’hab, vous pouvez installer la bête sur votre machine et commencer à automatiser tout votre boulot en quelques commandes.

Vous devrez donc avoir Python 3.11, puis installez poetry :

brew install poetry

Ensuite, clonez le dépôt git et aller dans le dossier :

git clone https://github.com/Skyvern-AI

cd skyvern

Puis lancez le script d’install :

./setup.sh

Une fois que c’est fini, démarrez le serveur :

./run_skyvern.sh

Et voilà, vous pouvez maintenant envoyer des requêtes au serveur, mais ne vous inquiétez pas, y’a une interface graphique :). Pour la lancer :

./run_ui.sh

Ouvrez ensuite http://localhost:8501 dans votre navigateur pour y accéder. Vous verrez alors ce genre d’interface. A vous de remplir les champs qui vont bien pour créer votre première automatisation.

En commande cURL, ça ressemble à ça (pensez bien à mettre votre clé API locale dans la commande) :

curl -X POST -H 'Content-Type: application/json' -H 'x-api-key: {Votre clé API locale}' -d '{
    "url": "https://www.geico.com",
    "webhook_callback_url": "",
    "navigation_goal": "Naviguer sur le site Web jusqu\'à ce que vous obteniez un devis d\'assurance automobile. Ne pas générer de devis d\'assurance habitation. Si cette page contient un devis d\'assurance automobile, considérez l\'objectif atteint",
    "data_extraction_goal": "Extraire toutes les informations de devis au format JSON, y compris le montant de la prime et le délai du devis",
    "navigation_payload": "{Vos données ici}",
    "proxy_location": "NONE"
}' http://0.0.0.0:8000/api/v1/tasks

Vous voyez, on peut vraiment faire des trucs pointu. Et le petit plus, c’est qu’on peut voir toutes les interactions puisque Skyvern enregistre chaque action avec une capture d’écran correspondante pour vous permettre de débugger facilement vos workflows.

Bref, pour en savoir plus, c’est sur le Github. Et sur leur site officiel.