Si vous utilisez GitHub Copilot ou ChatGPT pour coder plus vite, voici une nouvelle qui va peut-être vous refroidir un peu. Une fintech a découvert que des attaquants avaient extrait des données clients via un endpoint API qui n'était documenté nulle part. Personne dans l'équipe ne se souvenait l'avoir créé et après 3 semaines d'enquête, le verdict est tombé : c'est Copilot qui l'avait généré pendant une session de code nocturne.

Bienvenue dans l'ère des "phantom APIs" les amis !

J'avoue que le concept m'a fait marrer car on parle quand même d'endpoints qui existent en production mais dont personne n'a connaissance. Ahahaha... y'a pas de documentation, pas de tests, pas de validation de sécurité. C'est juste un peu de code généré par une IA qui a trouvé ça "logique" de créer un /api/v2/admin/debug-metrics qui balance du PII à quiconque tombe dessus par hasard.

J'ai vu le dernier rapport Veracode GenAI Code Security et les chiffres font un peu flipper c'est vrai ! Ils ont testé plus de 100 LLM sur 80 tâches de codage différentes, et le résultat fait mal puisque 45% du code généré par IA contient des vulnérabilités classées OWASP Top 10. En gros, presque une fois sur deux, votre assistant IA vous pond du code troué comme une passoire. Java est le grand gagnant avec 72% de taux d'échec, suivi par Python, JavaScript et C# qui tournent autour de 38-45%.

En effet, l'IA ne pense pas comme un dev qui s'est déjà fait hacker. Par exemple, quand un dev crée un endpoint, il réfléchit authentification, rate limiting, exposition de données, documentation. Alors que l'IA, elle, génère juste ce qui lui semble statistiquement logique vu son dataset d'entraînement, sans comprendre les implications sécurité ou les politiques de l'organisation.

D'ailleurs une autre étude Apiiro montre que les assistants IA ont multiplié par 10 les vulnérabilités introduites en seulement 6 mois dans les dépôts étudiés. Les chemins d'escalade de privilèges ont explosé tout comme les défauts architecturaux. Et le pire c'est que les développeurs qui utilisent l'IA exposent leurs credentials cloud (clés Azure, Storage Access Keys) deux fois plus souvent que les autres.

Y'a aussi le problème du "slopsquatting". Oui, encore un gros mot, je sais... En fait, l'IA peut vous recommander d'installer un package qui n'existe tout simplement pas. Genre elle hallucine un nom de librairie et un attaquant un peu moins con que les autres, peut enregistrer ce nom sur npm ou PyPI et y foutre du code malveillant.

Et là que ça devient vraiment problématique, c'est que les outils de sécurité traditionnels ne voient rien. L'analyse statique compare votre code à des specs documentées, sauf que les phantom APIs n'existent dans aucune spec. Les API gateways protègent les endpoints enregistrés mais laissent passer des routes non déclarées sans authentification.

Pour s'en sortir, certaines boîtes commencent donc à analyser le trafic en temps réel pour détecter les endpoints qui traînent. Y'a aussi l'audit de code spécifique IA pour repérer les patterns de génération algorithmique, et la comparaison continue entre les specs et ce qui tourne vraiment en production.

Bref, relisez votre code généré par IA comme si c'était un stagiaire collégien de 3e qui l'avait écrit, et si vous découvrez un endpoint bizarre dans votre base de code dont personne ne se souvient, y'a des chances que ce soit un "fantôme" laissé par votre copilote préféré...

Source

Bon, déjà si vous êtes sous Windows, je sais c'est dur la vie ^^. Mais si en plus vous êtes anti-IA, votre quotidien doit être encore plus difficile depuis que Microsoft a décidé de coller de l'intelligence artificielle partout dans son OS. Copilot par-ci, Recall par-là, des features IA dans Paint, dans le Bloc-notes, dans les paramètres... Bref, c'est l'invasion et y'a malheureusment pas vraiment de bouton "OFF" officiel pour tout virer d'un coup.

Hé bien figurez-vous qu'un développeur du nom de zoicware a créé un script PowerShell qui fait exactement ça. Ça s'appelle RemoveWindowsAI et ça permet de dégager TOUTES les fonctionnalités IA de Windows 11 en quelques secondes. Aux chiottes Copilot, Recall, les suggestions de frappe, l'IA dans Paint, dans Edge, les effets vocaux... Tout y passe et c'est cool !

Et ce script ne se contente pas de désactiver des options dans les paramètres comme un vulgaire amateur puisqu'il modifie les clés de registre, supprime les packages Appx (même ceux marqués "non supprimables" par Microsoft), nettoie les fichiers cachés dans le Component-Based Servicing, et surtout il installe un bloqueur pour empêcher Windows Update de vous remettre tout ce bazar à la prochaine mise à jour. Parce que oui, Microsoft adore réinstaller ses trucs en douce...

Pour l'utiliser, c'est assez simple. Vous lancez PowerShell en admin (attention, pas PowerShell 7 mais bien le bon vieux Windows PowerShell 5.1) et vous tapez une seule commande qui télécharge et exécute le script. Y'a même une interface graphique interactive pour ceux qui préfèrent cocher des cases plutôt que de taper des lignes de commande (Allez quand même lire le code avant sur le Github pour vous assurer que c'est OK, c'est une bonne habitude à prendre).

& ([scriptblock]::Create((irm "https://raw.githubusercontent.com/zoicware/RemoveWindowsAI/main/RemoveWindowsAi.ps1")))

Les chercheurs de Cato Networks viennent de publier leurs travaux sur une nouvelle technique d’attaque baptisée HashJack, et l’idée c’est d’exploiter les fragments d’URL, vous savez le petit # suivi d’un truc à la fin des adresses web, pour injecter des instructions malveillantes dans les assistants IA intégrés aux navigateurs.

En temps normal, tout ce qui se trouve après le # dans une URL ne quitte jamais votre navigateur et c’est utilisé pour naviguer vers une section précise d’une page web, et les serveurs web ne voient jamais cette partie. Du coup, les outils de sécurité réseau non plus. Et c’est justement là que ça devient vicieux…

Car les assistants IA comme Gemini dans Chrome, Copilot dans Edge ou Comet de Perplexity ont accès à l’intégralité de l’URL, fragment compris. Un attaquant peut donc crafter une URL d’apparence légitime avec des instructions cachées après le #, et quand vous demandez à votre assistant IA de vous aider avec cette page, il va gentiment exécuter les commandes planquées. Cato Networks décrit ça comme la première injection de prompt indirecte capable de transformer n’importe quel site légitime en vecteur d’attaque.

D’après les tests de l’équipe de Cato, les scénarios d’attaque possibles sont variés puisque ça va du phishing classique où l’assistant vous donne un faux numéro de téléphone à appeler, à l’exfiltration de données vers des serveurs contrôlés par l’attaquant. Y’a aussi la désinformation avec de fausses infos boursières ou médicales, ou encore des instructions détaillées pour installer des backdoors.

Bref, c’est le jackpot pour les attaquants.

Niveau compatibilité de l’attaque, les trois principaux touchés sont Gemini pour Chrome, Copilot pour Edge et Comet de Perplexity. Bonne nouvelle quand même, Claude pour Chrome et Atlas d’OpenAI ne sont pas vulnérables, puisqu’iils n’accèdent pas directement aux fragments d’URL.

Côté réponse des éditeurs, c’est un peu le grand écart puisque Perplexity a classé le problème comme critique et a appliqué un correctif, Microsoft a fait pareil pour Copilot fin octobre mais par contre, Google a décidé de classer ça comme un “comportement attendu” et a marqué le bug en “Won’t Fix”.

Argh !! Donc si vous utilisez Gemini dans Chrome, vous êtes toujours exposé les amis !

Après faut relativiser quand même car l’attaque nécessite plusieurs étapes d’interaction de la part de l’utilisateur. C’est pas juste cliquer sur un lien et hop vous êtes pwned. Il faut visiter la page vérolée ET demander à l’assistant IA d’interagir avec le contenu. Mais bon, vu que de plus en plus de gens utilisent ces assistants pour des tâches quotidiennes, le risque existe.

D’ailleurs, HashJack s’inscrit dans une tendance plus large. Brave a publié une étude montrant que l’injection de prompt indirecte est un défi systémique pour toute la catégorie des navigateurs boostés à l’IA et des techniques similaires ont été testées avec succès contre Atlas de ChatGPT et d’autres. Même le CISO d’OpenAI admet que, je cite “l’injection de prompt reste un problème de sécurité non résolu à la frontière de la recherche”.

Voilà, si vous utilisez un Navigateur IA, soyez vigilant sur les URLs bizarres qu’on vous envoie et si c’est Gemini dans Chrome, peut-être qu’il vaut mieux attendre que Google se décide à considérer ça comme un vrai problème de sécu… ces fous !

Source

Source

Microsoft a annoncé l’intégration, dans son outil d’analyse Viva Insights, de nouvelles données permettant de mesurer le taux d’utilisation de sa solution d’IA Copilot au sein des équipes. Un nouvel outil pour les managers, qui pourront traquer l’adoption de l’intelligence artificielle au sein de leur entreprise.