— Article en partenariat avec Incogni —

Salut les amis, j’espère que vous profitez bien de ce printemps dégueulasse avant la période trouble de la fin d’année scolaire qui arrive. De mon côté, comme vous l’avez remarqué je charbonne pas mal en ce moment avec un rythme de publication assez poussé. Le site a 20 ans et presque toutes ses dents … la seconde jeunesse n’est pas un mythe. Et je vous teste du coup pas mal d’outils IA variés et éclectiques. L’occasion de rappeler que tout n’est pas (p)rose au pays du prompt.

Récemment je vous ai mis en garde sur les pratiques des applications d’achat de vêtements, les applis destinées aux enfants et même les voitures intelligentes. Vous pensiez que ce serait difficile de faire pire ? Et bien, détrompez-vous, car avec la mode de l’Intelligence artificielle, il semble « normal » de voir naitre des outils destinés à récolter un max d’informations personnelles à notre propos. Surtout si ce sont des extensions qui tournent sur Google Chrome (que vous devriez avoir remplacé par Firefox ou par Brave au minimum depuis 1974).

Si vous touchez à l’IA, vous savez qu’elles sont capables de rendre d’énormes services et de vous faire gagner du temps. Le souci c’est que cela les rend d’autant plus alléchantes à installer et à utiliser. Et leurs concepteurs l’ont bien compris. Les chercheurs d’Incogni ont donc passé au grill plus de 70 extensions Chrome pour voir si le résultat est catastrophique. Ou tout du moins qui s’en sort le moins bien et qui récolte quoi à votre propos.

Et l’état des lieux est … cata. Encore plus que pour les catégories précédemment citées. Ici ce sont pas moins de 70% des apps qui sont problématiques, mais qui en plus sont considérés à risques élevés. Par exemple 100% des extensions dédiées à l’écriture assistée par IA sont concernées (ouch). 60% récoltent vos données personnelles et surtout 44% récupèrent des infos qui peuvent vous identifier directement (adresse mail, téléphone, nom et prénom …). Du pain béni pour les data brokers.

Du côté des permissions demandées, sans surprises, ce sont les extensions de type assistant personnel qui se gavent le plus. Habitudes de surf, historique web, localisation, identifiants de connexions … certaines peuvent même aller jusqu’à injecter du code JavaScript dans les pages que vous utilisez, avec tous les risques que cela comporte. Parmi les apps inspectées, de grands noms comme Grammarly, Quillbot, Jasper ou WebChatGPT. Est-ce que ce sera utilisé à vos dépens ? Qui sait. Si vous voulez creuser les données, c’est par ici.

Bref, l’IA ne déroge pas à la règle habituelle du web : lorsqu’une nouvelle technologie débarque, c’est toujours un peu le far-west. Et pour se protéger un minimum il n’y a pas tant d’outils que ça, d’ou l’utilité d’un service comme Incogni.

En limitant la durée de rétention de données personnelles stockées chez les data brokers, Incogni contribue à renforcer votre confidentialité en ligne et à réduire votre exposition. L’outil ne peut pas empêcher ce genre d’applications de récupérer vos infos (il n’y a que vous qui pouvez le faire en étant très attentif à votre comportement en ligne, en n’installant rien d’inutile, etc.). Par contre il va empêcher les brokers qui achètent ou se procurent votre profil de l’utiliser et le revendre.

Via une interface simple à prendre en main, l’outil de Surfshark va servir d’intermédiaire. Il va analyser sa liste de courtiers sous surveillance (environ 200), voir si vous apparaissez dans leurs bases et si c’est le cas leur envoyer un mail pour demander un retrait. Et relancer sans arrêt jusqu’à ce que le broker effectue la suppression. En plus de voir l’avancée des étapes sur votre compte, vous pouvez aussi connaitre le niveau de dangerosité des différents brokers. Un retour sur mon test personnel est à lire ici.

Il fait aussi du suivit long terme. Donc dès qu’un vilain pas beau vous a effacé, vous savez que c’est pour de bon (s’il tente un coup en scred il sera rappelé à l’ordre). Et savoir qu’il ne fera plus d’argent sur votre dos est toujours une petite satisfaction. Le prix du service reste inchangé, vous pouvez vous abonner pour moins de 94€ TTC/an. Et cela sans risques grâce à la garantie satisfait ou remboursé de 30 jours.

Lancez-vous, testez Incogni !

Numerama est à Mountain View pour la Google I/O, la grande conférence annuelle de la filiale d'Alphabet. L'édition 2024 s'annonce historique à plusieurs niveaux, alors que Google devrait mettre l'accent sur l'intelligence artificielle générative.

« 415-480-0000 ». Ce numéro de téléphone géant, inscrit sur plusieurs panneaux publicitaires de San Francisco, mène à une intelligence artificielle qui propose de travailler pour vous. Il est l'illustration d'une tendance grandissante dans la ville la plus high-tech du monde.

Selon Bloomberg, Apple aurait trouvé un accord avec OpenAI pour utiliser ChatGPT sous licence dans le prochain iOS 18. La cohabitation entre Siri, ChatGPT et éventuellement Google Gemini reste à définir.

Dans un tweet mystérieux, le créateur de ChatGPT annonce qu'il organisera une conférence de presse le 13 mai à 19 heures, à la veille de la grande conférence Google I/O. Selon les rumeurs, OpenAI pourrait préparer un moteur de recherche dopé à l'intelligence artificielle ou un assistant vocal vraiment intelligent.

Vous en avez assez de passer des heures à chercher la formulation parfaite pour obtenir de bons résultats avec vos prompts IA ?

Ne vous cassez plus la tête, puisque Anthropic a pensé à tout avec sa Prompt Library. Cette bibliothèque gratuite de prompts va vous permettre d’interagir plus facilement avec des outils comme Claude3, ChatGPT, Mistral…etc. Les prompts que vous y trouverez sont pré-optimisés pour une multitude de tâches, allant de la rédaction au développement en passant par l’analyse de données. Et ça n’a de cesse de s’enrichir puisque tout le monde peut soumettre ses meilleurs prompts.

Pour l’utiliser, il vous suffit de copier-coller le prompt de votre choix dans votre IA préférée, d’y apporter quelques modifications si le cœur vous en dit, et voilà ! Il y a même le code en TypeScript ou Python qui vous permettra de passer un message « system » avant votre message « user ».

Chacun de ces prompts est le fruit d’un travail minutieux de la part des équipes d’Anthropic dont l’objectif est de fournir des résultats d’e qualité supérieure d’excellente qualité afin de montrer ce que Claude3 a dans le ventre. Et, comme je le disais, il y en a pour tous les goûts… Des prompts pour générer des recettes, interpréter les rêves, se lancer dans la médiation pleine conscience, à des choses plus boulot / business comme créer une marque, rédiger des documents, debugger du code python et j’en passe.

Si ça vous dit de jeter un œil, c’est par ici que ça se passe.

Open WebUI débarque pour changer notre façon d’interagir avec Ollama grâce à une interface graphique intuitive et ergonomique ! Parce que l’IA, c’est cool, mais si c’est simple à utiliser, c’est encore mieux. Ollama pour rappel, c’est un outil qui permet de faire tourner des LLM en local et qui s’utilise soit via du code, soit directement en ligne de commande.

Avec Open WebUI, vous allez enfin avoir une interface web personnalisable avec votre thème, sombre pour les hackers en herbe ou clair pour les âmes sensibles, dans la langue de votre choix, de l’anglais au klingon en passant par le français, et vous pourrez ainsi causer avec Ollama comme si vous étiez sur ChatGPT. Avec le support de Markdown, de LaTeX et de la coloration syntaxique, vous pourrez même lui faire cracher du code et des formules mathématiques comme jamais.

Open WebUI permet même d’utiliser plusieurs modèles en parallèle, comparer leurs réponses, et même les faire discuter entre eux… Et si vous voulez de l’interaction plus poussée, lâchez-vous avec les fonctionnalités de Récupération Augmentée (RAG). Vous pourrez intégrer des documents externes dans vos conversations et même aller les chercher directement sur le web grâce à une fonction de navigation intégrée.

Avec l’outil de création de fichiers modèle (modelfiles), vous pouvez également définir des agents conversationnels sur mesure et les partager avec la communauté Open WebUI.

Bien sûr, comme tout bon logiciel qui se respecte, Open WebUI gère la reconnaissance vocale, la synthèse Text-to-Speech et même la génération d’images avec DALL-E et d’autres systèmes compatibles. Cadeau bonux, l’intégration avec les API compatibles OpenAI, pour encore plus de possibilités déjantées.

Pour plus d’informations sur ces fonctionnalités et comment les configurer, consultez la documentation officielle d’Open WebUI.

C’est open source, c’est puissant, c’est customisable à outrance alors que vous soyez un champion du dev ou comme moi, juste un curieux qui veut s’amuser avec l’IA, vous allez vous régaler.

Avant de vous lancer dans l’installation d’Open WebUI, assurez-vous d’avoir les prérequis suivants :

• Docker installé sur votre machine
• Une URL de base pour Ollama (OLLAMA_BASE_URL) correctement configurée

Pour configurer l’URL de base d’Ollama, vous pouvez soit la définir en tant que variable d’environnement, soit la spécifier dans un fichier de configuration dédié.

Une fois les prérequis remplis, vous pouvez procéder à l’installation d’Open WebUI en utilisant Docker :

docker run -d -p 3000:8080 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Cette commande va télécharger l’image Docker d’Open WebUI et lancer un conteneur accessible sur http://localhost:3000.

Amusez-vous bien et si vous voulez en savoir plus, toutes les infos sont ici.

llamafile est un projet complètement barré qui va vous permettre de transformer des modèles de langage en exécutables. Derrière se cache en fait la fusion de deux projets bien badass : llama.cpp, un framework open source de chatbot IA, et Cosmopolitan Libc, une libc portable pour compiler des programmes C multiplateformes. En combinant astucieusement ces deux technos, les petits gars de Mozilla ont réussi à pondre un outil qui transforme les poids de modèles de langage naturel en binaires exécutables.

Imaginez un peu, vous avez un modèle de langage qui pèse dans les 4 gigas, dans un format .gguf (un format couramment utilisé pour les poids de LLM). Et bien avec llamafile, vous pouvez le transformer en un exécutable standalone qui fonctionnera directement sur le système sur lequel il est sans avoir besoin d’installer quoi que ce soit. Ça va permettre de démocratiser l’utilisation et la diffusion des LLM.

Et niveau portabilité, c’est le feu puisque ça tourne sur six OS, de Windows à FreeBSD en passant par macOS. Les devs ont bien bossé pour que ça passe partout, en résolvant des trucs bien crados comme le support des GPU et de dlopen() dans Cosmopolitan et croyez-moi (enfin, croyez-les) ça n’a pas été une mince affaire !

Niveau perf aussi c’est du brutal ! Sur Linux llamafile utilise pledge() et SECCOMP pour sandboxer le bousin et empêcher les accès fichiers non désirés et avec les derniers patchs de Justine Tunney, la perf CPU pour l’inférence en local a pris un boost de malade du genre 10 fois plus rapide qu’avant. Même sur un Raspberry Pi on peut faire tourner des petits modèles à une vitesse honnête.

Allez, assez parlé, passons à la pratique !

Voici comment tester vous-même un llamafile en un rien de temps :

1. Téléchargez l’exemple de llamafile pour le modèle LLaVA (licence : LLaMA 2, OpenAI) : llava-v1.5-7b-q4.llamafile (3,97 Go). LLaVA est un nouveau LLM qui peut non seulement discuter, mais aussi analyser des images que vous uploadez. Avec llamafile, tout se passe en local, vos données ne quittent jamais votre PC.
2. Ouvrez le terminal de votre ordinateur.
3. Si vous êtes sous macOS, Linux ou BSD, vous devrez autoriser l’exécution de ce nouveau fichier. (À faire une seule fois) :
   chmod +x llava-v1.5-7b-q4.llamafile
4. Sous Windows, renommez simplement le fichier en ajoutant « .exe » à la fin.
5. Lancez le llamafile, par exemple :
   ./llava-v1.5-7b-q4.llamafile
6. Votre navigateur devrait s’ouvrir automatiquement sur une interface de chat. (Sinon, ouvrez-le et allez sur http://localhost:8080)
7. Quand vous avez fini, retournez dans le terminal et faites Ctrl-C pour arrêter llamafile.

Évidemment, Mozilla ne compte pas s’arrêter là et continue de bosser comme des dingues pour suivre le rythme des nouveaux modèles qui sortent et avec le support des dernières architectures dès leur sortie.

Il est même prévu qu’on puisse bientôt générer nos propres llamafiles en un seul clic ! D’ailleurs, Hugging Face est déjà dans la boucle pour héberger tout ce petit monde. Bref, je vous le dis, les amis, llamafile est un projet à suivre absolument !

Alors on dit merci qui ?

Merci Mozilla ! 🙏🦊

OpenAI devrait annoncer très bientôt un moteur de recherche maison, intégré à ChatGPT. D'après certaines sources, l'entreprise le ferait juste avant la conférence annuelle I/O de Google.

Vous vous souvenez d’AlphaFold 2, ce modèle d’IA assez dingue de Google DeepMind qui avait fait des avancées majeures dans la prédiction des structures de protéines ? Eh bien, la version 3 vient de débarquer et elle repousse encore un peu plus les limites !

AlphaFold 3, c’est comme si on passait d’un film noir et blanc du genre la Vache et Le Prisonnier à un film en 3D style Avatar, car non seulement il prédit avec une précision impressionnante la structure 3D des protéines, mais il est également capable de modéliser leurs interactions avec tout un tas d’autres molécules : l’ADN, l’ARN, les petites molécules organiques comme les médicaments, et même les modifications chimiques.

Concrètement, ça veut dire qu’on va pouvoir mieux comprendre comment toutes ces molécules qui nous composent s’assemblent et fonctionnent ensemble, comme les rouages de l’horloge cosmique de la viiiie. Un sacré bond en avant pour décrypter les processus biologiques fondamentaux et leurs dysfonctionnements à l’origine des maladies.

Son secret, évidemment, c’est une architecture de réseau de neurones encore plus puissante et entraînée sur une montagne de données moléculaires. Le cœur du système repose sur un module Evoformer amélioré, couplé à une nouvelle approche basée sur des réseaux de diffusion qui partent d’un nuage d’atomes pour converger vers la structure moléculaire la plus probable.

Et les résultats sont vraiment impressionnants puisque sur les jeux de données de référence, AlphaFold 3 bat des records avec des améliorations significatives par rapport aux méthodes existantes. Pour certaines catégories d’interactions, comme celles avec les médicaments, il augmente même nettement la précision des prédictions. Et tout ça sans même avoir besoin de données structurales en entrée.

Mais le plus cool, c’est que c’est open source (Edit : Apparemment, ça ne l’est plus malheureusement – Merci à Enthuo pour la correction) et accessible gratuitement à la communauté scientifique via le nouveau serveur AlphaFold. Cet outil permet à n’importe quel chercheur de générer des prédictions pour ses protéines d’intérêt en quelques clics, là où il fallait avant un travail titanesque et des moyens conséquents. Bref, de quoi démocratiser la biologie structurale et accélérer les découvertes !

Évidemment, avec une telle puissance vient aussi de grandes responsabilités, alors les gros cerveaux derrière DeepMind ont longuement planché avec de nombreux experts et organismes pour définir un cadre éthique et limiter les risques de mésusage comme on dit. Parce qu’autant un AlphaFold entre de bonnes mains, ça peut faire avancer la science et la médecine de façon spectaculaire, autant on n’a pas envie de voir débarquer des virus ou des prions tueurs conçus par des apprentis sorciers.

Mais j’ai hâte de voir ce que la communauté scientifique va réussir à faire avec cet outil génial. Peut-être de nouvelles enzymes pour des applications industrielles, des matériaux bio-inspirés aux propriétés uniques, ou des protéines thérapeutiques plus efficaces ? En tout cas une chose est sûre, la révolution biotech ne fait que commencer et nul doute qu’AlphaFold 3 en sera l’un des acteurs clés !

Source

Depuis que l’IA a débarqué dans nos vies, il est maintenant possible de lui déléguer une grande partie de nos tâches fastidieuses et chronophages, ce qui nous permet de nous concentrer sur l’essentiel. Des outils comme ChatGPT ont évidemment démocratisé l’accès à cette technologie, mais ses capacités vont bien au-delà d’un simple agent conversationnel.

En effet, l’IA peut devenir un véritable assistant personnel pour booster à la fois notre créativité et notre productivité. Perso, je ne peux plus m’en passer, et que vous soyez développeur, designer, écrivain ou entrepreneur, il existe de nombreuses façons de l’intégrer dans vos workflows. Génération de code, création de visuels, rédaction et correction de texte, analyse de données, relecture de contrats, automatisation de tâches… La liste est infinie pour peu que vous ayez un peu d’imagination.

C’est là qu’entre en scène le projet open-source Fabric qui permet justement de créer des workflows basés sur l’IA totalement sur-mesure en combinant différents modèles et différentes APIs. Comme ça vous pourrez concevoir vos propres assistants adaptés à vos propres besoins.

Concrètement, Fabric fonctionne comme un framework avec différents composants réutilisables :

• Des Patterns qui sont des templates de prompts répondant à un besoin précis (ex : résumer un article, extraire les idées clés d’une vidéo, etc).
• Des Stitches qui permettent d’enchaîner plusieurs Patterns pour créer des workflows avancés.
• Un serveur central appelé Mill qui héberge et sert les Patterns.
• Des apps clientes appelées Looms qui invoquent les Patterns via des APIs.

Plutôt que d’utiliser des services IA fermés, Fabric vous donne le contrôle total sur vos workflows. Comme ça, vous pouvez héberger vous-même les différents composants et garder vos données en local. Le tout étant bien sûr basé sur des standards ouverts et interopérables.

L’idée pour les gens derrière Fabric, c’est de rendre l’intégration de l’IA aussi simple que l’utilisation de commandes Unix. Par exemple, pour résumer le contenu d’une page web avec l’IA, il vous suffit de chaîner les deux commandes suivantes :

curl https://example.com | fabric --pattern summarize

Vous pouvez même créer des aliases pour vos patterns les plus utilisés. Par exemple pour analyser un article :

alias analyze="fabric --pattern analyze" cat article.txt | analyze

Bien sûr, tout ceci nécessite un peu de pratique et de changements dans vos habitudes de travail mais une fois les bons réflexes pris, le gain de temps sera considérable.

Certains craignent que l’IA nous mette tous au chomage mais je pense au contraire qu’elle va surtout nous aider à torcher rapidement les tâches ingrates pour nous permettre d’être plus créatifs et de bosser sur les sujets de fond avec plus de valeur ajoutée.

Si ça vous dit d’essayer Fabric, la doc est ici.

Une fausse photo de Katy Perry a généré plus de 13 millions de vues sur la plateforme X. Même la mère de la chanteuse est tombée dans le panneau.

Qui n’a jamais rêvé d’automatiser n’importe quelle tâche web peu importe sa complexité, pour évidemment se la couler douce ?

C’est précisément ce que vous propose Skyvern, un outil qui allie intelligence artificielle et vision par ordinateur pour interagir avec les sites web comme vous le feriez vous-même.

Plus besoin de scripts qui pètent à tout bout de champs, de XPath qui changent tous les 4 matins et de parseurs de DOM capricieux puisque Skyvern est capable de comprendre visuellement ce qu’il y a sur une page web et ainsi générer un plan d’interaction en temps réel.

Cela signifie que Skyvern est capable d’agir sur des sites qu’il n’a jamais vus auparavant, le tout sans avoir besoin de code spécifique. Il analyse les éléments visuels de la page pour déterminer les actions nécessaires pour répondre à votre demande, ce qui en fait un outil immunisé contre les changements de design de sites, contrairement à votre bon vieux scrapper.

Grâce aux modèles de langage (LLM) qu’il embarque, il est capable de « raisonner » donc par exemple, de remplir un formulaire qui vous pose plein de questions, ou de comparer des produits.

Vous voulez voir Skyvern à l’œuvre ? Voici un petit aperçu en vidéo :

Sous le capot, Skyvern s’inspire des architectures d’agents autonomes comme BabyAGI et AutoGPT, avec une couche d’automatisation web en plus, basée sur des outils comme Playwright.

Et comme d’hab, vous pouvez installer la bête sur votre machine et commencer à automatiser tout votre boulot en quelques commandes.

Vous devrez donc avoir Python 3.11, puis installez poetry :

brew install poetry

Ensuite, clonez le dépôt git et aller dans le dossier :

git clone https://github.com/Skyvern-AI/skyvern.git

cd skyvern

Puis lancez le script d’install :

./setup.sh

Une fois que c’est fini, démarrez le serveur :

./run_skyvern.sh

Et voilà, vous pouvez maintenant envoyer des requêtes au serveur, mais ne vous inquiétez pas, y’a une interface graphique :). Pour la lancer :

./run_ui.sh

Ouvrez ensuite http://localhost:8501 dans votre navigateur pour y accéder. Vous verrez alors ce genre d’interface. A vous de remplir les champs qui vont bien pour créer votre première automatisation.

En commande cURL, ça ressemble à ça (pensez bien à mettre votre clé API locale dans la commande) :

curl -X POST -H 'Content-Type: application/json' -H 'x-api-key: {Votre clé API locale}' -d '{
    "url": "https://www.geico.com",
    "webhook_callback_url": "",
    "navigation_goal": "Naviguer sur le site Web jusqu\'à ce que vous obteniez un devis d\'assurance automobile. Ne pas générer de devis d\'assurance habitation. Si cette page contient un devis d\'assurance automobile, considérez l\'objectif atteint",
    "data_extraction_goal": "Extraire toutes les informations de devis au format JSON, y compris le montant de la prime et le délai du devis",
    "navigation_payload": "{Vos données ici}",
    "proxy_location": "NONE"
}' http://0.0.0.0:8000/api/v1/tasks

Vous voyez, on peut vraiment faire des trucs pointu. Et le petit plus, c’est qu’on peut voir toutes les interactions puisque Skyvern enregistre chaque action avec une capture d’écran correspondante pour vous permettre de débugger facilement vos workflows.

Bref, pour en savoir plus, c’est sur le Github. Et sur leur site officiel.

Apple organise sa première conférence de l'année, le mardi 7 mai 2024, en plein après-midi. L'iPad sera au cœur du keynote, à un mois de la WWDC.

Fans de Steve Jobs, réjouissez-vous !

Grâce à la magie de l’intelligence artificielle, vous allez pouvoir discuter avec votre gourou préféré. Enfin, quand je dis « discuter », c’est un bien grand mot. Disons plutôt que vous allez pouvoir poser des questions à un modèle de langage entraîné sur une petite quantité d’interviews et discours de Steve Jobs himself.

Pour cela, le créateur de ce chatbot a utilisé un service nommé Jelli.io qui permet justement de chatter avec des vidéos et le résultat est plutôt cool, même si le chatbot n’incarne pas directement Steve Jobs (pour des questions éthiques j’imagine et pour n’énerver personne…)

Bref, de quoi vous inspirer et vous motiver sans forcement mater des heures et des heures d’interviews.

Vous avez vu la dernière version d’Ollama ? Cette version 0.133 a l’air plutôt pas mal. Bon, je sais, je sais, ça faisait un bail que je n’avais pas parlé des mises à jour de cet outil génial pour faire tourner des modèles d’IA en local, mais là, impossible de passer à côté !

Déjà, on a le droit à des fonctionnalités expérimentales de parallélisme (je sais pas si c’est comme ça qu’on dit en français…) qui vont vous permettre d’optimiser grave vos applis d’IA. Il y a donc 2 nouvelles variables d’environnement qui débarquent : OLLAMA_NUM_PARALLEL et OLLAMA_MAX_LOADED_MODELS. Avec ça, vous allez pouvoir gérer plusieurs modèles et requêtes en même temps, comme des pros ! 😎

Par exemple, si vous avez un modèle pour compléter votre code avec une IA de 6 milliards de paramètres comme Llama 3, et en même temps vous demandez à Phi 3 Mini et ses 3,8 milliards de paramètres comment architecturer votre projet et bien maintenant, c’est possible ! Comme ça, plus besoin d’attendre que l’un ait fini pour lancer l’autre puisque tout ça va se lancer en parallèle.

Alors bien sûr, c’est encore expérimental car il n’y a pas encore de priorité, et on est limité par la mémoire dispo sur notre machine. D’ailleurs, il vaut mieux avoir 16 Go de RAM et un CPU 4 cœurs pour que ça fonctionne correctement.

Il y a aussi plein de nouveaux modèles d’IA compatibles avec Ollama maintenant. Des gros calibres comme Llama 3, le meilleur modèle open-source à ce jour, mais aussi des plus légers et spécialisés comme Phi 3 Mini, Moondream pour la vision par ordinateur sur des appareils à la marge, ou encore Dolphin Llama 3 qui répond sans censure. Et le premier modèle Qwen (c’est chinois) de plus de 100 milliards de paramètres, Qwen 110B, est également de la partie. Ça en fait des compagnons pour nous assister dans nos projets !

Ensuite, imaginons que vous vouliez tester le parallélisme. Vous devez simplement lancer votre serveur Ollama avec les fameuses variables d’environnement.

Voici comment procéder :

Définir les variables sur Mac :

• Utilisez launchctl pour définir chaque variable. Par exemple, pour permettre à Ollama de gérer trois requêtes simultanément, tapez dans le terminal :
  launchctl setenv OLLAMA_NUM_PARALLEL 3
• Pour définir le nombre maximal de modèles chargés simultanément à deux, utilisez :
  launchctl setenv OLLAMA_MAX_LOADED_MODELS 2
• Après avoir défini les variables, redémarrez l’application Ollama.

Configurer les variables sur Linux :

• Éditez le service systemd d’Ollama avec systemctl edit ollama.service, ce qui ouvrira un éditeur de texte.
• Ajoutez les lignes suivantes sous la section [Service] :
  [Service] Environment="OLLAMA_NUM_PARALLEL=3" Environment="OLLAMA_MAX_LOADED_MODELS=2"
• Sauvegardez et quittez l’éditeur. Rechargez systemd et redémarrez Ollama avec :
  systemctl daemon-reload systemctl restart ollama

Paramétrer les variables sur Windows :

• Quittez l’application Ollama via la barre des tâches.
• Accédez aux variables d’environnement système via le panneau de configuration et créez ou modifiez les variables pour votre compte utilisateur :
  • Pour OLLAMA_NUM_PARALLEL, ajoutez ou modifiez la variable à 3.
  • Pour OLLAMA_MAX_LOADED_MODELS, ajustez la variable à 2.
• Appliquez les changements et redémarrez Ollama à partir d’une nouvelle fenêtre de terminal.

Là, ça veut dire que vous pourrez envoyer 3 requêtes en parallèle sur le même modèle, et charger jusqu’à 2 modèles différents si votre RAM de 16 Go minimum le permet.

Bon, et une fois que c’est lancé, vous pourrez envoyer des requêtes à tour de bras. Un coup à Llama 3 pour qu’il vous aide à générer un résumé de texte hyper optimisé, un autre à Phi 3 Mini pour résumer un article scientifique, tout ça pendant que Moondream analyse une image pour de la détection d’objets.

Allez, je vous laisse tranquille, faut que j’aille optimiser mes scripts maintenant.

Ollama 0.133 est dispo ici.

Source

Grâce à l'intelligence artificielle, de plus en plus de services sont capables de reconnaître le contenu d'une image. Pour identifier un insecte, une plante ou un paysage, il ne faut que quelques secondes.

La SNCF mène des expérimentations sur la vidéosurveillance algorithmique (VSA) dans trois gares, à Paris et Marseille. Les tests ont déclenché une action de La Quadrature du Net devant la Cnil, avec l'espoir d'y mettre fin.

La puissance de calculs des derniers processeurs et cartes graphiques vendues dans le commerce offre de nouvelles opportunités pour les cybercriminels. Les internautes doivent réfléchir à de nouveaux mots de passe face à la hausse de cette menace.