Plutôt que de créer des modèles spécialisés pour chaque domaine, les équipes de Google Research ont eu une idée beaucoup plus ambitieuse. Ils se sont demandé si un seul modèle pouvait prédire l’évolution de n’importe quelle série temporelle, qu’il s’agisse du cours du Bitcoin, de la consommation électrique d’une ville ou du trafic sur Korben.info ?

C’est donc ce qu’accomplit TimesFM, leur nouveau modèle de prévision temporelle et pour cela, ils ont entraîné TimesFM sur un corpus de 100 milliards de points temporels réels, en piochant dans des sources aussi variées que Google Trends ou encore les statistiques de pages vues de Wikipedia.

Le génie de cette approche réside dans le choix des données d’entraînement car les tendances de recherche Google et les consultations Wikipedia reflètent naturellement des patterns temporels qu’on retrouve dans beaucoup de séries de données réelles.

Techniquement, TimesFM adopte uniquement une architecture de type transformer décodeur, similaire aux grands modèles de langage qu’on connaît tous. Mais au lieu de traiter des mots, il découpe les séries temporelles en “patches”, c’est à dire des groupes de points temporels consécutifs qu’il traite comme des tokens. Cette astuce permet au modèle de prédire des horizons plus longs de façon plus efficace, avec moins d’étapes de génération.

La version disponible sur GitHub propose deux variantes : TimesFM 1.0 avec 200M de paramètres qui gère des contextes jusqu’à 512 points temporels, et TimesFM 2.0 avec 500M de paramètres qui étend ce contexte à 2048 points avec des performances jusqu’à 25% supérieures.

Ce qui m’impressionne le plus, c’est la capacité de généralisation du modèle car sans aucun entraînement spécifique sur les datasets de test, TimesFM arrive à rivaliser avec des modèles supervisés entraînés explicitement sur ces données. Il surpasse par exemple DeepAR et llmtime (une approche basée sur GPT-3) de plus de 25%, ce qui est pas mal pour un modèle qui découvre ces données pour la première fois.

L’intégration dans l’écosystème Google est également déjà en cours puisque Google Cloud a intégré TimesFM dans BigQuery ML, permettant aux utilisateurs de faire de la prévision via la fonction AI.FORECAST sans avoir besoin de créer et d’entraîner leurs propres modèles.

L’approche adoptée révèle aussi une philosophie intéressante chez Google Research car plutôt que de multiplier les modèles spécialisés, ils misent sur des modèles de fondation capables de généralisation. C’est la même logique qui a donné naissance aux LLM universels, mais appliquée maintenant au domaine temporel.

Pour les dev qui veulent tester, le modèle est disponible en open source sous licence Apache 2.0 et fonctionne avec numpy et pandas. Il faut juste prévoir au minimum 32GB de RAM, ce qui reste raisonnable pour un modèle de cette puissance.

J’sais pas ce que ça va donner à long terme, mais j’ai trouvé ça intéressant et TimesFM pourrait bien change la façon dont on aborde la prédiction dans des domaines aussi variés que la finance, la météorologie ou la gestion énergétique.

Source