Vocabulaire

• "Context window" : la fenêtre de contexte, qui représente tout ce que le modèle "voit" lors d'un échange

• "Perroquet stochastique" : néologisme utilisé par les sceptiques de l'IA pour signifier que les LLM ne comprennent pas le sens de leurs résultats.

• prompt : l'art de bien poser votre question. Contexte + demande + résultat attendu => intention

• Chain of Thought CoT (cahine de pensée) : La chaîne de pensée (CoT) est une technique de prompt engineering qui améliore les résultats des grands modèles de langage (LLM), en particulier pour les tâches complexes impliquant un raisonnement en plusieurs étapes. Elle facilite la résolution de problèmes en guidant le modèle à travers un processus de raisonnement par étapes à l’aide d’une série cohérente d’étapes logiques.

• raisonnent en espace latent

• token : séquence de signaux discrets. (environ 100K morceaux de mots possibles)

• "reinforcment learning" :

• "Fine-tuning" : règlage fin

• collapse = effondrement

• La méthode d'alignement (RLHF) : L'apprentissage par renforcement à partir du feedback humain (RLHF) est une technique de machine learning (ML) qui utilise le feedback humain pour optimiser les modèles ML afin d'améliorer l'efficacité de l'autoapprentissage

• alignement : en IA, correspondance entre les objectifs d'une intelligence artificielles et les valeurs ou intentions humaines.

• Economie de la connaissance

• nb de paramètres : en B (billions)

• MoE : mélange d’experts => méthode qui permet de n'activer qu'une partie des paramètres

• distillation : principe d'entrainer un petit modèle avec un plus grand.

• entrainement/inférence

• température : paramètre qui contrôle le degré d'aléatoire dans les réponses du modèle. Plus la température est faible, plus les réponses sont prévisibles ; plus elle est élevée, plus elles sont variées et créatives.

• MCP : wrapper d'API pour IA.

• hallucination : le principe du LLM est de prédire les mots suivants. Si il n'a pas été entrainé sur le sujet, il va tenter des choses approchants mais fausses.

• embedding (ou calcul de l'embedding): transformation de données complexe en une suite de chiffres. (vecteurs)

• Base vectorielle : stockage conçu poar garder et chercher des données sous forme de listes de nombres.

• réseau convultif != llm

Poids :

• valeur entre 0 et n (en virgule flotante)

Techniques d'amélioration

• quantisation : réduction de la précision numérique des paramètres (poids) d'un modèle. Ex : 32 bits vers 8 bits.
• Pruning :
• Distillation : réentrainement d'un petit modèle avec un grand.
• Caching : éviter de recalculer des parties de l'inférence.

Formules

Paradoxe de Moravec : le plus difficile en robotique est souvent ce qui est le plus facile pour l'homme.

Liens importants

https://epoch.ai/ : donne un état des lieux neutre sur les IA. https://commoncrawl.org/ : snapshot du web https://huggingface.co/ : Hugging Face : Communauté open-source IA Hub =>
INRIA

https://www.canirun.ai/ llmfi : identifier ce qui peut tourner sur sa machine

token par secondes

Orateurs

• Yann Lecun
• Marine Le Morvan : chercheuse INRIA sur les TFM

Différentes IA

• NLP :
• RAG : combinaison de recherche externe de document avec une base de donnée vectiorielle. (permet de rechercher en langage naturel) Ex : recherche dans des documents (pdf)
• Agentic IA :
• LLM : Large Langage Model
• Machine learning :
• Deep learning :
• TFM : Les “Tabular Foundation Models”.
• WM : World Models.