|
Adversarial Machine Learning
|
Apprentissage
machine antagoniste
|
Technique
consistant à tromper un modèle avec des entrées volontairement manipulées.
|
|
Agent
|
Agent
autonome
|
Programme
capable d'agir de manière autonome pour atteindre un objectif donné.
|
|
AGI
(Artificial General Intelligence)
|
Intelligence
Artificielle Générale
|
IA
hypothétique dotée de compétences générales similaires à celles des humains.
|
|
AI
|
IA - Intelligence
artificielle
|
Discipline
visant à créer des systèmes capables d'accomplir des tâches habituellement
humaines.
|
|
Algorithm
|
Algorithme
|
Suite
d'instructions permettant de résoudre un problème ou accomplir une tâche.
|
|
Alignment
|
Alignement
|
Processus
d’ajustement d’un modèle pour qu’il réponde aux attentes humaines.
|
|
Annotation
|
Annotation
|
Ajout
d’étiquettes ou de métadonnées à des données pour entraîner un modèle.
|
|
API
(Application Programming Interface)
|
Interface
de programmation
|
Outil
permettant à différents logiciels de communiquer entre eux.
|
|
Artificial
Intelligence (AI)
|
Intelligence
artificielle
|
Voir
"AI" ci-dessus.
|
|
Attention
|
Attention
|
Mécanisme
permettant à un modèle de se concentrer sur certaines parties d'une entrée.
|
|
Attention
mechanism
|
Mécanisme
d’attention
|
Système qui
permet au modèle de se concentrer sur les parties importantes d’un texte.
|
|
Autoencoder
|
Autoencodeur
|
Réseau de
neurones non supervisé utilisé pour l'encodage et la reconstruction de
données.
|
|
Auto-regressive
model
|
Modèle
auto-régressif
|
Génère du
texte mot par mot, en se basant sur les mots déjà produits.
|
|
Backpropagation
|
Rétropropagation
|
Méthode
d'apprentissage consistant à ajuster les poids en fonction de l'erreur.
|
|
Beam
Search
|
Recherche
en faisceau
|
Méthode de
décodage qui explore plusieurs chemins à la fois pour choisir la sortie la
plus probable.
|
|
Benchmark
|
Référentiel
d’évaluation
|
Test
standardisé pour comparer les performances des modèles.
|
|
BERT
|
BERT
|
Modèle de
langage bidirectionnel préentrainé pour la compréhension du texte.
|
|
Bias
|
Biais
|
Distorsion
systématique dans les résultats, souvent issue des données d’entraînement.
|
|
Bias
(in AI/data)
|
Biais (en
IA/données)
|
Distorsion ou erreur systématique dans les
résultats d'un modèle d'IA, souvent due à des données d'entraînement non
représentatives, incomplètes ou reflétant des préjugés sociaux. Les LLM
peuvent hériter et amplifier ces biais.
|
|
Big
Data
|
Mégadonnées
|
Ensemble de
données volumineuses, complexes, traitées à l'aide de technologies
spécifiques.
|
|
Billion
Parameters
|
Milliards
de paramètres
|
Unité de
mesure courante de la taille et de la complexité d'un LLM. Plus un modèle a
de paramètres, plus il est généralement capable de comprendre et de générer
du langage complexe, mais plus il est coûteux à entraîner et à exécuter (ex.
GPT-3 avait 175 milliards de paramètres).
|
|
BLEU
Score
|
Score BLEU
|
Métrique
d’évaluation de la qualité d’une traduction automatique.
|
|
Chain-of-Thought
(CoT)
|
Chaîne de
raisonnement
|
Méthode où le
raisonnement du modèle est explicité pas à pas (raisonnement logique)
|
|
Chain-of-Thought
(CoT) Prompting
|
Prompting
"chaîne de pensée"
|
Technique
d'ingénierie de prompt qui consiste à inciter le LLM à "raisonner"
étape par étape, en décomposant un problème complexe en une série d'étapes
intermédiaires avant de donner la réponse finale. Cela améliore souvent la
précision et la cohérence des réponses.
|
|
Chatbot
|
Agent
conversationnel
|
Programme
conçu pour interagir avec des humains via du texte.
|
|
ChatGPT
|
ChatGPT
|
Modèle de
dialogue développé par OpenAI, basé sur GPT.
|
|
Checkpoint
|
Point de
sauvegarde
|
État
enregistré d'un modèle à un moment donné de l'entraînement.
|
|
Constitutional
AI
|
IA
constitutionnelle
|
IA conçue
pour respecter des règles éthiques définies dans son apprentissage.
|
|
Context
window
|
Fenêtre de
contexte
|
Quantité
maximale d’information que le modèle peut "voir" en une fois.
|
|
Convolutional
Neural Network (CNN)
|
Réseau de
neurones convolutifs
|
Réseau
utilisé surtout pour le traitement d’images et la reconnaissance de formes.
|
|
Corpus
|
Corpus
|
Collection de
textes utilisés pour l’apprentissage ou l’évaluation d’un modèle.
|
|
Data
annotation
|
Annotation
de données
|
Ajout de
balises ou labels sur les données pour entraîner un modèle.
|
|
Data
augmentation
|
Augmentation
de données
|
Techniques
pour créer artificiellement de nouvelles données à partir de celles
existantes.
|
|
Data
curation
|
Curation
de données
|
Sélection
rigoureuse de données utiles à l’entraînement.
|
|
Data
mining
|
Exploration
de données
|
Extraction de
connaissances à partir de grandes bases de données.
|
|
Data
poisoning
|
Empoisonnement
de données
|
Manipulation
malveillante de données pour compromettre un modèle.
|
|
Dataset
|
Jeu de
données
|
Collection de
données utilisée pour entraîner ou tester un modèle.
|
|
Decoder
|
Décodeur
|
Partie d'un
modèle qui génère une sortie à partir de représentations internes.
|
|
Decoding
|
Décodage
|
Conversion de
la sortie du modèle en texte compréhensible.
|
|
Deep
Learning (DL)
|
Apprentissage
profond
|
Branche du
machine learning utilisant des réseaux neuronaux profonds.
|
|
Diffusion
model
|
Modèle de
diffusion
|
Modèle
génératif qui transforme du bruit en données structurées (texte, image...).
|
|
Dropout
|
Abandon
|
Technique
réduisant le surapprentissage en désactivant des neurones aléatoirement.
|
|
Embedding
|
Représentation
vectorielle
|
Représentation
numérique d’un mot ou concept dans un espace mathématique.
|
|
Embeddings
(Word/Sentence/Token)
|
Plongements
(de mots/phrases/jetons)
|
Représentations
vectorielles denses (listes de nombres) de mots, de phrases ou de jetons dans
un espace multidimensionnel. Ces vecteurs capturent le sens sémantique et les
relations entre les éléments linguistiques, permettant aux modèles d'IA de
"comprendre" le langage.
|
|
Emergent
Abilities
|
Compétences
émergentes
|
Capacits
apparaissant à grande échelle et non prévues à petite échelle d'entraînement.
|
|
Encoder
|
Encodeur
|
Partie du
modèle qui transforme un texte en vecteurs.
|
|
Epoch
|
Époque
|
Passage
complet d'un modèle sur l'ensemble du jeu de données d'entraînement.
|
|
Evaluation
|
Évaluation
|
Mesure des
performances d'un modèle sur des tâches ou données spécifiques.
|
|
Evaluation
metric
|
Métrique
d’évaluation
|
Indicateur
chiffré servant à comparer différents modèles.
|
|
Few-shot
learning
|
Apprentissage
avec peu d’exemples
|
Capacité à
généraliser à partir de quelques exemples.
|
|
Fine-tuning
|
Ajustement
/ Réglage fin
|
Spécialisation
d’un modèle généraliste sur une tâche ou un domaine.
|
|
Foundation
model
|
Modèle
fondamental
|
Modèle
généraliste servant de base à d’autres applications.
|
|
Frozen
Model
|
Modèle
gelé
|
Modèle dont
les poids ne sont plus modifiés lors d'un apprentissage secondaire.
|
|
Generative
AI
|
IA
générative
|
IA capable de
produire du contenu (texte, image, code…).
|
|
Generative
model
|
Modèle
génératif
|
Modèle IA
capable de produire du contenu (texte, image, son...).
|
|
Generative
Pre-trained Transformer (GPT)
|
Transformeur
Génératif Pré-entraîné (GPT)
|
Famille de
grands modèles de langage développés par OpenAI, basés sur l'architecture
Transformer. Le "Génératif" indique leur capacité à créer du
nouveau contenu, et "Pré-entraîné" signifie qu'ils ont été formés
sur d'énormes quantités de données textuelles avant d'être affinés pour des
tâches spécifiques.
|
|
Glossary
integration
|
Intégration
de glossaire
|
Ajout d’un
vocabulaire spécifique pour guider ou corriger les sorties du modèle.
|
|
GPT
|
GPT
|
Famille de
modèles génératifs préentraînés créés par OpenAI.
|
|
Gradient
Descent
|
Descente
de gradient
|
Méthode
d’optimisation permettant d’ajuster les poids d’un réseau neuronal.
|
|
Grounding
|
Ancrage
dans le réel
|
Capacité du
modèle à produire des réponses basées sur des faits avérés.
|
|
Grounding
(in LLMs)
|
Ancrage /
Fondement (dans les LLM)
|
Capacité d'un
LLM à relier ses sorties textuelles à des informations vérifiables, des faits
du monde réel ou des sources spécifiques, plutôt que de se contenter de
générer du texte plausible mais potentiellement incorrect (hallucination).
Essentiel pour la fiabilité.
|
|
Hallucination
|
Hallucination
|
Réponse
fausse mais plausible générée par un modèle.
|
|
Hugging
Face
|
Hugging
Face
|
Plateforme
open source pour le partage et l’utilisation de modèles IA.
|
|
Human
Feedback
|
Retour
humain
|
Intervention
humaine pour corriger ou guider l’apprentissage d’un modèle.
|
|
Human-in-the-loop
(HITL)
|
Humain
dans la boucle
|
Système IA où
l’humain participe à la validation, au contrôle ou à l’amélioration des
résultats.
|
|
Hyperparameter
|
Hyperparamètre
|
Paramètre
défini avant l’entraînement du modèle (ex : taille du batch, taux
d’apprentissage).
|
|
In-Context
Learning
|
Apprentissage
dans le contexte
|
Capacité d’un
modèle à apprendre à partir des exemples fournis directement dans une requête
(prompt).
|
|
Inference
|
Inférence
|
Utilisation
du modèle pour produire une réponse à une question.
|
|
Input
Layer
|
Couche
d'entrée
|
Première couche d'un réseau neuronal qui
reçoit les données brutes (les jetons du prompt, par exemple) et les transmet
aux couches cachées pour traitement.
|
|
Instruction
(Prompt)
|
Instruction
(ou Prompt)
|
Texte ou
consigne fournie au modèle pour générer une réponse ciblée.
|
|
Instruction
tuning
|
Affinage
par instructions
|
Adaptation du
modèle pour répondre à des consignes explicites.
|
|
Jailbreaking
|
Détournement
(Jailbreaking)
|
Technique
pour forcer un modèle à produire des réponses qu’il n’est normalement pas
censé fournir.
|
|
JSON
Mode
|
Mode JSON
|
Mode de
sortie structuré où les réponses du modèle sont formatées en JSON.
|
|
Knowledge
distillation
|
Distillation
de connaissances
|
Méthode de
compression d’un modèle complexe vers un plus simple, tout en conservant ses
performances.
|
|
Knowledge
grounding
|
Ancrage
des connaissances
|
Alignement
des réponses d’un modèle sur une base de faits ou de données fiables.
|
|
K-Shot
Learning
|
Apprentissage
K-exemples
|
Entraînement
ou adaptation d’un modèle à partir de K exemples fournis.
|
|
Language
Model
|
Modèle de
langage
|
Modèle
entraîné à comprendre, générer ou compléter du texte.
|
|
Large
Language Model (LLM)
|
Grand
modèle de langage
|
Modèle IA
entraîné sur de très grands corpus pour générer ou comprendre du texte.
|
|
Latent
space
|
Espace
latent
|
Espace
abstrait dans lequel les données sont projetées pour traitement.
|
|
Learning
Rate
|
Taux
d’apprentissage
|
Vitesse à
laquelle les poids du modèle sont ajustés pendant l’entraînement.
|
|
LoRA
(Low-Rank Adaptation)
|
Adaptation
à faible rang (LoRA)
|
Technique
légère pour adapter des modèles préentraînés sans modifier tous leurs
paramètres.
|
|
Loss
function
|
Fonction
de perte
|
Mesure de
l’erreur entre la sortie du modèle et la vérité attendue.
|
|
Machine
Learning
|
Apprentissage
automatique
|
Domaine de
l’IA où les modèles apprennent des données sans être explicitement
programmés.
|
|
Machine
Translation (MT)
|
Traduction
automatique
|
Utilisation
de modèles informatiques pour traduire automatiquement des textes entre
plusieurs langues.
|
|
Masked
Language Modeling
|
Modélisation
de langage masqué
|
Technique de
pré-entraînement où des mots sont masqués aléatoirement dans une phrase, et
le modèle doit prédire les mots masqués en se basant sur le contexte
environnant. C'est une tâche courante pour entraîner les LLM comme BERT.
|
|
Mixture
of Experts (MoE)
|
Mélange
d’experts
|
Architecture
qui active dynamiquement les sous-modèles spécialisés selon les besoins.
|
|
Model
|
Modèle
|
En IA, un
programme informatique entraîné qui a appris à reconnaître des motifs dans
les données ou à effectuer des tâches spécifiques (comme la génération de
texte, la classification, la traduction).
|
|
Model
Alignment
|
Alignement
de modèle
|
Processus visant à faire en sorte qu'un
modèle d'IA (en particulier un LLM) se comporte de manière souhaitée,
c'est-à-dire qu'il soit utile, inoffensif et honnête, en alignant ses sorties
avec les valeurs et les préférences humaines. Souvent réalisé via le RLHF.
|
|
Model
Card
|
Fiche
d'identité de modèle
|
Document
standardisé qui fournit des informations importantes sur un modèle
d'apprentissage automatique, y compris ses performances, les données
d'entraînement utilisées, ses limites, ses biais potentiels et son
utilisation prévue, pour favoriser la transparence et la responsabilité.
|
|
Model
Drift
|
Dérive de
modèle
|
Phénomène où
la performance d'un modèle d'IA se détériore avec le temps, généralement
parce que les caractéristiques des données d'entrée ou de l'environnement
changent par rapport aux données sur lesquelles le modèle a été entraîné.
|
|
Multilingual
Model
|
Modèle
multilingue
|
Modèle d'IA
capable de traiter ou de générer du texte dans plusieurs langues. Un seul
modèle peut traduire entre de nombreuses paires de langues ou comprendre des
requêtes dans différentes langues.
|
|
Multimodal
|
Multimodal
|
Caractérise
une IA capable de traiter et/ou de générer des informations provenant de
plusieurs types de données ou "modalités" (par exemple, texte,
image, audio, vidéo). Un modèle multimodal peut comprendre un prompt
combinant texte et image, et générer une réponse en texte ou en image.
|
|
Multimodal
model
|
Modèle
multimodal
|
Modèle
combinant plusieurs types de données : texte, image, audio, etc.
|
|
Natural
Language Processing (NLP)
|
Traitement
du langage naturel (TLN)
|
Champ de
l'intelligence artificielle qui permet aux ordinateurs de comprendre,
d'interpréter, de manipuler et de générer le langage humain de manière
significative. Les LLM sont une avancée majeure dans le TLN.
|
|
Neural
Machine Translation (NMT)
|
Traduction
automatique neuronale
|
Approche de
la traduction automatique qui utilise de grands réseaux de neurones
artificiels (souvent des architectures de type Transformer) pour prédire la
séquence de mots la plus probable dans la langue cible, en tenant compte de
tout le contexte de la phrase source. C'est la technologie dominante
aujourd'hui.
|
|
Neural
Network
|
Réseau
neuronal
|
Modèle
informatique inspiré de la structure et du fonctionnement du cerveau humain.
Composé de couches de "neurones" (nœuds) interconnectés qui
traitent les informations. C'est la base de l'apprentissage profond.
|
|
Next
Token Prediction
|
Prédiction
du prochain jeton
|
La tâche fondamentale que réalisent les LLM
génératifs. Étant donné une séquence de jetons (le prompt et les jetons
générés précédemment), le modèle prédit le jeton le plus probable à suivre.
|
|
N-gram
|
N-gramme
|
Une séquence
contiguë de n éléments (mots ou caractères) d'un texte. Les n-grammes sont
utilisés dans divers modèles linguistiques pour capturer le contexte local et
la probabilité des séquences.
|
|
NLP
|
TLN
(Traitement du Langage Naturel)
|
Acronyme pour
Natural Language Processing.
|
|
Normalization
|
Normalisation
|
Processus de
transformation des données brutes en un format standardisé et plus cohérent,
facilitant leur traitement par les modèles d'IA. En PNL, cela peut inclure la
mise en minuscule, la suppression de ponctuation, etc.
|
|
One-Shot
Learning
|
Apprentissage
à un seul coup
|
Capacité d'un
modèle d'IA à apprendre à partir d'un seul exemple ou d'une seule
démonstration. Les LLM peuvent souvent montrer des capacités de
"one-shot learning" via le prompting, en étant capables d'effectuer
une nouvelle tâche après un seul exemple dans la consigne.
|
|
Output
Layer
|
Couche de
sortie
|
Dernière
couche d'un réseau neuronal qui produit le résultat final du modèle (par
exemple, la prédiction du prochain mot dans un LLM, ou la classification dans
un modèle de classification).
|
|
Overfitting
|
Surapprentissage
|
Phénomène où
un modèle d'IA apprend trop bien les données d'entraînement, au point de
mémoriser le bruit et les spécificités des données d'entraînement, ce qui le
rend moins performant sur de nouvelles données non vues.
|
|
Parameter
|
Paramètre
|
Élément
appris pendant l'entraînement, qui définit le comportement du modèle.
|
|
Post-editing
|
Post-édition
|
Processus de
révision et de correction humaine du texte produit par un système de
traduction automatique ou un LLM, afin de garantir sa précision, sa fluidité
et son adéquation au contexte.
|
|
Preprocessing
|
Prétraitement
|
Étapes
initiales de nettoyage, de transformation et de formatage des données brutes
avant qu'elles ne soient utilisées pour entraîner un modèle d'IA. Essentiel
pour la qualité du modèle.
|
|
Pretrained
Model
|
Modèle
pré-entraîné
|
Un modèle
d'apprentissage automatique (comme un LLM) qui a déjà été entraîné sur un
très grand ensemble de données générales. Ce modèle peut ensuite être affiné
pour des tâches spécifiques.
|
|
Pretraining
|
Pré-entraînement
|
Processus
d'entraînement initial d'un modèle d'IA sur un vaste ensemble de données
générales pour lui faire acquérir une compréhension fondamentale des motifs
et des structures (par exemple, du langage pour un LLM).
|
|
Prompt
|
Invite /
Consigne
|
Texte
d'entrée destiné à guider la réponse du modèle.
|
|
Prompt
engineering
|
Conception
de prompts
|
Art de
formuler des consignes efficaces pour obtenir des résultats pertinents.
|
|
Q-Learning
|
Apprentissage
Q
|
Algorithme
d'apprentissage par renforcement qui permet à un agent d'apprendre la
meilleure action à prendre dans un environnement donné pour maximiser une
récompense, sans nécessiter de modèle de l'environnement.
|
|
Quantization
|
Quantification
|
Technique de
compression qui réduit la précision numérique des poids et des activations
d'un modèle d'IA (passant par exemple de 32 bits à 8 bits). Cela réduit la
taille du modèle et accélère son exécution, mais peut affecter légèrement la
performance.
|
|
Query
|
Requête /
Question
|
L'entrée
(souvent sous forme de texte) donnée à un système d'IA ou à un moteur de
recherche pour obtenir une réponse ou un résultat. Pour un LLM, c'est souvent
synonyme de prompt.
|
|
RAG
(Retrieval-Augmented Gen)
|
Génération
augmentée par recherche
|
Combinaison
de recherche documentaire et génération de texte.
|
|
Reinforcement
Learning
|
Apprentissage
par renforcement
|
Type
d'apprentissage automatique où un agent apprend à prendre des décisions dans
un environnement en recevant des récompenses ou des pénalités en fonction de
ses actions. C'est utilisé pour aligner les LLM (via RLHF).
|
|
Retrieval-Augmented
Generation (RAG)
|
Génération
augmentée par la récupération (RAG)
|
Technique qui
combine les capacités de génération de texte d'un LLM avec un système de
récupération d'informations. Le LLM recherche des informations pertinentes
dans une base de données externe pour ancrer sa réponse et réduire les
hallucinations.
|
|
Reward
Model
|
Modèle de
récompense
|
Un modèle
auxiliaire, souvent utilisé dans le RLHF, qui est entraîné à prédire la
"qualité" ou la "préférence humaine" d'une réponse
générée par un LLM. Il est ensuite utilisé pour guider l'entraînement par
renforcement du LLM principal.
|
|
RLHF
|
Apprentissage
par renforcement avec retour humain
|
Méthode
d’entraînement basée sur des préférences humaines.
|
|
Rouge
Score
|
Score
ROUGE
|
(Recall-Oriented
Understudy for Gisting Evaluation) Métrique utilisée pour évaluer la qualité
des résumés ou des textes générés en comparant les n-grammes de la sortie du
modèle avec ceux d'un ou plusieurs résumés de référence écrits par des
humains.
|
|
Scaling
Laws
|
Lois
d'échelle
|
Observations
empiriques qui décrivent comment la performance des LLM (et d'autres modèles
d'apprentissage profond) s'améliore de manière prévisible à mesure que la
taille du modèle, la taille des données d'entraînement et la puissance de
calcul augmentent.
|
|
Self-attention
|
Auto-attention
|
Mécanisme qui
permet au modèle de pondérer chaque mot en fonction de sa pertinence.
|
|
Self-Supervised
Learning
|
Apprentissage
auto-supervisé
|
Type
d'apprentissage automatique où un modèle apprend à partir de données non
étiquetées en générant ses propres signaux de supervision. Par exemple,
masquer des mots dans une phrase et les prédire est une forme d'apprentissage
auto-supervisé utilisée dans le pré-entraînement des LLM.
|
|
Semantic
Search
|
Recherche
sémantique
|
Type de
recherche qui interprète le sens et l'intention de la requête de
l'utilisateur plutôt que de se fier uniquement à la correspondance exacte des
mots-clés, permettant des résultats plus pertinents. Les LLM peuvent
améliorer considérablement la recherche sémantique.
|
|
Sentiment
Analysis
|
Analyse de
sentiment
|
Tâche du TLN
qui consiste à déterminer la tonalité émotionnelle (positive, négative,
neutre) ou l'opinion exprimée dans un texte.
|
|
Softmax
|
Softmax
|
Fonction
mathématique couramment utilisée dans la couche de sortie des réseaux
neuronaux pour convertir une série de valeurs numériques en une distribution
de probabilité. Dans un LLM, elle transforme les scores de chaque jeton
possible en probabilités de sélection pour le prochain jeton.
|
|
Supervised
fine-tuning
|
Ajustement
supervisé
|
Réentraînement
d’un modèle avec des données étiquetées.
|
|
Supervised
Learning
|
Apprentissage
supervisé
|
Type
d'apprentissage automatique où le modèle apprend à partir d'un ensemble de
données étiquetées (c'est-à-dire que chaque entrée est associée à la bonne
sortie). La majorité des tâches de classification et de régression en IA sont
basées sur l'apprentissage supervisé.
|
|
Temperature
|
Température
|
Paramètre qui
ajuste la diversité des réponses générées.
|
|
Terminology
extraction
|
Extraction
terminologique
|
Processus
automatique ou assisté par ordinateur d'identification et d'extraction de
termes spécifiques à un domaine (vocabulaire technique, jargon) à partir de
corpus de texte. Utile pour la traduction spécialisée.
|
|
Text
generation
|
Génération
de texte
|
Capacité d'un
système d'IA à produire du nouveau texte qui soit cohérent, pertinent et
souvent créatif, en réponse à un prompt. C'est la fonction principale des LLM
génératifs.
|
|
Text
segmentation
|
Segmentation
de texte
|
Processus de
division d'un texte en unités plus petites et significatives, comme des
phrases, des paragraphes ou des jetons, pour faciliter le traitement par un
modèle d'IA.
|
|
Text
Token
|
Jeton de
texte
|
Voir Token.
|
|
Token
|
Jeton
|
Unité
élémentaire (mot ou fragment de mot) traitée par le modèle.
|
|
Tokenization
|
Tokenisation
|
Processus de
découpage d'une séquence de texte en unités plus petites appelées jetons
(mots, sous-mots, caractères, symboles). C'est la première étape du
traitement de texte pour les LLM.
|
|
Tokenizer
|
Tokeniseur
|
Outil qui
découpe un texte en unités (tokens) compréhensibles par le modèle.
|
|
Top-K
Sampling
|
Échantillonnage
Top-K
|
Technique de
génération de texte dans les LLM où le modèle ne considère que les K
prochains jetons les plus probables à un moment donné, et échantillonne le
prochain jeton parmi ceux-ci. Cela aide à éviter la répétition tout en
maintenant la pertinence.
|
|
Top-P
Sampling (Nucleus Sampling)
|
Échantillonnage
Top-P (Échantillonnage par noyau)
|
Technique de
génération de texte plus flexible que le Top-K, où le modèle ne considère que
le plus petit ensemble de prochains jetons dont la somme des probabilités
dépasse un seuil P donné. Cela permet une plus grande diversité tout en
évitant les options très improbables.
|
|
Training
|
Entraînement
|
Processus par
lequel un modèle d'IA apprend à partir de données, en ajustant ses poids et
ses paramètres pour minimiser les erreurs et améliorer ses performances sur
la tâche visée.
|
|
Training
Data
|
Données
d'entraînement
|
L'ensemble
des données (texte, images, etc.) utilisées pour entraîner un modèle d'IA. La
qualité, la quantité et la diversité des données d'entraînement sont
cruciales pour la performance du modèle.
|
|
Transfer
Learning
|
Apprentissage
par transfert
|
Technique où
un modèle entraîné sur une tâche (ou un vaste ensemble de données) est
réutilisé comme point de départ pour une tâche différente mais liée. Le
pré-entraînement suivi de l'affinement est un exemple clé d'apprentissage par
transfert dans les LLM.
|
|
Transformer
|
Transformeur
|
Architecture
de réseau neuronal introduite en 2017, qui est devenue la base des modèles
d'IA les plus performants en PNL, y compris tous les LLM modernes. Elle
repose fortement sur le mécanisme d'attention et permet un traitement
parallèle efficace des séquences.
|
|
Tree-of-Thought
(ToT)
|
Arbre de
pensée
|
Extension du
Chain-of-Thought Prompting où le modèle explore plusieurs chemins de
raisonnement possibles, comme les branches d'un arbre, évalue chaque chemin,
et choisit le meilleur pour arriver à une solution plus robuste.
|
|
Underfitting
|
Sous-apprentissage
|
Phénomène où
un modèle d'IA est trop simple ou n'a pas été suffisamment entraîné pour
capturer les motifs sous-jacents dans les données, ce qui le rend peu
performant à la fois sur les données d'entraînement et sur les nouvelles
données.
|
|
Unsupervised
Learning
|
Apprentissage
non supervisé
|
Type
d'apprentissage automatique où le modèle apprend à partir de données non
étiquetées, en découvrant des structures, des motifs ou des relations cachées
dans les données sans intervention humaine directe pour fournir les bonnes
réponses.
|
|
Upsampling
|
Suréchantillonnage
|
Technique
utilisée dans la préparation des données pour augmenter le nombre
d'échantillons de la classe minoritaire dans un ensemble de données
déséquilibré, afin d'améliorer la performance du modèle pour cette classe.
|
|
Validation
|
Validation
|
Processus
d'évaluation de la performance d'un modèle d'IA sur des données qu'il n'a pas
vues pendant l'entraînement, afin de s'assurer qu'il généralise bien et n'est
pas en surapprentissage.
|
|
Validation
Set
|
Jeu de
validation
|
Un
sous-ensemble des données utilisées pendant l'entraînement d'un modèle d'IA,
spécifiquement réservé pour évaluer et ajuster le modèle à intervalles
réguliers sans utiliser les données du jeu de test final.
|
|
Vector
database
|
Base de
données vectorielle
|
Système qui
permet de stocker et interroger des représentations vectorielles de données.
|
|
Vision-Language
Model (VLM)
|
Modèle
Vision-Langage (VLM)
|
Type de
modèle multimodal capable de comprendre et de générer du contenu à partir de
données visuelles (images, vidéos) et de données textuelles. Il peut par
exemple décrire une image ou générer une image à partir d'une description.
|
|
Vocabulary
|
Vocabulaire
|
L'ensemble
unique de tous les jetons (mots, sous-mots) que le modèle d'IA a rencontrés
pendant son entraînement et qu'il est capable de comprendre ou de générer.
|
|
Weight
|
Poids
|
Des valeurs
numériques dans un réseau neuronal qui sont ajustées pendant le processus
d'entraînement. Ils déterminent la force des connexions entre les neurones et
l'importance relative des différentes entrées pour la prédiction finale du
modèle.
|
|
Word
Embedding
|
Plongement
de mot
|
Une forme
spécifique de plongement où chaque mot est représenté par un vecteur
numérique dense qui capture son sens sémantique et ses relations avec
d'autres mots.
|
|
Word2Vec
|
Word2Vec
|
Famille de
modèles (comme skip-gram et CBOW) qui sont utilisés pour créer des
plongements de mots efficaces en apprenant des représentations vectorielles
de mots à partir de grands corpus de texte.
|
|
Zero-Shot
Learning
|
Apprentissage
à zéro coup
|
Capacité d'un
modèle d'IA à effectuer une tâche ou à reconnaître une catégorie pour
laquelle il n'a reçu aucun exemple explicite pendant l'entraînement. Les LLM
peuvent souvent réaliser du "zero-shot learning" simplement en
recevant des instructions claires dans le prompt.
|
|
Zero-shot
translation
|
Traduction
à zéro coup
|
Capacité d'un
modèle de traduction automatique multilingue à traduire directement entre
deux langues sans avoir été explicitement entraîné sur des paires de textes
parallèles pour ces deux langues. Le modèle déduit la traduction via une
langue pivot interne ou une compréhension linguistique générale.
|
|
Z-Score
|
Score Z
|
Une mesure
statistique qui indique le nombre d'écarts-types qu'une valeur donnée est
éloignée de la moyenne d'un ensemble de données. Utilisé dans l'analyse de
données pour normaliser et comparer des points de données.
|
