Découvrez ici les significations de tous les termes que vous pouvez entendre dans le jargon de l’intelligence artificielle.
un token
Un “token” dans le contexte des modèles génératifs fait référence à une unité de base ou à un élément discret de données utilisé par le modèle pour générer du texte ou d’autres formes de contenu. Dans les modèles de langage comme ceux développés par OpenAI (comme GPT-3, GPT-4, etc.), un token peut être un mot, un symbole, voire une sous-unité plus petite, telle qu’un morceau de mot ou un caractère.
Chaque mot, nombre, ponctuation, ou toute unité interprétable par le modèle est considéré comme un token. Ces tokens sont analysés et manipulés par le modèle afin de générer des phrases, des paragraphes, voire des textes entiers, en fonction des inputs et des paramètres spécifiés. En termes plus simples, on peut considérer un token comme étant l’équivalent d’un élément constitutif de la syntaxe ou de la sémantique du langage utilisé par le modèle de langage.
Grand modèle de language (LLM)
Un modèle qui génère de nouveaux contenus comme du texte, des images, ou d’autres types de données. Exemples : GPT (Generative Pre-trained Transformer), DALL·E.
Apprentissage supervisé
Un processus d’apprentissage où le modèle est entraîné sur des données étiquetées, lui permettant d’associer des entrées à des sorties spécifiques.
Apprentissage non supervisé
Un processus d’apprentissage où le modèle apprend à partir de données non étiquetées sans directives explicites.
Fine-tuning (ajustement fin)
Un processus où un modèle déjà entraîné est adapté à des données spécifiques ou à une tâche particulière pour améliorer sa performance.
Réseau neuronal
Un ensemble d’algorithmes inspirés du fonctionnement du cerveau humain, utilisé pour reconnaître des schémas dans les données.
Encoder-Décodeur
Une architecture de réseau neuronal qui convertit l’entrée (encodage) en une représentation intermédiaire puis la décode pour produire la sortie.
Image-to-Image
Un modèle qui prend une image en entrée et génère une autre image, par exemple, la traduction d’une image en une autre.
Mémoire à court et long terme (LSTM)
Un type de réseau neuronal récurrent utilisé pour conserver et utiliser des informations sur des périodes de temps différentes.
Autoencodeur
Un modèle qui apprend à représenter de manière compressée l’information, puis à la reconstruire à partir de cette représentation.
Adversarial Networks (GAN)
Un système de deux réseaux neuronaux qui s’affrontent, l’un générant du contenu et l’autre le jugeant, permettant ainsi une amélioration continue de la génération.
Cycle-consistency
Une technique où un modèle assure la cohérence des transformations d’un type de données à un autre et vice versa.
Ces termes constituent une base pour comprendre les concepts fondamentaux dans le domaine de l’IA générative. Il est important de noter que ce domaine est en constante évolution, et de nouveaux termes et avancées peuvent émerger au fil du temps.