La liste A-Z suivante vous offre un aperçu clair et facile à comprendre des principaux termes techniques de ChatGPT.

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

A

ArchitectureArchitecture : En ce qui concerne ChatGPT, l'architecture fait référence à la structure du réseau neuronal et à la manière dont ses différents composants interagissent.

Fonction d'activation: fonction d'un réseau neuronal qui détermine si et dans quelle mesure un neurone est activé. Différentes fonctions d'activation sont utilisées dans ChatGPT.

Mécanisme d'attention: un mécanisme dans les modèles basés sur des transformateurs tels que ChatGPT, qui détermine les parties d'une séquence d'entrée auxquelles le modèle doit accorder plus d'attention.

Modèles autorégressifs: il s'agit de modèles qui font des prédictions sur la base de sorties antérieures. GPT, l'architecture derrière ChatGPT, est un modèle autorégressif.

Abstraction: La capacité de ChatGPT à expliquer des concepts et des idées complexes dans un langage simple et facile à comprendre.

Stockage associatif: concept d'IA dans lequel les informations sont stockées de manière à pouvoir être récupérées par des concepts ou un contexte apparentés. Il s'agit d'un aspect important du fonctionnement de ChatGPT.

Détection d'anomalies: dans certains cas d'utilisation, ChatGPT peut être utilisé pour détecter des modèles ou des écarts inhabituels dans les données textuelles.

B

Backpropagation: algorithme utilisé dans l'apprentissage automatique pour optimiser des modèles tels que ChatGPT. Il calcule le gradient de la fonction de perte par rapport aux poids du modèle.

Batch: groupe de données d'entrée qui sont traitées simultanément dans le cadre du processus d'apprentissage. L'utilisation de lots permet une utilisation efficace des ressources matérielles.

Recherche par faisceau: Stratégie de recherche utilisée dans le traitement du langage naturel pour trouver les meilleures correspondances dans un modèle tel que ChatGPT. Elle sélectionne les prochaines étapes les plus probables en fonction de ses estimations actuelles.

Biais: Dans le contexte de l'apprentissage automatique et de l'IA, les biais font référence à la tendance d'un modèle à commettre des erreurs systématiques en raison de certaines hypothèses sur les données. Celles-ci peuvent survenir en raison des données d'apprentissage.

Back-Translation: technique de traduction automatique qui consiste à traduire un texte dans une autre langue, puis à le retraduire dans la langue d'origine afin de vérifier l'exactitude de la traduction. Cette technique pourrait être utilisée dans certains cas d'application avec ChatGPT.

Bag of Words: modèle ou représentation de texte dans lequel chaque mot d'un document est considéré indépendamment de sa position ou des mots qui l'entourent. Alors que ChatGPT est bien plus avancé que les modèles Bag of Words, ce concept est un élément fondamental du traitement de texte et de l'apprentissage automatique.

Byte Pair Encoding (BPE): algorithme de compression de données et de traitement de données textuelles en apprentissage automatique. Dans ChatGPT, le BPE est utilisé pour décomposer le texte en jetons.

C

Réseaux neuronaux convolutifs (CNN): un type de réseau neuronal généralement utilisé pour les tâches de traitement d'images. Alors que ChatGPT est principalement basé sur des modèles de transformateurs, les CNN ont également une influence dans le domaine de l'apprentissage automatique et de l'IA.

Classifier: type de modèle d'apprentissage automatique utilisé pour catégoriser ou classer les entrées. ChatGPT peut être considéré comme un classificateur complexe qui classe les entrées de texte en différentes catégories de sorties de texte.

Chatbot: programme capable de mener des conversations semblables à celles des humains. ChatGPT est un exemple de chatbot avancé.

ContexteContexte : Le contexte fait référence aux informations environnantes ou à l'arrière-plan nécessaire à la compréhension d'une information donnée. ChatGPT utilise le contexte de la conversation précédente pour générer des réponses pertinentes et cohérentes.

Corpus: ensemble de textes utilisés pour former des modèles d'apprentissage automatique tels que ChatGPT.

Entropie croisée: mesure de la différence entre la prédiction d'un modèle et les données réelles. Dans la formation de ChatGPT, l'entropie croisée est utilisée comme fonction de perte afin d'optimiser le modèle.

Apprentissage continu: processus par lequel un modèle d'apprentissage automatique apprend continuellement de nouvelles données et améliore ses prédictions au fil du temps. Alors que ChatGPT n'apprend pas en continu (il s'entraîne plutôt par "lots"), l'apprentissage continu est une tendance importante dans le domaine de l'apprentissage automatique.

D

Deep Learning: un sous-domaine de l'apprentissage automatique qui se concentre sur l'utilisation de réseaux neuronaux artificiels à plusieurs couches (d'où le terme "profond"). ChatGPT est un produit du deep learning.

Dataset: la collection de données utilisée pour former un modèle d'apprentissage automatique. Pour ChatGPT, le dataset est constitué de grandes quantités de texte.

Décodage: le processus de génération des sorties sur la base des états internes du modèle. Dans ChatGPT, cela inclut la génération de réponses textuelles aux requêtes des utilisateurs.

Dropout: technique visant à réduire l'overfitting dans les réseaux neuronaux en ignorant des neurones choisis au hasard pendant la formation.

Déterministe: système ou processus qui donne toujours le même résultat lorsqu'il est exécuté avec les mêmes données d'entrée. ChatGPT est généralement déterministe, bien que certaines fonctions comme la température et l'échantillonnage top-k puissent faire varier ses sorties.

Dimensionnalité: en termes d'apprentissage automatique, la dimensionnalité fait référence au nombre de caractéristiques ou de variables dans un ensemble de données. Dans ChatGPT, chaque jeton a une dimensionnalité élevée, car il est représenté par un vecteur hautement dimensionnel.

E

Encodeur: partie des modèles d'apprentissage automatique qui transforme les entrées en une représentation interne. ChatGPT est un modèle à décodeur seul, c'est-à-dire qu'il n'utilise qu'un seul décodeur, mais le concept d'encodeur est largement utilisé dans l'IA et l'apprentissage automatique.

Epoch: un passage complet à travers l'ensemble des données de formation pendant la formation d'un modèle d'apprentissage automatique. Pour les grands modèles comme ChatGPT, chaque épochè peut prendre beaucoup de temps.

Évaluation: processus consistant à mesurer les performances d'un modèle d'apprentissage automatique. Dans le cas de ChatGPT, cela peut inclure l'évaluation de la précision, de la cohérence et de la pertinence de ses textes générés.

Embeddings: représentations d'espaces vectoriels de données utilisées dans les modèles d'apprentissage automatique. Dans ChatGPT, les mots ou les tokens sont transformés en vecteurs, appelés embeddings.

Entropie: concept issu de la théorie de l'information, souvent utilisé pour quantifier l'imprévisibilité ou le contenu informatif des données. Lors de la génération de texte avec ChatGPT, l'entropie peut être utilisée pour contrôler la variabilité de la sortie.

Ensemble: méthode d'apprentissage automatique qui consiste à combiner plusieurs modèles pour obtenir de meilleures prédictions. Alors que ChatGPT n'est pas un ensemble en soi, plusieurs instances de ChatGPT ou d'autres modèles peuvent être utilisés comme ensemble dans certaines applications.

F

Fine-tuning: le processus d'adaptation d'un modèle pré-entraîné à une tâche spécifique par un entraînement supplémentaire sur un ensemble de données plus petit et plus spécifique. ChatGPT est finement ajusté pour apprendre des compétences de dialogue spécifiques.

Caractéristique: en IA et en apprentissage automatique, une caractéristique désigne une propriété ou une caractéristique individuelle mesurable d'un phénomène qui est observé. Dans le cas de ChatGPT, les "caractéristiques" pourraient être les différents mots ou phrases du texte.

Feedforward Neural Network: type de réseau neuronal artificiel dans lequel les connexions entre les nœuds ne sont pas cycliques. Les modèles GPT, y compris ChatGPT, sont un type de réseau feedforward.

Couche entièrement connectée: couche d'un réseau neuronal dans laquelle chaque neurone est connecté à chaque neurone de la couche précédente. Ces couches sont souvent utilisées dans les modèles d'IA et de ML, y compris ChatGPT.

F1 Score: mesure de la précision d'un modèle dans la restitution d'informations et les tâches de classification, qui tient compte à la fois de la précision et du rappel. Il pourrait être utilisé pour évaluer la performance de ChatGPT dans des tâches spécifiques.

Fine-grained: une description pour les modèles ou les tâches qui nécessitent un haut niveau de détail ou de spécificité. Certaines applications de ChatGPT pourraient être considérées comme "fine-grained".

Framework: un framework logiciel est une plateforme abstraite qui fournit un logiciel offrant un code commun avec des fonctionnalités génériques. ChatGPT peut être implémenté dans différents frameworks tels que TensorFlow ou PyTorch.

G

Modèles génératifs: modèle d'apprentissage automatique capable de générer de nouvelles données qui ressemblent aux données d'apprentissage. ChatGPT est un exemple de modèle génératif, car il est capable de générer des textes ressemblant à des humains.

Gradient Descent: méthode d'optimisation souvent utilisée pour entraîner les modèles d'apprentissage automatique, y compris ChatGPT. Elle minimise de manière itérative une fonction de perte en se déplaçant dans la direction de la descente la plus abrupte.

GPU (Graphics Processing Unit): Un type spécial de matériel informatique particulièrement adapté au traitement parallèle, ce qui le rend idéal pour l'entraînement de grands réseaux neuronaux comme ChatGPT.

GPT (Generative Pretrained Transformer): L'architecture spécifique sur laquelle ChatGPT est basé. GPT est un modèle basé sur un transformateur qui est pré-entraîné sur une grande quantité de données textuelles et qui est ensuite utilisé pour générer du texte.

Greedy Decoding: méthode de génération de texte à partir d'un modèle tel que ChatGPT, qui sélectionne toujours le mot ou le jeton suivant le plus probable.

Généralisation: capacité d'un modèle d'apprentissage automatique à bien performer sur de nouvelles données qui n'ont pas été vues auparavant. Un modèle qui généralise bien peut appliquer des concepts issus de ses données d'apprentissage à de nouvelles données.

Ground Truth: l'information "vraie" ou le résultat correct par rapport auquel les prédictions d'un modèle d'apprentissage automatique peuvent être comparées. Dans le cas de ChatGPT, la "ground truth" est moins clairement définie, car il n'existe pas de réponse clairement correcte à de nombreuses entrées.

H

Heuristique: une méthode pratique de résolution de problèmes qui n'est pas toujours optimale, mais qui peut conduire dans de nombreux cas à une solution rapide et satisfaisante. Lors de la génération de texte avec ChatGPT, des méthodes heuristiques peuvent être utilisées pour guider le processus de génération.

Hyperparamètres: Paramètres d'un modèle d'apprentissage automatique qui sont définis avant l'apprentissage et qui influencent son comportement et ses performances. Des exemples d'hyperparamètres dans ChatGPT pourraient être le taux d'apprentissage, la taille du lot ou la valeur de l'abandon.

Couche cachée: couches au sein d'un réseau neuronal, situées entre la couche d'entrée et la couche de sortie. Elles effectuent le traitement interne du réseau. ChatGPT, comme la plupart des modèles d'apprentissage profond, possède de nombreuses couches cachées.

État caché (hidden state) : L'état interne d'un réseau neuronal, basé sur l'entrée actuelle et les états précédents. Dans ChatGPT, l'état caché détermine quel sera le prochain mot généré.

Hugging Face: une entreprise qui a développé une série de bibliothèques pour l'apprentissage automatique et le traitement du langage naturel. Leur bibliothèque Transformers contient des implémentations de ChatGPT et de nombreux autres modèles.

Matériel: les composants physiques d'un système informatique. L'entraînement et l'exécution de ChatGPT nécessitent du matériel spécifique, notamment des GPU (Graphics Processing Units).

Human-in-the-loop: modèle d'interaction dans lequel un opérateur humain est impliqué dans le processus d'utilisation d'une IA ou d'un système d'apprentissage automatique. Dans le cas de ChatGPT, par exemple, un humain pourrait jouer le rôle de superviseur, vérifiant les réponses du modèle et les corrigeant si nécessaire.

I

Inference: processus d'utilisation d'un modèle entraîné pour prédire des sorties basées sur de nouvelles entrées. Dans ChatGPT, il s'agit du processus de génération de réponses aux entrées de l'utilisateur.

Itération: une répétition d'un processus. Dans le contexte de l'apprentissage automatique, une itération fait souvent référence à une exécution sur un sous-ensemble (un "lot") de données d'apprentissage.

Couche d'entrée: la première couche d'un réseau neuronal qui reçoit les données d'entrée. Dans le cas de ChatGPT, il s'agirait des entrées de texte codées.

Initialisation: Processus de définition des valeurs initiales des poids dans un réseau neuronal avant l'apprentissage. La méthode d'initialisation peut avoir une influence considérable sur la performance du modèle.

Information Retrieval: le domaine de l'informatique qui s'occupe de la recherche et de la récupération d'informations dans des documents ou des bases de données. ChatGPT peut être utilisé pour des tâches de recherche d'informations en comprenant les requêtes des utilisateurs et en fournissant des informations pertinentes.

Interprétabilité: capacité à comprendre et à expliquer les décisions ou les prédictions d'un modèle d'IA. L'interprétabilité de modèles tels que ChatGPT est souvent un défi, car ils sont basés sur des réseaux neuronaux complexes.

Imputation: processus de remplacement des données manquantes par des valeurs estimées. Bien que cela ne s'applique pas directement à ChatGPT, il s'agit d'un concept important dans le traitement des données et l'apprentissage automatique.

J

JSON (JavaScript Object Notation): Un format de données courant, souvent utilisé pour échanger des données entre le serveur et les applications web. Lors d'une interaction avec ChatGPT via une API, les demandes et les réponses pourraient être structurées au format JSON.

Jupyter Notebook: Une application web open source qui permet de créer et de partager des documents contenant du code en direct, des équations, des visualisations et du texte narratif. Les Jupyter Notebooks sont un outil populaire dans le développement de la science des données et de l'IA et peuvent être utilisés pour interagir avec ChatGPT et réaliser des expériences.

Java: un langage de programmation orienté objet très répandu. Bien que ChatGPT soit implémenté en Python, il pourrait être possible d'appeler le modèle à partir d'une application Java, par exemple via une API.

Julia: un langage de programmation haute performance pour l'informatique technique. Julia est de plus en plus populaire dans le domaine de l'IA et de l'apprentissage automatique, même si Python reste actuellement le langage le plus répandu dans ces domaines.

K

IA (Intelligence Artificielle): Le domaine de l'informatique qui s'occupe de la création de systèmes capables d'accomplir des tâches qui nécessitent normalement l'intelligence humaine. ChatGPT est un exemple d'IA, car il peut générer un texte semblable à celui des humains.

Graphique des connaissances: Base de connaissances utilisée par les systèmes d'IA pour comprendre les relations entre différents concepts. Alors que ChatGPT n'utilise pas directement un Knowledge Graph, sa compréhension du texte est basée sur les relations entre les mots et les concepts dans les données sur lesquelles il a été entraîné.

Keras: une bibliothèque Python pour l'apprentissage automatique et les réseaux neuronaux. Elle peut servir d'interface avec TensorFlow, l'une des principales plateformes pour l'apprentissage de modèles tels que ChatGPT.

Noyau: fonction utilisée dans de nombreux domaines de l'apprentissage automatique, y compris les machines vectorielles de support et l'astuce du noyau. En ce qui concerne ChatGPT, le terme "noyau" est moins pertinent.

K-fold Cross Validation: méthode d'évaluation des performances des modèles d'apprentissage automatique qui consiste à diviser les données d'apprentissage en K parties égales. Elle pourrait être utilisée pour évaluer la robustesse de ChatGPT, mais elle est rare dans la pratique en raison de la taille et de la complexité du modèle.

L

Language Model (modèle linguistique): Modèle qui prédit la probabilité de séquences de mots dans une langue donnée. ChatGPT est un modèle linguistique qui génère du texte sur la base de probabilités.

LSTM (Long Short-Term Memory): Un type de réseau neuronal récurrent spécialement conçu pour apprendre les longues dépendances dans les données de séquence. Bien que ChatGPT soit basé sur l'architecture Transformer et n'utilise pas de LSTM, les LSTM sont un concept important dans le traitement des données de séquence.

Learning Rate (taux d'apprentissage): Un hyperparamètre qui détermine dans quelle mesure un modèle d'apprentissage automatique est mis à jour pendant l'entraînement. Un taux d'apprentissage trop élevé peut entraîner une instabilité, tandis qu'un taux d'apprentissage trop faible peut ralentir l'apprentissage.

Loss Function (fonction de perte): Une fonction utilisée pendant l'apprentissage d'un modèle d'apprentissage automatique pour mesurer la différence entre les prédictions du modèle et les valeurs réelles. ChatGPT minimise une fonction de perte pour mieux apprendre à générer un texte semblable à celui d'un humain.

Espace latent: concept issu de l'apprentissage automatique, dans lequel des données de grande dimension sont réduites à une dimensionnalité inférieure, créant ainsi une représentation "cachée" ou "latente" des données. Alors que ChatGPT n'utilise pas explicitement un espace latent, il crée des représentations internes de texte qui pourraient être considérées comme latentes dans une certaine mesure.

Library: ensemble de fonctions et de méthodes mises à la disposition d'un programmeur pour faciliter le développement. ChatGPT peut être implémenté à l'aide de différentes bibliothèques, dont PyTorch, TensorFlow et la bibliothèque Transformers de Hugging Face.

M

Machine Learning (apprentissage automatique): Domaine de l'intelligence artificielle qui permet aux algorithmes et aux modèles statistiques d'effectuer des tâches sans être explicitement programmés. ChatGPT est un produit de l'apprentissage automatique.

Model (modèle): Un modèle est une représentation simplifiée ou une abstraction de quelque chose de plus complexe. Dans le contexte de ChatGPT, le modèle est un grand ensemble de connexions pondérées qui utilisent le modèle pour générer une sortie sur la base d'une entrée donnée.

Multi-Head Attention: mécanisme utilisé dans les modèles de transformateurs tels que ChatGPT, qui permet au modèle de prendre en compte simultanément différents aspects d'une entrée.

Les métadonnées: Données contenant des informations sur d'autres données. Lorsqu'on travaille avec ChatGPT, les métadonnées pourraient contenir des informations sur le type de saisie ou le contexte de la conversation.

Masquage: procédé consistant à masquer certaines parties de l'entrée pendant l'apprentissage d'un modèle afin d'éviter que le modèle ne devienne dépendant de ces parties. Dans le contexte de ChatGPT, cela est moins pertinent car le modèle est autorégressif et fait toujours des prédictions sur la base des mots générés jusqu'à présent.

Microarchitecture: se réfère aux éléments de conception spécifiques d'un processeur d'ordinateur. Lorsque l'on travaille avec l'IA et l'apprentissage automatique, comme par exemple ChatGPT, les exigences en matière de microarchitecture sont particulièrement élevées, car ces modèles nécessitent souvent une puissance de calcul considérable.

Apprentissage multitâche: une approche de l'apprentissage automatique dans laquelle un modèle est entraîné à plusieurs tâches à la fois dans l'espoir d'apprendre des représentations plus générales. Bien que ChatGPT ait été spécifiquement entraîné comme modèle linguistique, il peut être utilisé pour une grande variété de tâches, y compris la génération de texte, la compréhension de texte et même la traduction de texte.

N

Neural Network (réseau neuronal): Modèle inspiré de la structure du cerveau humain, composé de couches de nœuds ou "neurones" reliés entre eux. ChatGPT est basé sur un type de réseau neuronal connu sous le nom de "transformateur".

Natural Language Processing (NLP, traitement du langage naturel): Un domaine de l'intelligence artificielle qui s'occupe de l'interaction entre les ordinateurs et le langage humain. ChatGPT est un modèle NLP.

Non-linearity: fonction utilisée dans les réseaux neuronaux pour augmenter la complexité du modèle et capturer les relations non linéaires dans les données. Dans le cas de ChatGPT, des fonctions d'activation telles que ReLU ou Gelu sont utilisées pour introduire des non-linéarités.

Normalisation: processus d'ajustement des valeurs d'un ensemble de données à une échelle commune. Dans le contexte des réseaux neuronaux, comme ChatGPT, la normalisation peut s'appliquer aux données d'entrée ou aux sorties des neurones.

N-gram (ou gram) : Un ensemble contigu de N mots dans un texte. Alors que les n-grammes sont souvent utilisés dans les modèles linguistiques statistiques plus traditionnels, ChatGPT, en tant que modèle neuronal, ne les utilise pas explicitement.

Bruit: Variations non systématiques ou aléatoires dans un ensemble de données. Dans le contexte de l'apprentissage automatique, le "bruit" dans les données peut influencer l'apprentissage d'un modèle tel que ChatGPT.

NVIDIA: société qui fabrique un grand nombre des GPU utilisés pour l'entraînement et l'exécution de modèles tels que ChatGPT. NVIDIA a également développé des bibliothèques logicielles telles que CUDA et cuDNN, qui accélèrent les calculs sur ses GPU.

O

Overfitting: phénomène d'apprentissage automatique dans lequel un modèle apprend trop précisément les données d'entraînement et généralise donc mal à de nouvelles données non encore vues. Lors du développement de ChatGPT, des techniques telles que la régularisation et le dropout ont été utilisées pour éviter l'overfitting.

Couche de sortie: la dernière couche d'un réseau neuronal qui fournit les prédictions ou sorties finales du modèle. Dans le cas de ChatGPT, il s'agirait de la couche qui génère les prédictions pour le mot suivant dans la séquence de texte.

OpenAI: l'organisation qui a développé ChatGPT. OpenAI est une organisation de recherche en intelligence artificielle qui se consacre au développement de technologies d'IA sûres et utiles et qui met leurs avantages à la disposition de tous.

Optimization (optimisation): Processus consistant à ajuster les paramètres d'un modèle afin d'améliorer ses performances. Dans le contexte de ChatGPT, cela se fait par l'entraînement du modèle, où les poids sont ajustés afin de maximiser la précision de la prédiction.

Objective Function (fonction cible): Une fonction qu'un modèle d'apprentissage automatique tente de maximiser ou de minimiser. Dans le cas de ChatGPT, il s'agit de la probabilité des séquences de texte générées, mesurée par rapport aux données d'apprentissage.

One-hot Encoding: méthode de représentation des variables catégorielles sous forme de vecteurs binaires. Bien que ChatGPT n'utilise pas directement le One-hot Encoding (il utilise à la place une méthode appelée tokenisation), il s'agit d'un concept répandu dans le traitement des données textuelles.

Out-of-vocabulary (OOV): Un terme qui se réfère aux mots qui ne font pas partie du vocabulaire d'un modèle linguistique. ChatGPT utilise une méthode de tokenisation spéciale pour atténuer ce problème en décomposant les mots en unités plus petites (appelées "tokens").

P

Pré-entraînement: la première étape de l'entraînement de modèles tels que ChatGPT, au cours de laquelle le modèle est entraîné sur un grand corpus de texte afin d'apprendre la structure et le modèle du langage humain. Il s'agit de l'étape au cours de laquelle le modèle apprend à générer un texte cohérent.

Paramètres: Variables d'un modèle qui sont ajustées pendant le processus de formation. Dans le cas de ChatGPT, les paramètres sont les poids dans les réseaux neuronaux qui constituent le modèle.

PyTorch: bibliothèque open source pour l'apprentissage automatique, souvent utilisée pour le développement et l'entraînement de modèles d'IA, y compris ChatGPT.

Modélisation prédictive: le processus d'utilisation d'algorithmes statistiques et d'apprentissage automatique pour prédire les résultats futurs. ChatGPT est un exemple de modèle prédictif, car il fait des prédictions sur les prochains mots qui devraient apparaître dans une séquence de texte.

Probability Distribution: fonction mathématique qui représente les probabilités de différents résultats possibles dans une expérience. Dans ChatGPT, la sortie du modèle correspond à une distribution de probabilité sur le prochain mot d'une séquence.

Perplexité: mesure de l'incertitude d'un modèle de probabilité sur une série de sorties. Dans la modélisation du langage, y compris ChatGPT, la perplexité est souvent utilisée pour évaluer la qualité d'un modèle.

Padding: procédé utilisé pour ramener les séquences d'entrée d'un réseau neuronal à une longueur uniforme. Dans la pratique, le padding est souvent utilisé en combinaison avec le traitement par lots, ce qui est important pour l'entraînement de modèles tels que ChatGPT.

Q

Query: Dans le contexte de l'architecture Transformer sur laquelle ChatGPT est basé, une requête est un vecteur qui sert à calculer les poids d'attention. Dans chaque bloc Transformer, il y a une requête, une clé et une valeur qui, ensemble, forment le mécanisme de "Scaled Dot-Product Attention".

Q-Learning: un type d'apprentissage par renforcement dans lequel un agent apprend à créer une politique basée sur une fonction de qualité des actions. Bien que ChatGPT n'utilise pas directement le Q-learning, il s'agit d'un concept important dans l'IA et pourrait être utilisé dans de futures versions de ChatGPT ou de modèles similaires.

Quantification: processus de réduction du nombre de valeurs différentes que peut prendre un ensemble continu de valeurs. En termes d'apprentissage automatique, la quantification peut servir à comprimer les modèles et à améliorer leur vitesse et leur efficacité. Il convient toutefois de noter que ChatGPT n'est pas quantifié dans sa forme actuelle.

Réseau neuronal quasi-récurrent (QRNN): type de réseau neuronal qui combine certaines des caractéristiques des RNN conventionnels et des réseaux neuronaux convolutionnels (CNN). Bien que ChatGPT soit basé sur l'architecture Transformer et n'utilise pas les QRNN, ils constituent un concept pertinent dans la recherche en IA.

R

Réseau neuronal récurrent (RNN): type de réseau neuronal spécialement conçu pour traiter des données séquentielles en stockant des informations sur les entrées précédentes dans son état interne. Bien que ChatGPT ne soit pas basé sur les RNN, mais sur une architecture appelée Transformer, les RNN sont un concept important en PNL.

Régularisation: techniques utilisées pour éviter l'overfitting dans un modèle d'apprentissage automatique en limitant la complexité du modèle. Dans le cas de ChatGPT, cela peut être réalisé par des méthodes telles que la perte de poids ou le dropout.

ReLU (Rectified Linear Unit): Une fonction d'activation utilisée dans les réseaux neuronaux. Bien qu'elle ne soit pas spécifiquement utilisée dans ChatGPT (qui utilise à la place la fonction d'activation GELU), ReLU est l'une des fonctions d'activation les plus utilisées dans l'apprentissage automatique.

Reinforcement Learning (apprentissage par renforcement): Un domaine de l'apprentissage automatique dans lequel un agent apprend à effectuer des actions optimales en interagissant avec son environnement. Bien que ChatGPT ne soit pas entraîné par l'apprentissage par renforcement, il s'agit d'un concept important dans le domaine de l'IA.

Classement: tâche consistant à classer des éléments en fonction de leur pertinence ou de leur importance. Dans le contexte de ChatGPT, cela pourrait signifier classer les réponses générées en fonction de leur probabilité.

Initialisation aléatoire: processus d'initialisation des poids d'un réseau neuronal avec de petites valeurs aléatoires au début de la formation. Cette méthode est également utilisée dans ChatGPT.

Réseau neuronal récurrent (RNN): type de réseau neuronal conçu pour traiter des données séquentielles en stockant des informations sur les entrées précédentes. Bien que ChatGPT soit basé sur l'architecture Transformer et non sur les RNN, les RNN sont un concept pertinent dans le domaine de l'IA et de la PNL.

S

Modèle de séquence à séquence (Seq2Seq): Une classe de modèles visant à transformer une séquence d'entrée en une séquence de sortie. Ces modèles sont souvent utilisés pour des tâches telles que la traduction automatique ou le résumé de texte. ChatGPT peut être considéré comme un modèle Seq2Seq, car il transforme le texte d'entrée en texte de sortie.

Supervised Learning (apprentissage supervisé): Un type d'apprentissage automatique dans lequel un modèle apprend à partir d'exemples de paires entrée-sortie. Le pré-apprentissage de ChatGPT peut être considéré comme une forme d'apprentissage supervisé, car le modèle apprend à partir de paires de séquences de texte et de leurs suites.

Stochastic Gradient Descent (SGD): méthode d'optimisation souvent utilisée pour entraîner les modèles d'apprentissage automatique, y compris ChatGPT. Dans SGD, le gradient de la fonction de perte est estimé par rapport aux paramètres du modèle et utilisé pour modifier les paramètres dans la direction qui minimise la perte.

Fonction Softmax: fonction souvent utilisée dans les modèles d'apprentissage automatique pour convertir les sorties d'un modèle en une distribution de probabilité. Dans ChatGPT, la fonction Softmax est utilisée pour calculer les probabilités du prochain mot dans la séquence de texte.

Mise à l'échelle: dans le contexte de l'architecture de transformation sur laquelle ChatGPT est basé, la mise à l'échelle est utilisée pour contrôler la taille des valeurs Dot-Product dans la fonction Attention. Cela permet d'éviter les problèmes de stabilité numérique.

Self-Attention: un composant clé de l'architecture du transformateur. Self-Attention permet au modèle de prendre en compte les relations entre les différents mots d'une séquence de texte, indépendamment de leur position dans la séquence.

Sentence Embedding: une représentation d'une phrase sous forme de vecteur dans un espace à haute dimension. Bien que ChatGPT n'utilise pas directement l'enchâssement de phrases (il fonctionne au niveau des jetons de mots), il s'agit d'un concept pertinent en PNL.

T

Transformer: l'architecture sur laquelle ChatGPT est basé. Les modèles Transformer utilisent des mécanismes appelés "auto-attention" et "encodage positionnel" pour prendre en compte le contexte des mots dans une entrée, indépendamment de leur position.

Token: unité de texte traitée par un modèle tel que ChatGPT. Un token peut être un simple mot, un caractère ou un sous-mot, selon le type d'identificateur de token utilisé.

Tokenization: processus de décomposition du texte en jetons qui peuvent être traités par un modèle. ChatGPT utilise une forme de tokénisation connue sous le nom de "byte pair encoding".

Entraînement: le processus par lequel un modèle d'apprentissage automatique apprend à partir de données. Dans le cas de ChatGPT, cela comprend le pré-entraînement sur un grand corpus de textes et le réglage fin sur des tâches spécifiques.

Apprentissage par transfert: approche de l'apprentissage automatique dans laquelle un modèle entraîné sur une tâche est adapté pour fonctionner sur une autre tâche. Dans le cas de ChatGPT, un modèle qui a été entraîné par pré-entraînement sur un corpus de texte général est adapté à des tâches de dialogue spécifiques par le biais d'un réglage fin.

Tensors: type de structure de données utilisée dans l'apprentissage automatique et en particulier dans des bibliothèques comme TensorFlow et PyTorch. Dans ChatGPT, les tenseurs sont utilisés pour représenter les données d'entrée et de sortie.

Génération de texte: la tâche de générer un texte qui ressemble à un humain. C'est la tâche principale de ChatGPT.

U

Unsupervised Learning (apprentissage non supervisé): Une approche de l'apprentissage automatique dans laquelle les modèles apprennent à partir de données d'entrée sans paires entrée-sortie spécifiques. Alors que le pré-apprentissage de ChatGPT peut être considéré comme une forme d'apprentissage supervisé, il a des aspects d'apprentissage non supervisé puisqu'il vise à reconnaître la structure dans de grandes données textuelles.

Underfitting: problème d'apprentissage automatique dans lequel un modèle est trop simple pour capturer efficacement la structure dans les données. L'underfitting est le contraire de l'overfitting, dans lequel un modèle est trop complexe et commence à apprendre le bruit dans les données plutôt que la structure sous-jacente.

Interface utilisateur (UI): L'interface par laquelle les utilisateurs interagissent avec un système. Dans le cas de ChatGPT, il s'agit généralement d'une interface de saisie et de sortie de texte.

Le code Unicode: Une norme internationale qui encode les caractères de presque tous les systèmes d'écriture du monde. ChatGPT est capable de traiter le texte en Unicode, ce qui signifie qu'il est capable de comprendre et de générer une grande variété de langues et de systèmes d'écriture.

V

Vecteur: objet mathématique qui a une direction et une taille. Dans le contexte de ChatGPT, les mots et les phrases sont souvent représentés par des vecteurs dans un espace à haute dimension.

Fonction de perte (Loss Function): Une fonction qui minimise le modèle pendant le processus d'apprentissage. Pour ChatGPT, il s'agit généralement de la fonction de perte d'entropie croisée, qui mesure la différence entre les sorties du modèle et les valeurs cibles réelles.

Ensemble de validation: ensemble de données utilisé pendant le processus d'apprentissage pour évaluer les performances du modèle et éviter qu'il ne suradapte l'apprentissage. Il s'agit d'un aspect important de l'apprentissage automatique et du développement de modèles.

Modèle d'espace vectoriel: concept utilisé en recherche d'information et en PNL, dans lequel les documents textuels (ou phrases, paragraphes, etc.) sont représentés sous forme de vecteurs dans un espace vectoriel commun. Bien que ChatGPT n'utilise pas directement de modèles d'espaces vectoriels, le concept sous-jacent est pertinent, car le modèle transforme les mots et les phrases en vecteurs.

Variational Autoencoder (VAE): un type de réseau neuronal utilisé pour l'apprentissage non supervisé. Bien que ChatGPT n'utilise pas de VAE, il s'agit d'un concept pertinent dans la recherche en IA.

Vocabulary (vocabulaire): L'ensemble des mots (ou tokens) qu'un modèle comme ChatGPT peut reconnaître. Le vocabulaire de ChatGPT comprend des dizaines de milliers de tokens différents.

Volatilité: terme utilisé pour décrire la quantité de variation ou d'incertitude dans les sorties d'un modèle. Dans le contexte de ChatGPT, la volatilité des sorties du modèle peut être contrôlée en ajustant les paramètres de "température".

W

Embedding de mots: une représentation de mots sous forme de vecteurs dans un espace à haute dimension. Alors que ChatGPT travaille au niveau des jetons et non des mots, les emboîtements de mots sont un concept fondamental en PNL.

Weights (poids) (poids): Les paramètres qu'un réseau neuronal apprend pendant l'entraînement. Dans ChatGPT, il y a des millions de poids qui sont ajustés par la méthode de descente de gradient stochastique.

Word2Vec: un algorithme populaire pour la création de Word Embeddings. Bien que ChatGPT n'utilise pas directement Word2Vec, il s'agit d'un concept pertinent en NLP.

Weight Decay: une technique de régularisation des réseaux neuronaux qui aide à prévenir l'overfitting. Elle fonctionne en introduisant une pénalité pour les poids importants.

Vocabulaire (Vocabulary): La collection de mots ou de tokens qu'un modèle comme ChatGPT peut reconnaître et utiliser.

Apprentissage continu (Fine-Tuning): Le processus d'adaptation d'un modèle pré-entraîné à une tâche spécifique. Dans le cas de ChatGPT, cela comprend l'apprentissage continu du modèle sur des données de dialogue spécifiques.

Liste blanche et liste noire: Listes de mots ou de phrases qui sont soit explicitement autorisés (liste blanche) soit interdits (liste noire). De telles listes peuvent être utilisées pour contrôler les sorties de ChatGPT, bien que le modèle essaie en principe de comprendre le contexte de l'entrée et de générer des sorties appropriées.

X

pas encore de termes

Y

pas encore de termes

Z

Apprentissage à prise de vue zéro: approche de l'apprentissage automatique dans laquelle un modèle est capable d'effectuer des tâches pour lesquelles il n'a pas vu d'exemples spécifiques pendant l'apprentissage. ChatGPT fait souvent preuve de capacités zero shot, car il est capable de réagir à une multitude d'entrées sans avoir été explicitement formé à chaque entrée possible.

Chaîne de caractères (string): Une séquence de caractères. Dans le contexte de ChatGPT, les entrées et les sorties du modèle sont toutes deux des chaînes de caractères.

Séries temporelles: une suite de points de données classés par ordre chronologique. Bien que ChatGPT ne soit pas spécialement conçu pour travailler avec des séries temporelles, il peut être utilisé pour générer des textes qui tiennent compte des aspects temporels.