Texte généré par ChatGPT de OpenAI

À propos d’OpenAI et ChatGPT

Depuis quelques semaines, on ne parle que de ChatGPT ! Des personnalités importantes (Elon Musk, Steve Wozniak…) font la demande suivante :

Nous demandons à tous les laboratoires d’intelligence artificielle de mettre immédiatement en pause, pour au moins six mois, les entraînements des systèmes d’IA plus puissants que GPT-4.

La pétition lancée le 29 mars 2023 par le Future of Life Institute a fait l’effet d’un séisme dans la Silicon Vallée, dont les secousses ont été ressenties dans le monde entier.

OpenAI, le créateur de ChatGPT et du modèle GPT-4, est une organisation de recherche en intelligence artificielle axée sur l’apprentissage automatique et la recherche sur les neurotechnologies, a été créé en 2015. C’était une association à but non lucratif jusqu’en 2019. Elle a été créée par un ensemble de personnalités dont :

En 2019, elle est devenue une entreprise à but lucratif plafonné.

Ayez la curiosité de voir ce qu’ont fait ces hommes ! Ce sont des entrepreneurs, des investisseurs, des innovateurs, mais ont-ils seulement réfléchi à la sécurité, à l’éthique, à l’humain… ou ne se sont-ils pas intéressés uniquement à leurs profits ?

ChatGPT est un robot conversationnel. Dans ce qui suit, les textes en italique sont le résultat d’un dialogue entre Véronique (VE) et ChatGPT le 7/04/2023.

Voici sa réponse à la question suivante :

VE : Combien de paramètres a GPT3

GPT3 : GPT-3 (Generative Pre-trained Transformer 3) est le modèle de traitement de langage naturel le plus avancé développé par OpenAI. Il a été publié en 2020. Il existe également plusieurs tailles de modèles GPT-3 avec des nombres de paramètres différents. Voici les chiffres approximatifs pour chaque taille de modèle :

  • GPT-3 Small : 125 millions de paramètres
  • GPT-3 Medium : 345 millions de paramètres
  • GPT-3 Large : 175 milliards de paramètres
  • GPT-3 XL : 275 milliards de paramètres
  • GPT-3 XXL : 13,5 billions de paramètres

Alors que dans le monde académique les publications reposent sur des articles validés par les pairs, alors que Wikipédia cite ses sources, ChatGPT ne les cite pas, n’indique pas sur quels jeux de données il s’appuie pour entraîner le modèle GPT. Ce qui le rend complètement opaque (Open ou Opaque ?).

VE : Quels types de ressources utilise le modèle ?

GPT3 : Le modèle GPT-3 est très sophistiqué et utilise une grande variété de ressources pour fonctionner efficacement. Voici quelques-unes des principales ressources utilisées par le modèle :

  • Données : Le modèle GPT-3 est entraîné sur une quantité massive de données de texte provenant d’une grande variété de sources, notamment des livres, des articles de journaux, des sites web, des discussions en ligne et bien plus encore.
  • Calcul intensif : Le modèle GPT-3 utilise des réseaux de neurones profonds, qui nécessitent des calculs informatiques très intensifs pour fonctionner. Le modèle est entraîné sur des superordinateurs dotés de milliers de processeurs graphiques (GPU) pour accélérer les calculs.
  • Stockage : Le modèle GPT-3 est extrêmement volumineux et nécessite des centaines de gigaoctets d’espace de stockage pour être stocké et utilisé efficacement.
  • Infrastructures de serveurs : Les modèles de langage naturel comme GPT-3 nécessitent une infrastructure de serveurs massive pour pouvoir être utilisés de manière efficace. Les infrastructures de serveurs sont utilisées pour héberger le modèle et pour traiter les demandes des utilisateurs.
  • Algorithmes d’apprentissage automatique : Le modèle GPT-3 utilise une variété d’algorithmes d’apprentissage automatique pour entraîner le modèle et pour adapter son comportement en fonction des entrées qu’il reçoit.

En somme, le modèle GPT-3 est un système complexe et sophistiqué qui utilise une grande variété de ressources pour fonctionner efficacement.

Une ONG a porté plainte aux États-Unis, l’Italie a bloqué ChatGPT, l’Allemagne est sur le point de le faire… L’Europe…

C’est un véritable tsunami qui agite la blogosphère…

Le droit d’auteur ne serait pas respecté, une IA aurait proposé à quelqu’un de se suicider…

Certains pensent que les recherches continueront malgré le moratoire, d’autres attendent une période de pause pour réguler, responsabiliser, moraliser…

Alors, êtes-vous pour ou contre un moratoire de six mois de l’IA ?

Un exemple de texte généré

Pour mieux comprendre comment elle fonctionne, je me suis amusée à générer le texte ci-après en posant des questions auxquelles l’IA a répondu.

Texte généré le 22 janvier 2023 (version du 9 janvier 2023 de ChatGPT)

VE : Qu’est-ce que l’intelligence artificielle ?

GPT3 : L’intelligence artificielle (IA) est un domaine de la science informatique qui vise à créer des machines capables de simuler l’intelligence humaine. Il existe plusieurs types d’IA, mais les deux principaux sont l’IA faible ou de niveau d’application, qui est utilisée pour résoudre des tâches spécifiques, et l’IA forte ou générale, qui est capable de résoudre une variété de tâches.

L’IA peut être divisée en plusieurs sous-domaines tels que l’apprentissage automatique, la reconnaissance de la parole, la vision par ordinateur, la compréhension de la langue naturelle, la planification et la résolution de problèmes. Les algorithmes d’IA sont utilisés pour apprendre à partir de données, pour identifier des modèles et pour faire des prévisions.

L’IA est utilisée dans de nombreux domaines tels que la médecine, la finance, les transports, l’éducation, les médias, les jeux et les services de divertissement. Les avancées récentes dans l’IA ont permis de développer des systèmes de reconnaissance vocale, des assistants virtuels, des véhicules autonomes, des systèmes de recommandation et bien d’autres applications. L’IA est encore un domaine en évolution et de nouvelles avancées sont attendues dans les années à venir.

VE : Tu ne parles pas d’IA symbolique ?

GPT3 : Je suis désolé, vous avez raison. L’IA symbolique est un autre sous-domaine de l’IA qui se concentre sur l’utilisation de symboles, de règles et de raisonnements pour simuler l’intelligence humaine. Elle est souvent utilisée pour des tâches de raisonnement et de prise de décisions qui nécessitent une compréhension formelle des concepts.

Cette approche de l’IA, aussi appelée “IA classique” ou “IA logique” était très populaire dans les années 80 et 90, mais a été dépassée par les approches basées sur l’apprentissage automatique qui ont montré de meilleurs résultats pour de nombreuses tâches d’IA. Cependant, l’IA symbolique continue d’être utilisée dans certains domaines tels que la robotique, la reconnaissance de formes, les systèmes experts et les systèmes de raisonnement automatique.

Apprentissage automatique

VE : Apprentissage automatique

GPT3 : L’apprentissage automatique (machine learning en anglais) est un sous-domaine de l’IA qui se concentre sur la création d’algorithmes qui peuvent apprendre à partir de données et faire des prédictions ou des décisions sans être explicitement programmés. Il existe plusieurs types d’apprentissage automatique, notamment l’apprentissage supervisé, non supervisé et renforcé.

  • L’apprentissage supervisé est utilisé pour les tâches de classification et de régression. Il consiste à utiliser des données d’entraînement étiquetées pour apprendre à faire des prédictions sur des données non étiquetées.
  • L’apprentissage non supervisé est utilisé pour les tâches de clustering et de réduction de dimensionnalité. Il consiste à utiliser des données non étiquetées pour trouver des structures cachées dans les données.
  • L’apprentissage renforcé est utilisé pour les tâches de prise de décision. Il consiste à utiliser une récompense pour apprendre à prendre des décisions optimales dans un environnement donné.

Les algorithmes d’apprentissage automatique tels que les réseaux de neurones, les arbres de décision, les k-means, les SVM (Support Vector Machine) sont largement utilisés dans de nombreux domaines tels que la reconnaissance de la parole, la vision par ordinateur, la compréhension de la langue naturelle, la finance, la santé, les transports et bien d’autres.

Réseau de neurones

VE : Les réseaux de neurones

GPT3 : Les réseaux de neurones sont un type d’algorithme d’apprentissage automatique qui s’inspire du fonctionnement du cerveau humain. Ils sont constitués de nœuds ou de neurones qui sont connectés entre eux. Chacun des neurones reçoive (sic) des entrées, effectue un calcul simple et transmet le résultat à d’autres neurones. Les réseaux de neurones peuvent avoir des couches de neurones multiples et c’est ce qui les distingue des algorithmes d’apprentissage automatique traditionnels.

Il existe plusieurs types de réseaux de neurones, notamment les réseaux de neurones feedforward, rétropropagation, convolutionnels et récurrents. Les réseaux de neurones feedforward ont des couches de neurones qui sont connectées dans une seule direction, de la couche d’entrée à la couche de sortie. Les réseaux de neurones rétropropagation utilisent une technique d’apprentissage appelée rétropropagation pour ajuster les poids des connexions entre les neurones. Les réseaux de neurones convolutionnels sont utilisés pour les t

VE : les quoi ?

GTP : Les réseaux de neurones convolutionnels sont utilisés pour les tâches de traitement d’images, tels que la reconnaissance d’images, la génération d’images, la segmentation d’images et la compréhension de l’image. Les réseaux de neurones convolutionnels utilisent des couches de neurones qui effectuent des calculs de convolution sur les entrées. Ces calculs permettent de reconnaître des caractéristiques spécifiques dans les images, telles que les formes, les textures et les couleurs.

Les réseaux de neurones récurrents sont utilisés pour les tâches de traitement de séquences, telles que la reconnaissance de la parole, la génération de texte, la traduction automatique et la compréhension de la langue naturelle. Les réseaux de neurones récurrents ont des connexions entre les neurones qui permettent à l’information de circuler dans les couches de neurones plusieurs fois, ce qui les rend adaptés pour traiter des séquences de données.

Algorithme d’apprentissage traditionnel

VE : Les algorithmes d’apprentissage traditionnel

GPT3 : Les algorithmes d’apprentissage automatique traditionnels se réfèrent aux algorithmes utilisés avant l’avènement des réseaux de neurones et de l’apprentissage profond. Ces algorithmes sont souvent basés sur des méthodes statistiques et mathématiques et sont généralement plus simples à comprendre et à mettre en œuvre que les réseaux de neurones.

Quelques exemples d’algorithmes d’apprentissage automatique traditionnels incluent :

  • Les k-means : un algorithme de clustering qui utilise la distance euclidienne pour regrouper les données en k clusters.
  • Les arbres de décision : un algorithme de classification qui utilise des règles de décision basées sur les caractéristiques des données pour prédire une cible.
  • Les régressions linéaire et logistique : des algorithmes de régression qui utilisent des fonctions linéaires pour modéliser les relations entre les variables cibles et les variables indépendantes.
  • Les SVM (Support Vector Machine) : un algorithme de classification qui utilise des hyperplans pour séparer les données en classes.
  • Les réseaux bayésiens : un algorithme de classification qui utilise les probabilités pour prédire la classe d’un élément.

Ces algorithmes sont encore utilisés dans de nombreux domaines, mais ils ont été largement dépassés par les réseaux de neurones pour les tâches de reconnaissance d’images, de traitement de la langue naturelle, de reconnaissance de la parole et d’autres tâches d’IA.

Réseau de neurones feedforward

VE : Les réseaux de neurones feedforward

GPT3 : Les réseaux de neurones feedforward ou prédictif (FNN – feedforward neural network) sont un type de réseau de neurones qui ont des couches de neurones qui sont connectées dans une seule direction, de la couche d’entrée à la couche de sortie. Les données entrent dans la couche d’entrée, passent à travers les couches cachées et sortent de la couche de sortie. Les réseaux de neurones feedforward sont également appelés réseaux de neurones à propagation avant.

Les FNN sont utilisés pour des tâches de classification et de régression, où les données d’entrée sont associées à des étiquettes ou à des sorties numériques. Pour cela, les FNN utilisent une technique d’apprentissage appelée rétropropagation pour ajuster les poids des connexions entre les neurones.

Les FNN ont été largement utilisés dans les années 80 et 90, mais ont été dépassés par les réseaux de neurones convolutionnels et récurrents qui ont montré de meilleurs résultats pour de nombreuses tâches d’IA. Cependant, les FNN restent utilisés dans certains domaines, comme la reconnaissance de formes, les systèmes experts et les systèmes de raisonnement automatique.

La rétropropagation

VE : La rétropropagation

GPT3 : La rétropropagation (ou backpropagation) est une technique d’apprentissage utilisée pour ajuster les poids des connexions entre les neurones dans les réseaux de neurones feedforward. Elle est utilisée pour minimiser la différence entre les sorties prévues par le réseau de neurones et les sorties attendues, c’est-à-dire pour minimiser l’erreur de prédiction.

La rétropropagation fonctionne en utilisant la dérivée de l’erreur par rapport aux poids pour calculer la direction dans laquelle les poids doivent être ajustés pour minimiser l’erreur. Ces ajustements sont effectués en utilisant des algorithmes d’optimisation tels que le gradient descendent qui permet de mettre à jour les poids de manière itérative.

La rétropropagation est utilisée pour entraîner les réseaux de neurones feedforward pour des tâches de classification et de régression, où les données d’entrée sont associées à des étiquettes ou à des sorties numériques. Elle est largement utilisée dans les réseaux de neurones feedforward, mais elle ne peut pas être utilisée pour les réseaux de neurones récurrents ou convolutionnels, car ils ont des structures de données plus complexes.

Deep learning

VE : Deep learning

GPT3 : Le deeplearning, ou apprentissage profond en français, est une branche de l’intelligence artificielle qui utilise des réseaux de neurones artificiels pour apprendre à partir de données non structurées ou semi-structurées.

Les réseaux de neurones artificiels sont des modèles mathématiques qui imitent le fonctionnement du cerveau humain, en utilisant des couches de neurones interconnectés pour traiter l’information. Dans le deeplearning, ces réseaux de neurones sont généralement composés de nombreuses couches et de millions de paramètres, ce qui leur permet de capturer des relations complexes entre les entrées et les sorties, et de généraliser à de nouvelles données.

Le deeplearning est utilisé dans de nombreux domaines, tels que la reconnaissance vocale, la vision par ordinateur, la traduction automatique, la reconnaissance d’objets, la prédiction de séries temporelles, et bien plus encore. Les algorithmes de deeplearning ont souvent des performances supérieures à celles des méthodes traditionnelles d’apprentissage automatique, en particulier lorsque les données sont non linéaires et complexes.

Réseau de neurones convolutifs

VE : Réseau de neurones convolutifs

GPT3 : Les réseaux de neurones convolutionnels sont utilisés pour les tâches de traitement d’images, tels que la reconnaissance d’images, la génération d’images, la segmentation d’images et la compréhension de l’image. Les réseaux de neurones convolutionnels utilisent des couches de neurones qui effectuent des calculs de convolution sur les entrées. Ces calculs permettent de reconnaître des caractéristiques spécifiques dans les images, telles que les formes, les textures et les couleurs.

Les réseaux de neurones convolutionnels (CNN) sont un type de réseau de neurones qui ont des couches de neurones qui effectuent des calculs de convolution sur les entrées. Les calculs de convolution permettent de reconnaître des caractéristiques spécifiques dans les images, telles que les formes, les textures et les couleurs. Les CNN sont largement utilisés pour des tâches de traitement d’images comme la reconnaissance d’images, la génération d’images, la segmentation d’images et la compréhension de l’image.

Les CNN sont constitués de plusieurs couches, chacune ayant des neurones qui sont connectés localement. La première couche est appelée couche de convolution, qui est suivie par une couche de pooling (ou de sous-échantillonnage) qui permet de réduire la dimension de l’image tout en conservant les informations importantes. Les couches suivantes sont appelées couches fully-connected (ou couche dense) qui aident à classer les images.

Les CNN ont montré de bons résultats pour de nombreuses tâches de reconnaissance d’images, comme la reconnaissance de chiffres manuscrits, la reconnaissance de visages, la reconnaissance d’objets, la reconnaissance de scènes, la reconnaissance de mouvements, entre autres. Ils sont également largement utilisés dans les systèmes de vision par ordinateur pour les véhicules autonomes, la robotique et les drones.

Réseaux de neurones récurrents (RNN)

VE : Réseaux de neurones récurrents

GPT3 : Les réseaux de neurones récurrents sont utilisés pour les tâches de traitement de séquences, telles que la reconnaissance de la parole, la génération de texte, la traduction automatique et la compréhension de la langue naturelle. Les réseaux de neurones récurrents ont des connexions entre les neurones qui permettent à l’information de circuler dans les couches de neurones plusieurs fois, ce qui les rend adaptés pour traiter des séquences de données.

Les réseaux de neurones récurrents (RNN) sont un type de réseau de neurones qui ont des connexions de boucle entre les neurones, permettant à l’information de circuler dans les couches de neurones plusieurs fois. Cela les rend adaptés pour traiter des séquences de données telles que les séries chronologiques, les textes, les signaux audio, les vidéos et les images.

Les RNN sont utilisés pour des tâches telles que la reconnaissance de la parole, la génération de texte, la traduction automatique, la compréhension de la langue naturelle, la génération de musique, la génération de mouvement, la reconnaissance d’écriture manuscrite, entre autres. Les RNN peuvent être utilisés pour traiter des séquences de données de longueur variable, ce qui est difficile à faire avec des réseaux de neurones feedforward classiques.

Il existe plusieurs variantes des RNN, comme les réseaux de neurones récurrents à long court-terme (LSTM) et les réseaux de neurones récurrents gated (GRU) qui ont été introduit pour résoudre des problèmes de dépendance à long terme qui sont présents dans les RNN classiques.

Les réseaux bayésiens

VE : Les réseaux bayésiens

GPT3 : Les réseaux bayésiens sont un type d’algorithme d’apprentissage automatique qui utilise les principes de la théorie de Bayes pour modéliser les relations probabilistes entre les variables. Les réseaux bayésiens sont souvent utilisés pour la classification et la prédiction.

Un réseau bayésien est constitué de nœuds qui représentent des variables, et des arcs qui représentent les relations causales entre ces variables. Chaque nœud a une fonction de distribution de probabilité associée, qui décrit la probabilité d’une variable étant dans un certain état, en fonction de l’état des variables qui lui sont liées.

Les réseaux bayésiens peuvent être utilisés pour résoudre des problèmes de classification, de détection d’anomalies, de diagnostic, de planification, de reconnaissance de la parole, de reconnaissance d’images, entre autres. Ils peuvent également être utilisés pour représenter des connaissances expert dans un domaine donné.

Les réseaux bayésiens peuvent être entraînés à partir de données d’apprentissage pour estimer les paramètres des distributions de probabilité associées à chaque nœud. Ils peuvent également être utilisés pour effectuer des inférences probabilistes, c’est-à-dire pour estimer la probabilité d’un état d’une variable donnée en fonction de l’état des autres variables.

Prolog peut-il servir d’assertion ?

VE : Prolog peut-il servir d’assertion

GPT3 : Prolog est un langage de programmation déclaratif qui utilise des règles et des faits pour décrire des relations logiques entre des termes. Il peut être utilisé pour écrire des programmes qui vérifient si des propositions données sont vraies ou fausses en utilisant des règles de déduction logique. En ce sens, on peut dire qu’il peut servir d’assertion, c’est à dire que Prolog est capable de vérifier si une assertion est vraie ou fausse en utilisant les règles et les faits définis dans le programme.

Il est important de noter que Prolog permet de décrire des relations logiques entre des termes, mais il ne peut pas être utilisé pour décrire des relations mathématiques. Il est également important de noter que les programmes Prolog ne peuvent pas garantir la véracité des assertions qu’ils font, mais ils peuvent dire si les assertions sont vraies ou fausses selon les règles et les faits définis dans le programme.

Conclusion de Véronique Pelletier

ChatGPT est un robot conversationnel. La version testée utilise GPT-3,5.

ChatGPT génère des textes à partir de masses de données importantes (générées par des humains). ChatGPT peut parler dans toutes les langues. De nombreuses langues ont une sémantique commune.

La génération d’image est une nouveauté de GPT4 qui a appris à partir des textes de remplacement des images.

Cette version de ChatGPT est déjà très puissante. Elle a depuis encore été améliorée, si bien que l’on ne parle plus que de cela sur les différents médias. Open AI a souhaité rendre publique son utilisation si bien que 100 Millions de personnes l’ont utilisée en quatre mois.

Microsoft a peut-être investi 10 milliards de $ dans Open AI pour intégrer ChatGPT à son moteur de recherche Bing. La guerre des géants a commencé !

D’autres entreprises, comme Google, se sentent menacées et ont sorti leurs propres IA comme Bard. Grâce à Bard, Google peut combattre des biais.

En Italie, l’équivalent de la CNIL française – Garante per la Protezione dei Dati Personalia interdit l’utilisation de ChatGPT le 31 mars 2023.

La version 4 sera testée prochainement. Et on parle déjà de la version 5 du grand modèle de langage (LLM) qui doit être entraîné jusqu’à la fin de l’année 2023. Cette version 5 est une véritable révolution, car elle est multimodale et traitera à la fois le texte, les images, la vidéo et le son.

Faut-il adopter un moratoire sur ces IA ? Gilles Babinet ne le pense pas, car ce moratoire risque de ne pas être respecté.

Mais lorsque plus de 1000 personnalités signent une lettre ouverte demandant ce moratoire, il faut peut-être écouter ce qu’ils ont à dire. Elon Musk a signé cette lettre ainsi que Joffrey Hinton, entre autres.

L’amélioration de la productivité grâce à des produits comme ChatGPT nous incite à penser que des secteurs entiers d’emploi vont disparaître… Un effet rebond se produira et d’autres formes d’emploi apparaîtront. Mais, ce ne seront peut-être pas les mêmes personnes qui pourront en bénéficier. D’où l’importance accrue de former les jeunes générations aux métiers du numérique, aux mathématiques, aux sciences, car tous les domaines vont progresser.

Mais, attendons, au moins un cadre législatif. Tout comme les Italiens, les Allemands interrogent OpenAI, qui n’a d’Open que son nom. En effet, les sources ne sont pas ouvertes.


Références ADELI :

Sur l’IA et l’éthique

Print Friendly, PDF & Email
Partager cette page
Publié dans Intelligence artificielle & collective.

Présidente d'ADELI
Membre du comité
Responsable GT IA
Membre GT métiers