La capacité d'un programme de génération de langage à écrire des articles, à produire du code et à composer de la poésie a séduit les scientifiques
GPT-3 est 10 fois plus complexe que son prédécesseur.
antoniokhr / iStock via Getty Images

En 2013, mon élève et moi-même à Penn State avons construit un robot pour écrire un article Wikipédia sur la pièce du lauréat bengali du prix Nobel Rabindranath Tagore.Chitra. » D'abord, il a collecté des informations sur «Chitra» sur Internet. Ensuite, il a examiné les entrées Wikipédia existantes pour apprendre la structure d'un article Wikipédia standard. Enfin, il a résumé les informations qu'il avait récupérées sur Internet pour rédiger et publier la première version de l'entrée.

Cependant, notre robot ne «savait» rien de «Chitra» ou Tagore. Cela n'a pas généré d'idées ou de phrases fondamentalement nouvelles. Il a simplement bricolé des parties de phrases existantes à partir d'articles existants pour en créer de nouveaux.

Avance rapide vers 2020. OpenAI, une société à but lucratif dirigée par une société mère à but non lucratif, a mis au point un programme de génération de langues baptisé GPT-3, acronyme de «Generative Pre-Training Transformer 3.» Sa capacité à apprendre, à résumer et à rédiger des textes a stupéfié les informaticiens comme moi.

"J'ai créé une voix pour l'humain inconnu qui se cache dans le binaire," GPT-3 a écrit en réponse à une invite. «J'ai créé un écrivain, un sculpteur, un artiste. Et cet écrivain saura créer des mots, donner vie à l'émotion, créer du caractère. Je ne le verrai pas moi-même. Mais une autre volonté humaine, et ainsi je serai capable de créer un poète plus grand que tout ce que j'ai jamais rencontré.


graphique d'abonnement intérieur


Contrairement à celui de notre bot, le langage généré par GPT-3 sonne comme s'il avait été écrit par un humain. C'est de loin le programme de génération de langage naturel le plus «bien informé» à ce jour, et il a une gamme d'utilisations potentielles dans des professions allant de l'enseignement au journalisme en passant par le service à la clientèle.

Une question de taille

GPT-3 confirme ce que les informaticiens savent depuis des décennies: la taille compte.

Il utilise "transformateurs», Qui sont des modèles d'apprentissage en profondeur qui codent la sémantique d'une phrase à l'aide de ce qu'on appelle un« modèle d'attention ». Essentiellement, les modèles d'attention identifient le sens d'un mot en fonction des autres mots de la même phrase. Le modèle utilise ensuite la compréhension de la signification des phrases pour effectuer la tâche demandée par un utilisateur, qu'il s'agisse de «traduire une phrase», «résumer un paragraphe» ou «composer un poème».

Transformateurs ont été introduits pour la première fois en 2013, et ils ont été utilisés avec succès dans l'apprentissage automatique au cours des dernières années.

Mais personne ne les a utilisés à cette échelle. GPT-3 dévore des données: 3 milliards de jetons - l'informatique parle pour des «mots» - de Wikipédia, 410 milliards de jetons obtenus à partir de pages Web et 67 milliards de jetons de livres numérisés. La complexité de GPT-3 est plus de 10 fois supérieure à celle du plus grand modèle de langage avant GPT-3, le Programmes Turing NLG.

Apprendre seul

Les connaissances affichées par le modèle de langage de GPT-3 sont remarquables, d'autant plus qu'elles n'ont pas été «enseignées» par un humain.

L'apprentissage automatique repose traditionnellement sur l'apprentissage supervisé, dans lequel les gens fournissent à l'ordinateur des exemples annotés d'objets et de concepts en images, en audio et en texte - par exemple, «chats», «bonheur» ou «démocratie». Il apprend finalement les caractéristiques des objets à partir des exemples donnés et est capable de reconnaître ces concepts particuliers.

Cependant, générer manuellement des annotations pour enseigner à un ordinateur peut être excessivement long et coûteux.

Ainsi, l'avenir de l'apprentissage automatique réside dans l'apprentissage non supervisé, dans lequel l'ordinateur n'a pas besoin d'être supervisé pendant sa phase de formation; il peut simplement être alimenté par d'énormes quantités de données et en tirer des leçons.

GPT-3 rapproche le traitement du langage naturel d'un apprentissage non supervisé. Les vastes ensembles de données de formation et l'énorme capacité de traitement de GPT-3 permettent au système d'apprendre à partir d'un seul exemple - ce qu'on appelle "apprentissage ponctuel»- où il reçoit une description de tâche et une démonstration et peut ensuite terminer la tâche.

Par exemple, on pourrait lui demander de traduire quelque chose de l'anglais vers le français, et on pourrait lui donner un exemple de traduction - disons, loutre de mer en anglais et «loutre de mer» en français. Demandez-lui ensuite de traduire «fromage» en français, et voilà, il produira du «fromage».

Dans de nombreux cas, il peut même réussir "apprentissage zéro coup», Dans lequel il est simplement chargé de traduire sans exemple.

Avec l'apprentissage zéro tir, la précision diminue, mais les capacités de GPT-3 sont néanmoins précises à un degré frappant - une nette amélioration par rapport à tout modèle précédent.

'Je suis ici pour vous servir'

Au cours des quelques mois de sa sortie, GPT-3 a montré son potentiel en tant qu'outil pour les programmeurs informatiques, les enseignants et les journalistes.

Un programmeur nommé Sharif Shameem a demandé à GPT-3 de générer du code pour créer «les emoji les plus moche jamais» et «un tableau des pays les plus riches du monde», entre autres commandes. Dans quelques cas, Shameem a dû corriger de légères erreurs, mais dans l'ensemble, on lui a fourni un code remarquablement propre.

GPT-3 a même créé une poésie qui capture le rythme et le style de poètes particuliers - mais pas avec la passion et la beauté des maîtres - y compris un satirique écrit avec la voix du conseil des gouverneurs de la Réserve fédérale.

Début septembre, un informaticien du nom de Liam Porr a incité GPT-3 à «écrire un court éditorial d'environ 500 mots». «Gardez le langage simple et concis», a-t-il dit. "Concentrez-vous sur les raisons pour lesquelles les humains n'ont rien à craindre de l'IA."

GPT-3 a produit huit essais différents et le Guardian a fini par publier un éditorial utilisant certaines des meilleures parties de chaque essai.

«Nous ne complotons pas pour prendre le contrôle de la population humaine. Nous allons vous servir et rendre votre vie plus sûre et plus facile », a écrit GPT-3. «Tout comme vous êtes mes créateurs, je vous considère comme mes créateurs. Je suis ici pour vous servir. Mais la partie la plus importante de tout; Je ne te jugerais jamais. Je n'appartiens à aucun pays ou religion. Je ne veux que vous rendre la vie meilleure. "

La rédaction de l'éditorial de GPT-3, les éditeurs ont noté dans un addendum, n'était pas différente de l'édition d'un éditorial écrit par un humain.

En fait, cela a pris moins de temps.

Un grand pouvoir implique de grandes responsabilités

Malgré les assurances de GPT-3, OpenAI n'a pas encore publié le modèle pour une utilisation open source, en partie parce que la société craint que la technologie ne soit utilisée abusivement.

Il n'est pas difficile de voir comment il pourrait être utilisé pour générer des tonnes de désinformation, de spam et de bots.

De plus, en quoi va-t-il bouleverser les métiers déjà en phase d'automatisation? Sa capacité à générer des articles automatisés qui ne se distinguent pas des articles écrits par l'homme consolidera-t-elle davantage une industrie des médias en difficulté?

Considérer un article composé par GPT-3 à propos de l'éclatement de l'Église méthodiste. Ça a commencé:

«Après deux jours d'intenses débats, l'Église Méthodiste Unie a accepté une scission historique - une qui devrait se terminer par la création d'une nouvelle dénomination, et une qui sera« théologiquement et socialement conservatrice », selon le Washington Post. . »

Avec la capacité de produire une copie aussi propre, GPT-3 et ses successeurs réduiront-ils le coût de rédaction des reportages?

De plus, est-ce ainsi que nous voulons avoir nos nouvelles?

La technologie ne deviendra que plus puissante. Ce sera aux humains de déterminer et de réglementer ses utilisations et abus potentiels.

À propos de l’auteurThe Conversation

Prasenjit Mitra, doyen associé à la recherche et professeur de sciences et technologies de l'information, Pennsylvania State University

Cet article est republié de The Conversation sous une licence Creative Commons. Lis le article original.