Observons les faiblesses et forces de ChatGPT et comment il peut rebattre les cartes de la traduction ?

ChatGPT a officiellement vu le jour le 30 novembre 2022 et suscite depuis lors un grand intérêt et une polémique, par exemple dans le monde étudiant. Après avoir passé quelques jours (et nuits) à discuter avec ChatGPT, voici les seules questions qui, à mon avis, comptent :

• Quelles sont ses forces ?
  
  
• Quelles sont ses faiblesses ?
  
  
• Comment pouvons-nous l'utiliser ?

Vous voulez connaître les réponses à ces questions et l'avenir que j'entrevois pour ce nouvel outil de localisation ? Poursuivez votre lecture. Nous publierons également bientôt un livre blanc plus long et détaillé sur ce sujet.

Quelles sont les faiblesses de ChatGPT ?

Pour certains aspects, ChatGPT n'offre aucune fiabilité :

1. Il ne dit pas la vérité. ChatGPT dit ce que les gens veulent entendre à partir des informations dont il dispose.
   
   
2. Il n'a pas la moindre idée du monde réel. Il ne connaît qu'une version compartimentée de ce que les gens disent du monde réel, utilisant ces informations pour créer un langage très convaincant afin de restituer ce qu'il a appris.
   
   
3. Il ne sait pas compter. J'ai essayé de reproduire la simulation de Jonas Degrave chez Engraved en utilisant un calcul plus compliqué, et j'ai obtenu un résultat erroné. Il tente correctement de multiplier les deux nombres à partir de cette commande Python qu'il sait simuler, ce qui est assez remarquable. Toutefois, il ne sait tout simplement pas compter.
   
   
4. Il ne peut pas penser. Il rédige souvent des descriptions et affirmations pertinentes à propos de ce que je lui ai demandé, et les applique, en toute confiance, de manière erronée. Au fond, il ne peut pas raisonner ; il ne s'agit pas d'un automate fini (FSM).
   
   
5. Sa fausse modestie est quelque peu gênante. ChatGPT écrit avec aplomb et autorité, mais vous dit timidement qu'il n'est là que pour vous aider, puis se confond en excuses de façon embarrassante lorsque vous lui dites qu'il s'est trompé.

Quels sont les points forts de ChatGPT ?

Après avoir compris ce que ChatGPT n'est pas ou ne peut pas faire, voyons à présent ce qu'il peut faire en tant qu'interprète et générateur de texte. Les aptitudes de ChatGPT :

• Il écrit mieux que vous. J'ai acquis cette conviction au regard des nombreuses conversations que j'ai eues avec ChatGPT. Il écrit avec différents niveaux de complexité et un vocabulaire très étendu. Cette IA générative est aussi bonne, à mon avis, que le décile supérieur des rédacteurs de contenu humains.
  
  
• Il suit les instructions. Il modifie parfaitement les textes selon des consignes spécifiques, tant dans la forme que dans le contenu. Plus important encore, il maintient le contexte conversationnel et comprend vos références à ses actions précédentes, même dans le langage le plus vernaculaire.
  
  
• Il modifie le texte tout en gardant le sens. Quel que soit le texte, ChatGPT apporte des modifications au contenu, à la forme et au style en appliquant vos consignes. Il conserve le contenu sémantique du texte ou le modifie à votre demande.
  
  
• Il gère la terminologie multilingue, un des grands défis de la traduction. Je ne sais pas encore s'il s'agirait d'une solution réaliste pour une traduction à grande échelle. J'ai néanmoins pu constater l'efficacité de ChatGPT : il introduit une terminologie spécifique lors de la correction de documents précédemment traduits, même lorsqu'il ne s'agit pas de traductions originales.
  
  
• Il détecte les termes offensants. J'ai soumis à ChatGPT les extraits d'une plaidoirie incluant des SMS racistes et homophobes, dans le cadre d'une affaire pénale fédérale, puis je lui ai demandé d'identifier tout passage offensant. Il a fait un excellent travail et a pu expliquer son raisonnement.
  
  
• Il est en mesure de détecter des entités. J'ai confié à ChatGPT une tâche type : détecter des entités et les entourer de balises. Il en a omis quelques-unes. Avec quelques aides supplémentaires, il les a toutefois facilement identifiées.
  
  
• Il effectue des classements selon des niveaux taxonomiques. L'une des facultés les plus époustouflantes de ChatGPT est sa capacité à appliquer des connaissances générales à une situation spécifique.

Comme mentionné, la capacité de ChatGPT à énoncer des faits vrais ou à savoir ce qui est correct n'est pas fiable. (Cela signifie que les créateurs de contenu doivent vérifier qu'il ne dit pas de bêtises.) Cependant, une fois que nous avons un texte contenant une signification qui nous convient, ChatGPT peut manipuler ou transformer sa forme et son contenu, tout en conservant son sens intrinsèque. Voilà une opportunité unique pour les prestataires de localisation : ils n'auront pas à générer un contenu porteur de sens à partir de rien. Examinons de plus près le panorama des activités de localisation et comment ChatGPT pourrait changer nos activités actuelles. Avantages de cet outil d'IA générative :

• Il est très doué pour la traduction. Pour les langues bénéficiant d'un corpus important, ChatGPT rivalise avec les moteurs de pointe quant à la production de traduction automatique prête à l'emploi, voire avec des résultats supérieurs à certains égards.
  
  
• Il suit les consignes terminologiques avec une certaine efficacité.
  
  
• Il a la capacité d'appliquer des instructions stylistiques, précises ou générales. À l'inverse, les moteurs de traduction automatique ont du mal à exécuter correctement ce type de tâches.
  
  
• Il est assez fort pour catégoriser les choses, en particulier au niveau du texte, selon des taxonomies arbitraires. Cette capacité constitue un avantage pour le secteur de la localisation, dans la mesure où elle permet d'appliquer des instructions spécifiques différentes selon les cas.
  
  
• Il excelle dans la révision de textes donnés, clé de voûte d'une localisation de qualité. Il est assez performant dans les quatre principales composantes de la révision et de la traduction de texte.
  
  
• Il aide à l'analyse de contenu, examinant le texte en vue de son traitement efficace, de son amélioration ou d'un retour sur investissement. Il peut aider à anticiper ou à prévoir les problèmes de qualité de la traduction, à l'ajuster afin d'optimiser ses résultats en termes de portée, de référencement naturel (SEO) et de performances CTA/CTR, ainsi qu'à améliorer la lisibilité tant au niveau de la source que de la cible, entre autres.
  
  
• Il aide à écrire et à modifier le code de travail. Les meilleurs programmeurs s'interrogent sur la capacité de ChatGPT à créer du code à leur niveau, et il semble que ce ne soit pas le cas. Cependant, lorsque je lui ai demandé d'écrire du code d'extraction de contenu XML, il a produit un Working Code que je suis parvenu à exécuter. Cela facilite la création de code (et l'apprentissage inhérent) pour les non-codeurs.

ChatGPT va définir de nouvelles compétences et pratiques

J'ai commencé à appréhender le type de Prompts requis par ChatGPT. Cette technologie spéciale n'accepte, en entrée, que le langage naturel. Afin d'utiliser cette technologie en production, nous avons besoin de nous perfectionner dans l'élaboration de Prompts efficaces. Des transformations spécifiques de contenu impliqueront probablement des Prompts successifs pour exécuter chacune des différentes tâches : nettoyage, traitement préliminaire et postérieur, etc. Apprendre à utiliser des Prompts en langage naturel dans le cadre de nos flux d'automatisation, d'une manière à la fois pertinente et suffisamment prévisible dans les résultats, s'annonce passionnant.

Et maintenant ?

Nous savons que nous ne pouvons plus ignorer cette nouvelle IA générative. Elle va probablement bouleverser notre secteur. Nous devons donc prendre la tangente de cette évolution vers l'automatisation des langues. ChatGPT peut transformer et annoter du texte avec une qualité équivalente à un réviseur humain aux compétences standard, voire même exécuter ces tâches plus efficacement. Pour cela, il s'appuie sur diverses aptitudes que pratiquement aucun être humain ne possède, et il peut appliquer ses connaissances à de nouvelles situations.

Plus important encore, il fait preuve d'un potentiel à résoudre certains problèmes persistants d'automatisation de la localisation. Bien sûr, c'est une chose d'avoir une conversation avec lui en utilisant des exemples fictifs. C'en est une autre d'imaginer de l'utiliser à grande échelle pour mettre ces actions à exécution. À l'avenir, nous devons :

• effectuer des tests réels à grande échelle pour évaluer les taux d'erreur pour chaque type de tâche de localisation et de révision étudiée ici ;
  
  
• analyser les parcours détaillés des macro et micro-utilisateurs au sein des chaînes de valeur de la localisation et identifier les risques de bouleversements induits par ce type d'automatisation de texte ;
  
  
• comprendre comment solliciter et fournir un contexte pertinent à ChatGPT à grande échelle, et documenter les pièges et les meilleures pratiques ;
  
  
• mettre en œuvre de nouveaux flux de travail d'automatisation et de révision humaine, en projetant ce que la post-édition et l'assurance qualité signifieront dans un futur proche avec une telle IA dans le processus ;
  
  
• concevoir de nouveaux contextes d'automatisation et d'interaction avec l'expérience utilisateur (UX) pour les traducteurs et les clients à chaque opportunité d'amélioration possible ;
  
  
• veiller à ce que l'investissement dans les licences, les coûts de déploiement et la maintenance ait un sens pour notre activité.

Quelques réflexions sur la langue et l'utilisation concrète de ChatGPT

L'un des constats des plus frappants à l'égard de ChatGPT est que, face à des opérations numériques complexes, il obtient des résultats presque corrects mais quand même faux. Il ne triche pas. Il apprend vraiment tout de la langue dans laquelle il est entraîné. Le fait qu'il parvient presque à trouver le résultat correct d'une opération au-delà d'un certain ordre de grandeur (et le résultat correct pour des nombres plus petits) nous indique qu'un corpus linguistique d'une échelle suffisante contient des connaissances statistiquement significatives sur le monde réel. Cela montre également que des systèmes formels dédiés (tels que les mathématiques) sont nécessaires pour produire des informations pertinentes, fiables et précises sur le monde réel.

ChatGPT nous rappelle qu'un système auto-référentiel et auto-cohérent ne peut pas, en soi, porter la vérité du monde, laquelle existe indépendamment. Cela fait écho au théorème d'incomplétude de Gödel. En tant qu'êtres conscients, nous ne pouvons détacher notre cognition des systèmes formels et matériels qui fondent notre compréhension du monde dans une réalité qui s'impose à nous et que nous ne pouvons définir par le seul langage.

Contactez-nous

Vous avez votre propre projet de traduction ou de localisation ? Vous voulez vous assurer qu'il est mené avec précision, rapidement et dans les limites de votre budget ? Nous utiliserons une IA générative innovante comme ChatGPT pour vous aider. Contactez-nous dès aujourd'hui pour en savoir plus sur les services de Lionbridge en matière de traduction et de localisation.