ChatGPT peut-il aider à informer sur les risques causés par le changement climatique ?

Si vous me suivez depuis longtemps, vous vous souvenez peut-être que la toute première appli d'évaluation des risques climatiques que j'ai réalisée était un chatbot capable de répondre à des questions simples sur l'évolution locale du climat.

La génération automatique de texte a toujours eu un rôle à jouer pour démocratiser l'étude des effets du changement climatique. Même si cela peut sembler marginal par rapport aux étapes de traitement des projections ou de modélisation d'impact, qui sont le coeur technique et scientifique du projet, c'est bien le rapport produit à la fin -sa précision, sa fluidité et son intelligibilité- qui va déterminer si les résultats seront compris par l'utilisateur, et pourront être réellement mis au service d'une démarche d'adaptation.

J'ai donc naturellement été attentif au buzz provoqué depuis quelques semaines par ChatGPT. Cette technologie pourrait-elle venir compléter notre boite à outil ? Peut-elle être mise au service de la lutte contre le changement climatique ?

Vous avez des questions ? ChatGPT a des réponses !

Si vous habitez dans une grotte, ChatGPT est un robot conversationnel développé par l'entreprise américaine OpenAI. Il s'appuie en réalité sur le modèle de language GPT-3, existant depuis 2020, mais avec la différence majeure qu'il est accessible via une interface simple. N'importe quel internaute peut créer un compte et venir dialoguer de tout et de rien avec le système.

Vous avez une question sur les effets du changement climatique ? Pas de problème, il sera ravi de vous répondre :

Cette réponse est à la fois impressionnante et decevante.

Impressionnante parce qu'elle hierarchise correctement les informations et avance une recommandation tout-à-fait raisonnable. 

Même si ce n'est pas explicitement demandé dans la question, le deuxième paragraphe aborde logiquement le changement climatique. Les valeurs numériques et la référence sont irreprochables : dans le 5e rapport du GIEC, la borne inférieure de l'intervalle de confiance à 95% de l'élévation moyenne du niveau de la mer à la fin du siècle dans le scénario d'émissions le plus bas (RCP2.6) est effectivement de 26 cm et la borne supérieure de l'intervalle de confiance à 95% dans le scénario d'émissions le plus haut (RCP8.5) est bien de 82 cm.

Des informations publiques, anciennes et... aléatoires

Le premier problème de cette réponse, c'est qu'elle ne répond pas à la question.

Ce n'est pas vraiment une surprise : le modèle est entrainé sur des textes disponibles sur le web en 2021. ChatGPT ne peut donc vous donner que des informations suffisamment anciennes et publiques pour qu'il ait effectivement pu les rencontrer dans son jeu de données d'entrainement.

Les projections du niveau de la mer au Havre (ou dans la plupart des villes côtières du monde) n'en font pas partie. Elles existent mais confinées dans des bases de données scientifiques, elles n'ont pas été assez discutées sur internet pour que le modèle puisse en avoir connaisance. Le choix de la source (le 5e rapport du GIEC sorti en 2013) est peut-être aussi lié au jeu de données d'entrainement : le modèle a sans doute été peu exposé aux projections plus récentes, publiées avec le 6e rapport du GIEC mi-2021.

Inutile cependant d'analyser trop précisément cette réponse parce qu'elle est générée aléatoirement : si on lui repose la même question, le système produira un autre texte. Celui-ci peut-être une simple reformulation ou bien être entièrement différent.

C'est un problème plus fondamental de ChatGPT, ses réponses ne sont pas stables. Une fois il nous dira que, selon l'Organisation météorologique mondiale, le niveau de la mer pourrait augmenter de 0,3 à 0,7 mètre, une autre fois que l'Institut français de la biodiversité anticipe une élévation de 10 centimètres. A moins que ce ne soit l'ANDRA ? Les projections du GIEC, souvent citées, seront parfois de 20 à 60 centimètres, parfois de 0.26 à 0.55, parfois de 30 centimètres à un mètre... Et occasionnellement, il peut dire que la prévision est impossible et conclure, philosophe, que "en fin de compte, seul le temps nous dira comment le niveau de la mer au Havre évoluera".

Une utilisation en data-to-text est-elle envisageable ?

ChatGPT n'est donc pas en mesure de fournir des informations actualisées et fiables. Mais s'il échoue sur le fond, peut-il aider sur la forme ? Si on lui donne des chiffres, peut-il en rédiger l'explication ou l'interprétation ?

Pour essayer de répondre à cette question, j'ai réalisé des tests avec l'API de GPT3. J'ai donné explicitement des valeurs d'élévation du niveau de la mer sur 2 horizons de temps et deux scénarios et j'ai demandé au modèle de me proposer 5 textes à partir de ces données. 

Résultat, sur les 5 textes :

• Trois reprennent correctement les données fournies,
• Un se trompe (proposition 1)
• Un est complétement aux fraises (proposition 4)
  

On attend au minimum que les données soit reprises complétement et sans erreur - le critère pourrait être par exemple qu'un lecteur ordinaire puisse reconstituer les données fournies au modèle. Dans le contexte de l'étude des effets du changement climatique, avec des risques humains et matériels importants, je ne vois pas comment on pourrait utiliser un système qui n'est pas irréprochable sur ce point. Et clairement GPT est loin du compte...

Probablement que la requête pourrait être améliorée. Et les textes étant générés aléatoirement, on n'a peut-être pas eu de chance au tirage... Mais justement la dimension aléatoire du résultat implique que même si une requête semble marcher, on ne pourra jamais garantir que le texte généré sera toujours exempt d'erreur.

Prendriez-vous des conseils de gestion des risques climatiques auprès d'une IA ?

Si on lui demande des chiffres, ChatGPT (ou GPT-3) régurgite de façon plus ou moins exacte des bouts d'information auxquelles il a été exposé pendant son entrainement. Si on lui donne les chiffres, il peut les reprendre fidélement comme il peut se tromper du tout au tout. 

Qu'est-ce qui décide du succès ? C'est en partie aléatoire, en partie le résultat de mathématiques complexes dans la grande boite noire qu'est un réseau de neurones profond.

Rien n'est fiable, rien n'est reproductible, rien n'est explicable.

Quelque soit votre domaine, c'est évidemment un problème si vous imaginez que GPT va pouvoir se substituer à un expert. En matière de risques climatiques, c'est tout simplement inenvisageable : si vous prétendez dire à quelqu'un ce qui va lui arriver en 2050 ou 2100, sans vérification possible avant des décennies, la confiance est clé. Tout doit être explicable, sourcé et transparent.

Au-delà de ce cas, c'est la raison pour laquelle je suis très prudent vis-à-vis des utilisations de l'intelligence artificielle pour l'adaptation au changement climatique en général, et chez Callendar en particulier. A mon avis, l'IA ne doit être envisagée que comme dernier recours et en privilégiant des modèles simples, peut-être moins précis mais dont on maitrise parfaitement le fonctionnement.

 

Si vous êtes intéressé par l'élévation du niveau de la mer, vous pouvez consulter cet article qui explique l'origine des incertitudes et comment les gérer ou tester l'application développée par Callendar pour estimer la date de submersion à votre adresse :

 Publié le 19 décembre 2022 par Thibault Laconde