Désormais omniprésents, les modèles d’IA, comme ceux utilisés par ChatGPT, Gemini ou Meta, offrent des capacités impressionnantes dans de nombreux domaines, notamment la génération de texte, d’images ou de code. Mais derrière ces prouesses technologiques se cachent des coûts considérables, tant financiers qu’environnementaux, dont l’ampleur suscite de plus en plus d’interrogations.
L’entraînement des modèles d’IA : un coût financier exponentiel
Le coût d’entraînement des modèles d’IA a explosé au fil des ans, passant de quelques millions de dollars pour les premières générations à des centaines de millions, voire des milliards pour les modèles à venir. Selon une estimation de Dario Amodei, CEO de Cohere, ce coût pourrait atteindre des chiffres astronomiques dans quelques années : “Pour l’instant, c’est 100 millions. Il y a des modèles en formation aujourd’hui qui coûtent plutôt un milliard de dollars”, précise-t-il dans Le Monde Informatique, ajoutant que ces sommes pourraient grimper à “dix ou cent milliards en 2025, 2026 et peut-être 2027”.
Plusieurs études, comme celle de Epoch AI, confirment cette tendance : les coûts de formation des modèles d’IA de point augmentent d’un facteur de 2,4x par an depuis 2016. Un rythme qui pourrait rendre ces technologies inaccessibles aux entreprises disposant de moyens financiers limités. Par exemple, le coût d’entraînement de GPT-4, lancé par OpenAI en 2023, est estimé à plus de 100 millions de dollars, quand celui de Gemini 1 aurait demandé à Google de débourser près de 191 millions de dollars, selon Epoch AI et Statista. Ces montants incluent notamment l’achat de GPU, dont le coût unitaire est d’environ 30 000 à 40 000 dollars, ainsi que les frais liés aux infrastructures cloud.
David Cahn, analyste chez Sequoia Capital, met en garde, toujours dans les colonnes du Monde Informatique, contre le risque d’une bulle financière autour de l’IA. Selon lui, il faudrait que les grandes entreprises génèrent 600 milliards de dollars de revenus annuels pour équilibrer les investissements dans le secteur. “En supposant que Google, Microsoft, Apple et Meta génèrent chacun 10 milliards de dollars par an grâce à l’IA”, et en addition de plus petites structures, il resterait “un écart de 500 milliards de dollars” à combler, selon lui. Ces coûts colossaux poussent les entreprises à explorer des techniques d’optimisation pour réduire la durée de formation des modèles. La méthode JEST de Google Deepmind, par exemple, pourrait réduire les calculs nécessaires de dix fois.
Un impact environnemental préoccupant
Si le coût financier est exorbitant, l’impact environnemental suscite également des inquiétudes. La consommation énergétique de l’entraînement des modèles d’IA est énorme et nécessite des solutions de refroidissement innovantes pour éviter la surchauffe des serveurs. Par exemple, le supercalculateur Jean Zay, en France, utilise un système de refroidissement direct à l’eau pour ses serveurs, et l’eau chauffée est réutilisée pour 1 000 logements du plateau de Saclay, raconte La Tribune.
Au-delà de l’énergie, l’empreinte hydrique est un sujet encore peu pris en compte. Une étude américaine intitulée Make AI less “thirsty” (rendre les IA moins assoiffées) rapporte que poser de 20 à 50 questions à GPT-3 consommait l’équivalent d’une bouteille d’eau de 50 cl nécessaire au refroidissement des serveurs. Cette consommation pourrait atteindre 4 à 6,5 milliards de mètres cubes d’eau douce d’ici 2027, soit 4 à 6 fois ce que prélève un pays comme le Danemark.
Pour faire face à cette demande, certaines entreprises, comme Microsoft, explorent de nouvelles options énergétiques. Le géant de la tech a signé en 2024 un accord pour réactiver le réacteur de la centrale nucléaire de Three Mile Island d’ici 2028 pour ses datacenters. Une décision controversée, alors que Microsoft tente de réduire comme il le peut ses émissions de CO2 qui ont bondi de 29 % entre 2022 et 2023, rappelle Le Monde Informatique.
Les défis futurs de l’IA : réguler et optimiser
Face à ces défis financiers et environnementaux, les acteurs de l’IA essayent de rendre l’entraînement des modèles plus durable et responsable. Des techniques de refroidissement par eau, comme celles développées par Atos avec le Direct Liquid Cooling pour les serveurs de Jean Zay, permettent de limiter la consommation d’eau en l’utilisant à température ambiante. “Cela évite de devoir refroidir l’eau pour la mettre dans le calculateur. Ce qui n’est énergétiquement pas efficace”, explique, toujours à La Tribune, Cédric Bourrasset, responsable de l’informatique quantique et de l’IA chez Eviden, filiale d’Atos. Selon les projets, les coûts énergétiques pourraient baisser de 20 à 30 %.
En 2023, le président américain Joe Biden a, quant à lui, signé un décret pour faciliter l’accès aux ressources nécessaires aux chercheurs, afin d’éviter que le développement de l’IA ne soit monopolisé par un petit nombre d’acteurs privés. Ce soutien pouvait laisser imaginer une plus grande transparence sur l’empreinte carbone et hydrique des modèles d’IA.
Entre la consommation énergétique, l’empreinte hydrique et la montée en flèche des dépenses, les enjeux sont majeurs pour concilier innovation technologique et développement durable. Les efforts pour optimiser les méthodes d’entraînement et diversifier les sources d’énergie se multiplient, mais seules une prise de conscience collective et des politiques de régulation pourront garantir que l’IA bénéficie à la société sans la mettre en péril.
Source: BDM
