La transition écologique de l’Intelligence Artificielle (IA)

Publié le vendredi 30 octobre 2020 à 17:07 , mis à jour le vendredi 27 novembre 2020
6 mins

Le coût énergétique de l’IA n’est pas encore réellement pris en compte. Les nouvelles méthodes d’IA se focalisent principalement sur les scores de prédiction. Mais ces indicateurs de performance devraient être mis en perspective avec le coût énergétique. Comme je l’ai évoqué lors de la conférence e5t à La Rochelle en octobre 2020, un gain de quelques millièmes de pourcent de reconnaissance justifie-t’il toujours un coût énergétique multiplié par 1000 ?

Sobriété

En 2019 une équipe de chercheurs de l’Université du Massachusetts a montré la consommation très importante nécessaire à la mise au point d’un modèle de NLP introduit en 2017 par Google . La mise au point d’une IA passe toujours par de longues phases d’essais pour calibrer le système lors de la recherche de ce que l’on appelle les hyperparamètres. Il s’agit d’une série de paramètres globaux qui définissent l’architecture du réseau et les paramètres d’apprentissage. À chaque essai d’un nouvel hyperparamètre, un réapprentissage complet du modèle est nécessaire. Ainsi, après de nombreux essais, un modèle optimal est trouvé. Dans l’exemple cité par l’équipe du Massachusetts, le coût global nécessaire à la mise au point du modèle s’est avéré 3200 fois plus important que le coût d’apprentissage d’un seul modèle.

Les travaux de recherche pour développer des IA moins énergivores sont moins motivés par des considérations environnementales que par les contraintes d’autonomie des smartphones

L’équipe de chercheurs a calculé les émissions de CO2 nécessaires à la mise au point de l’IA et les a comparées avec des émissions de CO2 connues pour des dépenses énergétiques usuelles (en se basant sur le mix énergétique aux Etats-Unis, ce qui peut donc varier selon les pays). On apprend dans l’étude que la mise au point de cette IA a généré autant de CO2 que 5 voitures pendant toute leur durée de vie et autant que 315 aller-retours en avion entre New York et San Fransisco.

La communauté scientifique doit s’emparer des problématiques écologiques de l’IA, comme elle l’a fait avec les questions d’éthique et de transparence. Après la prise conscience des problèmes d’éthique soulevés par l’IA, des conférences scientifiques dédiées, telles que La conférence FAccT, ont été mises en place offrant aux chercheurs un support pour la publication de travaux visant à limiter les biais cognitifs dans l’IA et à améliorer l’explicabilité des résultats. L’IA n’est pas immatérielle. Nécessitant des ressources naturelles en partie non renouvelables, l’IA est une ressource limitée, dont il convient de faire une usage responsable.

Nécessitant des ressources naturelles en partie non renouvelables, l’IA est une ressource limitée, dont il convient de faire une usage responsable.

Aujourd’hui les travaux de recherche pour développer des IA moins énergivores sont moins motivés par des considérations environnementales que par les contraintes d’autonomie des smartphones (ou des objets connectés). En effet, quelque-soient les logiciels qui tournent sur un téléphone, il y a un cahier des charges à respecter : la batterie doit tenir une journée ! Il y a donc un effet rebond puisque les économies d’énergies obtenues seront toujours exploitées pour faire tourner d’autres fonctionnalités tout en restant dans contrainte d’autonomie d’une journée. Des conférences telles que le Low-Power Computer Vision (LPCV) Challenge visent à promouvoir les projets de reconnaissance d’images nécessitant peu d’énergie. Il y a d’ailleurs une déclinaison « Lite » du framework TensorFlow spécifiquement développée pour faire tourner des IA sur des microcontroleurs tels que le Arduino.

Éco-conception

En comparaison des consommations évoquées, la très faible consommation du cerveau nous interpelle. Les avancées technologiques de l’IA sont intimement liés à aux progrès des neurosciences et réciproquement. Ainsi les chercheurs s’inspirent du fonctionnement du cerveau humain pour rendre l’IA plus efficiente.

Des travaux visent à sélectionner automatiquement les hyperparamètres à partir d’optimisation bayésienne ou d’algorithmes évolutionnaires .

On sait que le fonctionnement du cerveau humain diffère de l’IA puisque quelques photos d’un animal suffisent à un humain pour lui permettre de le reconnaitre ensuite sur des photos, quelque soit l’orientation de l’animal, sa taille, ou la luminosité (à la différence de l’IA qui requiert de milliers de photos de chaque animal). On sait également qu’il est très facile de tromper un modèle de deep learning avec des modifications mineures d’une photo (invisibles pour l’oeil humain), faisant passer un panneau « stop » pour un panneau de limitation de vitesse .

Vladimir Vapnik, le fondateur des Support Vector Machine (SVM) compare la méthode de Deep Learning à du « bruteforce« , technique utilisée dans le domaine du hacking pour « casser » un système d’authentification en lui envoyant les millions de combinaisons aléatoires possibles, jusqu’à ce que le mot de passe soit généré.

Vladimir Vapnik: Deep Learning and the Essence of Intelligence – source
Lex Clips

La société française Another Brain développe une approche de l’IA bio-inspirée qui s’oppose au deep learning et à la quantité de données et de traitements qu’il nécessite. Peu de données et de puissance de calcul sont nécessaires pour cette IA prometteuse.

Approche bioinspirée développée par la société Another Brain – Source Another Brain

Plusieurs travaux ont été réalisés pour mesurer l’efficacité énergétique de l’IA en comparant les consommations d’energies de différentes méthodes .

Le Transfert Learning permet aux IA d’apprendre les unes des autres, à la manière des humains qui se transmettent un savoir

L’apprentissage par transfert (transfert learning) qui est une branche de l’IA consistant à réutiliser tout ou partie d’une autre IA et de l’adapter pour de nouveaux besoins permet aux IA d’apprendre les unes des autres, à la manière des humains qui se transmettent un savoir. Le principe est d’économiser du temps de calcul, puisqu’il n’est pas nécessaire de tout réapprendre et de réaliser ainsi les économies d’énergies associées.

Des composants optimisés

En parallèle, de nouvelles puces neuromorphiques ambitionnent de remplacer les transistors habituellement utilisés par des composants s’inspirant directement des neurones, afin de gagner en efficacité.

Intel annonce que la nouvelle puce neuromorphique Loihi est 10000 fois plus efficace qu’un CPU du point de vue énergétique .

Ratios des temps d’exécution et de l’énergie requise pour la résolution d’une régression LASSO (entre 60 et 120,000 inconnues) entre un CPU et la puce neuromorphique Loihi.

Le fabricant de puces GraphCore promet quant à lui une économie d’énergie de 20% avec ses puces IPU (Intelligent Process Unit) optimisées pour l’IA.

Comparaison de l’efficience entre GPU et IPU sur l’exemple de l’apprentissage d’un modèle de reconnaissance du langage. Source

Les centres de données verdissent

Comme l’indique Cédric Villani , les efforts sur l’efficience des architectures d’IA doivent s’accompagner d’un verdissement de la chaîne de valeur des centres de données. Il y a eu de nombreuses initiatives de la part des centres de données visant à privilégier des énergies renouvelables pour alimenter les serveurs, à l’instar des datacenters français de l’entreprise Webaxys, ou pour les refroidir comme dans le partenariat entre la startup Verne Global et l’opérateur télécom Colt en Islande.

Le marché de l’hébergement éco-responsable se structure avec la définition d’un indicateur de performance énergétique (nommé PUE) depuis 2007 par le consortium The Green Grid. Cet indicateur a été complété par l’indicateur européen DCEM (Data Centre Energy Management) qui tient compte également des énergies réutilisées et renouvelables.

Le data center Green Mountain en Norvège – source Green Mountain

En utilisant des énergies renouvelables, en refroidissant les serveurs avec des ressources naturelles ou en réutilisant la chaleur émise, les data centers éco-responsables représentent le levier le plus important dans la réduction des émissions de CO2 nécessaires au fonctionnement de l’IA. Citons l’exemple du data center Green Mountain en Norvège, qui en refroidissant ses serveurs avec les fjord et les rivières, a pu diviser par plus de 2 ses coûts en énergie.

L’usage de l’IA deviendra-t’il un jour éco-responsable ?

Une IA vertueuse dont les gains réels sont mesurables saura résoudre des problématiques environnementales. L’IA est déclinée aujourd’hui dans de nombreuses applications, sans qu’il y ait toujours un réel intérêt. Ce fut le cas avec l’émergence d’autres technologies comme la blockchain ou les objets connectés, et le temps fera le tri entre les gadgets et les innovations réellement utiles.

L’IA doit évoluer vers plus de frugalité en limitant au maximum les ressources dont elle a besoin. Le deep learning et la quantité de données et de calculs qui l’accompagnent doivent être progressivement remplacés par d’autres IA moins énergivores, à l’instar de ce qui est réalisé par la startup Another Brain. Pour en finir avec le Green Washing, nous devons valoriser les projets qui intègrent réellement une optimisation énergétique et exiger de la transparence sur l’impact environnemental des solutions IA.

L’IA est une ressource limitée, dont il convient de faire une usage responsable

Conjuguer IA et transition écologique est une mission délicate mais ce challenge peut aussi fédérer un écosystème vertueux. En donnant du sens à l’IA , l’Europe peut jouer un rôle moteur dans la révolution écologique de l’IA. Ce faisant, les contraintes écologiques de l’IA deviendraient alors autant d’opportunités pour nos entreprises pour se démarquer en développant un savoir-faire spécifique, tel un avantage concurrentiel, liant IA et efficacité énergétique.

Signe qu’une prise de conscience émerge, au salon AI Paris en 2020 ou nous étions présents, pour la première fois deux conférences furent axées sur la consommation d’énergie associée à l’IA.

Nous assistons actuellement à une orientation forte de l’IA vers d’avantage d’équité, de responsabilité et de transparence. Dans ce contexte, l’éthique environnementale de l’IA va naturellement s’imposer comme un objectif essentiel.

Références

Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Prakash, A., Kohno, T., & Song, D. (2018). Robust Physical-World Attacks on Deep Learning Models. ArXiv:1707.08945 [Cs]. http://arxiv.org/abs/1707.08945
García-Martín, E., Rodrigues, C. F., Riley, G., & Grahn, H. (2019). Estimation of energy consumption in machine learning. Journal of Parallel and Distributed Computing, 134, 75–88. https://doi.org/10.1016/j.jpdc.2019.07.007
Davies, M., Srinivasa, N., Lin, T., Chinya, G., Cao, Y., Choday, S. H., Dimou, G., Joshi, P., Imam, N., Jain, S., Liao, Y., Lin, C., Lines, A., Liu, R., Mathaikutty, D., McCoy, S., Paul, A., Tse, J., Venkataramanan, G., … Wang, H. (2018). Loihi: A Neuromorphic Manycore Processor with On-Chip Learning. IEEE Micro, 38(1), 82–99.
Li, D., Chen, X., Becchi, M., & Zong, Z. (2016). Evaluating the Energy Efficiency of Deep Convolutional Neural Networks on CPUs and GPUs. 2016 IEEE International Conferences on Big Data and Cloud Computing (BDCloud), Social Computing and Networking (SocialCom), Sustainable Computing and Communications (SustainCom) (BDCloud-SocialCom-SustainCom), 477–484. https://doi.org/10.1109/BDCloud-SocialCom-SustainCom.2016.76
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, É. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12(85), 2825–2830. http://jmlr.org/papers/v12/pedregosa11a.html
Dalgren, A., & Lundeg\aard, Y. (2019). GreenML : A methodology for fair evaluation of machine learning algorithms with respect to resource consumption.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. ArXiv:1706.03762 [Cs]. http://arxiv.org/abs/1706.03762
Villani, C., Schoenauer, M., Bonnet, Y., Berthet, C., Cornut, A.-C., Levin, F., & Rondepierre, B. (2018). Donner un sens à l’intelligence artificielle. Mission Villani sur l’intelligence artificielle. https://hal.inria.fr/hal-01967551
Bergstra, J., & Bengio, Y. (2012). Random Search for Hyper-Parameter Optimization. Journal of Machine Learning Research, 13(10), 281–305. http://jmlr.org/papers/v13/bergstra12a.html
Strubell, E., Ganesh, A., & McCallum, A. (2019). Energy and Policy Considerations for Deep Learning in NLP. ArXiv:1906.02243 [Cs]. http://arxiv.org/abs/1906.02243