Le plus puissant des supercalculateurs industriels est désormais entre les mains de Total

Maintenant Total sont les seuls en France à posséder un supercalculateur présent dans le Top 15 des plus puissants HPC mondiaux, avec Pangea III, créé par IBM. Mais à quelles fins?

Les grands organismes gouvernementaux ou de recherche ne sont pas les seuls à profiter des supercalculateurs. Il arrive que de grands industriels les utilisent aussi.”Chez Total, nous faisons du calcul haute performance depuis le milieu des années 80.Ces 20 dernières années, nous avons multiplié par 10.000 la puissance de calculs de nos systèmes, à raison d’un facteur 10 tous les 5 ans environ” soulignent François Alabert, directeur Geo-Technology Solutions à l’Exploration-Production de Total.

L’entreprise disposait déjà de la puissance de calcul présente dans le Top 15 des ordinateurs les plus puissants au monde avec Pangea I et II. Grâce au tout nouveau supercalculateur de l’entreprise, la puissance de calcul de Total est maintenant de 31.7 Pétaflops.

 

Plus de puissance égale division de la consommation

 

Fait par IBM, Pangea III s’inspire de l’architecture des supercalculateurs Summit et Sierra du DoE (Department of Energy) outre-Atlantique qui se situe continuellement aux deux premières places du TOP500 depuis un an. Malgré qu’il est moins de puissance, ce superordinateur parvient quand même à atteindre la 11e place de ce fameux classement.

Mais le plus important, jusqu’à ce jour il est le seul supercalculateur du TOP 15 à appartenir à un acteur du secteur privé industriel, car tous les autres HPC de la liste sont en possession d’organismes d’état ou académiques.

Et pour ne rien gâcher, il le seul superordinateur français présent dans le Top 3 européen.

Si on oublie la puissance pure, Pangea II travaille aussi pour la planète, car il est actuellement à la 7e place du “Green 500”, qui est le classement des supercalculateurs qui consomme le moins d’énergie. Se trouvant sur le site du Centre scientifique et technique Jean Féger de Pau,  il bien plus puissant (5 fois plus) que c’est aîné qui sont encore en activité, mais économise 3 fois moins d’énergie (1.5 MW face à 4.5 MW pour Pangea I et II, c’est-à-dire une consommation par pétaflops divisée par 11).

 

En ce qui concerne le Pangea III

 

Le Pangea III a été développé en deux étapes. Durant octobre et novembre 2018, le personnel d’IBM, de NVidia et de Mellanox ont fait un démonstrateur sur le site d’excellence technique d’IBM à Montpellier afin que Total est la possibilité de certifier que les paris été possible. Le montage de panga III à Pau a débuté en janvier 2019 et a duré 4 mois. Le superordinateur a pu être opérationnel à partir de fin mai.

Il est fait de 558 noeuds (2U) ayant 2 processeurs Power9 de 18 coeurs (à 3.45 GHz)

liés à 6 GPU NVIDIA Volta GV100. Chacun embarquant 2 interfaces Infiniband 100 de Mellanox, les noeuds n’intègrent aucun disque ou SSD en revanche ils communiquent entre eux et avec la baie de stockage d’un débit de 200 Gb/s. Chacun de ses noeuds a 512 Go de RAM, chaque GPU profite de 16 Go de mémoire propre du genre HBM (High Bandwidth Memory).

S’étalant sur une surface de 120 m2, la totalité est réfrigérée par un mécanisme de refroidissement liquide en circuit fermé fait par IBM.

Quand au stockage, lui, mis dans une salle plus basique à refroidissement par air. Il est fait par DDN( DataDirecte Networks) et offre une baie de 50Po au stockage existant des Pangea I et II. Cette baie est constituée de disques rotatifs interconnectés.

Comme on peut s’y attendre, une console centrale présente tous les noeuds comme une unité et propose différents tableaux de bord de surveillance et d’alerting. Elle garantit par la même occasion le pilotage du scheduling, en d’autres mots la réservation des noeuds, la gestion des noeuds, le déploiement des OS (du RedHat Linux) et enfin des bibliothèques MPI, etc. Cette console se base sur des outils open source comme InfluxDB, Grafana et Icinga.

 

Configurer l’existant à Pangea III

 

L’architecture de Pangea III inspiré des Power9 et des GPU se distingue fortement de celles des précédents Pangea I et II qui ont x86. Ça signifie qu’il faut repenser et réécrire les outils et codes déjà mis en place. Le service informatique de Total prévoit depuis un an l’installation de cette architecture et travail à rendre compatibles leurs bibliothèques de codes pour profiter des GPU et de l’architecture du nouveau supercalculateur. Des compilateurs C et Fortran IBM XL  sont surtout utilisés avec du Scuda afin d’utiliser les GPU et des API OpenMP pour gérer la mémoire partagée. “Le travail de portage a commencé bien avant la mise en place du système. La machine est aujourd’hui opérationnelle même si d’autres optimisations seront progressivement insufflées aux différents codes utilisés”, déclare François Alabert.

 

L’utilisation du Pangea III

 

Pangea III aura pour principale fonction l’imagerie sismique. “Les champs de gaz et de pétrole se situent à des milliers de mètres sous terre. Avant de forer les puits d’exploration et de production, nous avons besoin de déterminer les emplacements optimaux sachant que les champs peuvent s’étendre de quelques kilomètres carrés à des centaines de kilomètres carrés” détail François Alabert.

Via des milliers de sondes sismiques (points de tir) qui créent des vibrations et de capteurs (géophones) qui trouvent des échos, on peut imager le sous-sol. Les campagnes de relevés peuvent s’étendre sur plusieurs mois et sont aussi possibles sur terre comme en mer. Rappelant une échographie médicale, par des algorithmes qui modélisent la physique de la propagation des ondes acoustiques dans le sol, les ingénieurs de Total ont la capacité d’analyser les échos, de les assimiler, et de les réinventer afin dans faire une image 3D du sous-sol grâce à ses différentes strates géologiques. De cette manière on peut découvrir et localiser avec précision de nouvelles sources d’hydrocarbures. Ce travail n’est pas seulement pour l’obtention d’une première image statique des champs d’hydrocarbures: “Nous réalisons également des campagnes répétitives avec les mêmes sources et capteurs, pour mesurer l’évolution de la vie du champ et réimplanter les puits aux endroits les plus appropriés” enchaîne François Alabert.

En plus de l’imagerie sismique faite pour l’exploration (la découverte de nouveaux champs) et pour le développement ( pour optimiser l’exploitation), Pangea II aura aussi la fonction de simuler la vie du réservoir d’hydrocarbures avec le temps: “On construit un digital twin (jumeau numérique) du champ et on anticipe ce qui va se passer dans le réservoir au fur et à mesure de son exploitation. On simule ainsi la production future de chaque puits”.

 

A sert une telle puissance?

 

Pour quelle raison le groupe Total veut un supercalculateur dans le Top 15 afin de générer de telles images? Car la construction de Total a besoin d’une exceptionnelle  puissance de calcul. L’imagerie sismique se base sur l’enregistrement des signaux venant des milliers de points de tir grâce à une résolution au millième de millisecondes. Tous les points de tir créer des échos sur des centaines de capteurs (points d’écoute).  “Il en résulte une quantité de données énorme à traiter”, observe François Alabert. “ Une campagne de relevés fait aisément 30 To de données. Nous avons non seulement une très grande volumétrie à traiter en simultané, mais les traitements sont eux-mêmes très lourds.”

Étant donné que pour utiliser ces données, il y a besoin de modéliser les équations de propagation, à l’origine très complexes, mais il faut aussi faire de nombreuses opérations itératives pour affiner petit à petit les résultats, comme si un chercheur régler la molette d’un microscope afin d’optimiser la clarté de l’image.

Seuls les supercalculateurs massivement parallèles peuvent réaliser des calculs qui besoin d’une infrastructure hautement parallélisée tout en ayant un nombre d’I/O très élevé.

La simulation du cycle de vie des champs d’hydrocarbures a aussi besoin de très lourds calculs. “Nous disposons de modèles maillés de l’écoulement des hydrocarbures du début à la fin de vie du champ. Il y a trente ans nos modèles étaient très grossiers avec à peine quelques milliers de mailles représentant chacune des centaines de milliers de mètres cubes. Aujourd’hui, les modèles sont riches de dizaines de millions de mailles, chacune représentant des espaces de roches de moins de 100 mètres cubes” souligne François Alabert.

 

Un supercalculateur entièrement privé

 

L’ensemble des modélisations ont été et le sont toujours imaginées, créées puis codées en interne personnellement par les chercheurs géophysiciens et les développeurs de chez Total. “Un des intérêts à disposer de tels supercalculateurs est justement de se monter plus compétitif que nos concurrents et d’être plus précis, plus performants et plus rapides qu’eux” nous apprend François Alabert. “ Pangea III est utilisé à 100% par Total, 100% du temps. Il n’y a aucun temps mort”.

 

Une puissance primordiale qui n’en demandera toujours plus. Le développement de nouvelles techniques d’acquisition est permanente, donnant toujours plus d’informations à analyser. Mais pour multiplier par deux la résolution des images sismiques, multiplier par 50 les opérations de calcul est nécessaire. “Si, aujourd’hui, nous avions à disposition dix Pangea III, ils seraient déjà occupés à 100%”, constate François Alabert.

 

Quelques personnes s’étonneront sûrement de voit Total avoir de si grand calcul bien entendu très long à rentabiliser, malgré qu’il est reconnu par l’opinion publique que “l’on n’aura bientôt plus d’hydrocarbure”. Selon François Alabert, “l’inquiétude dite du “Peak Oil” s’est répandue au début des années 2000. Mais aujourd’hui, nous sommes plutôt revenus à une phase d’abondance. Il n’y a plus d’inquiétude. Tous les ans, nous découvrons de nouvelles réserves représentant quelques dizaines de milliards de barils”. Plus clairement, les champs pétrolifères ne sont généralement utilisés qu’au tiers de leur capacité, les autres étant la plupart du temps trop cher à utiliser. “Des supercalculateurs comme Pangea nous aident à mieux exploiter les champs d’hydrocarbures et à imaginer de nouvelles solutions afin de produire des ressources de la manière la plus économique et la plus durable possible.”

 

Sur le même sujet:

Cocorico… la France se dote d’un nouveau supercalculateur !

Avec Summit, les Etats-Unis récupèrent leur trône dans le HPC

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.