Cloud et calcul à haute performance : opportunité des start-up aux grands groupes

Si à l’origine, le HPC était réservé aux instituts de recherche, ce n’est plus le cas aujourd’hui grâce à la démocratisation du cloud computing.

Si à l’origine, les HPC (pour High Performance Computing ou supercalculateurs en français) et les calculs haute fréquence étaient réservés aux instituts de recherche, ce n’est plus le cas aujourd’hui grâce à la démocratisation du cloud. Cette dernière a ouvert de nouvelles pistes d’utilisation des HPC ouvrant de nouvelles possibilités de développement aux entreprises de toutes tailles et plus spécifiquement aux PME. La facturation à l’heure a, en effet, permis de répartir l’investissement consacré à l’utilisation de plusieurs centaines ou de milliers de processeurs entre plusieurs clients. Le Cloud public Européen, en particulier, offre un format ouvert de gestion des données, tout en garantissant leur sécurisation, leur confidentialité et la conformité avec le droit. Ainsi, la conjugaison de ces deux technologies rend les opérations et simulations complexes à grande échelle désormais accessibles à toutes les entreprises. Le manque de ressources éphémères de calcul informatiques des entreprises n’est donc plus du tout un frein. 

Une question se pose alors côté client : quel fournisseur cloud pour déployer des projets HPC ? La réponse à cette interrogation est cruciale, et la bonne nouvelle c’est que les nouvelles technologies récemment embarquées dans les infrastructures des prestataires du cloud rendent désormais possible ce service HPC. Alors, comment faire le bon choix ? Les applications HPC exigent, en effet, des capacités de calcul et de mémoire très élevées, couplées à de très hauts niveaux de performances de l’infrastructure réseau et stockage.

Caractéristiques : flexibilité, agilité, fiabilité et sécurité

Un certain nombre de précautions s’imposent dans son choix de plateforme. Le HPC n’est pas limité au calcul haute performance sur un seul processeur mais doit permettre le traitement parallèle sur de multiples processeurs. En premier lieu, il est important de vérifier que l’infrastructure du prestataire cloud est bien conforme avec les standards nécessaires au HPC et à ses besoins ; et notamment d’étudier les services de la liste non exhaustive suivante :

• Les services PaaS* (Cluster Big Data as a Service),
  
• Le support des processeurs du IaaS aux standards du calcul en parallèle (MPI**),
  
• Le support du FPGA*** du IaaS pour des calculs liés au machine learning,
  
• Le support de processeurs graphiques 3D (ou cartes GPU) pour tous les besoins de calculs intensifs, 
  
• Le réseau infiniband qui offre une très faible latence d’exécution sur de larges débits de transfert,
  
• La capacité de maîtrise de la sur-allocation CPU allant jusqu’à 1vCPU par CPU par exemple,
  
• Les différentes classes de stockage en bloc et objet, afin de bénéficier à la fois de stockage performant et de stockage long terme pour des gros volumes de données. 
• Etc.
  

Le paysage des supers calculateurs se dessine aujourd’hui clairement avec le support des processeurs graphiques ou GPU : une seule carte de processeurs graphique offre la puissance de plusieurs dizaines de CPUs en termes de calcul avec des I/Os bien plus importantes et adaptées aux scénarios de calculs parallèles que les serveurs à architecture « classique ».

Dans un deuxième temps, il faut également vérifier que le fournisseur s’intègre facilement et rapidement avec les outils de son système d’information. En outre, au stade du comparatif financier, il faut bien vérifier l’absence de restrictions techniques ou commerciales sur les ressources sous-jacentes, notamment le débit des liens réseaux internes entre les unités de calcul ou machines virtuelles et les stockages distribués.

Ne payer que ce qui est utilisé et s’affranchir des contraintes

Investir dans des serveurs qui ne seront utilisés que quelques mois n’est pas justifié sachant que l’utilisation des services cloud est très simple et que l’exercice peut même être simplifié à l’extrême en dupliquant des clusters de calcul pour chaque besoin métier. Ainsi, l’impact sur l’expérience utilisateur en mode nominal ou lors d’un pic de charge sera encore amélioré par la réduction des temps de calcul réalisée pour chaque besoin.

Cette optimisation est rendue possible par l’utilisation massive des interfaces de programmation applicative (APIs) des fournisseurs cloud. Les clients doivent pouvoir piloter leurs ressources via leurs outils de gestion des services HPC tels que les outils de développements, les orchestrateurs et ordonnanceurs, et ne rencontrer aucune contrainte de management. Ainsi l’orchestration et le lancement de l’exécution de calculs intensifs sont automatisés de manière totalement maitrisée.

L’utilisation des HPC dans le cloud sous l’aspect infrastructure de serveurs distribués n’est pas la seule approche. Il en existe une autre pouvant avoir du sens en fonction de ses besoins, à savoir : le poste de travail virtuel équipé de processeur graphique. Cela permet de disposer de performances inédites pour des applications fonctionnant en stand alone et évite d’investir dans des postes de travail encombrants et coûteux équipés de carte graphique. La création et la conception de nouveaux produits en 3D ou encore la réalisation de simulations numériques n’ont jamais été autant à la portée des TPE et PME. Les grands groupes industriels ou les jeunes start-up prometteuses ont de cette façon toutes les clés pour se développer et prospérer.

Ce n’est qu’une fois que les calculs en HPC ont été effectués, qu’il convient d’aborder la question du traitement d’un tel volume de données. C’est là qu’intervient l’analyse en big data. En effet, consommer un cluster de 100 nœuds big data sur un laps de temps court au lieu de déployer un cluster de 5 nœuds permanents, ouvre les champs d’une analyse d’un volume de données très dense et pourtant à forte valeur d’information pour les utilisateurs. Ainsi, on pourrait dire que la demande de stockage en cloud public ne cessera de croître parallèlement à la croissance des entreprises, de la start-up aux grands groupes, qui auront su faire les bons choix. Il y a même fort à parier que toujours soucieuses de se renouveler et d’éviter l’enfermement technologique, les entreprises de toutes tailles élargissent leur choix à des solutions encore plus évolutives. C’est justement l’atout central d’un Cloud open source qui, porté par des initiatives de type Openstack, fera exploser l’usage de technologies sécurisées toujours plus « ouvertes » intégrables à l’infini. 

*Platform as a Service **Message Passing Interface  ***Field-Programmable Gate Array