OMNIA, déploiement automatisé pour la convergence HPC/DA/AI

Les infrastructures de calcul haute performance n’ont jamais été autant sollicitées. Pour déployer plus rapidement des environnements adaptés à des usages toujours plus diversifiés, les administrateurs peuvent désormais s’appuyer sur une plate-forme dédiée !
En partenariat avec 

Nous vous en parlions il y a quelques mois, la convergence de l’IA et du HPC est aujourd’hui une réalité. Et on peut désormais rajouter à l’équation le HPDA (High Performance Data Analytics), qui met les capacités de calcul du HPC au service de l’analyse d’immenses jeux de données complexes. Mais si convergence technologique il y a, les silos opérationnels sont eux toujours bien présents. Pour répondre à tous les nouveaux besoins générés par le développement de ces charges de travail avancées, les administrateurs en charge des infrastructures doivent en permanence configurer et reconfigurer manuellement serveurs, stockage et réseau afin d’allouer les bonnes ressources à chaque usage. D’après les résultats de notre étude Data Paradox, 75 % des entreprises ont constaté une augmentation des besoins en données mais 70 % admettent également qu’elles les recueillent plus vite qu’elles ne sont capables de les analyser.

Une stack entière déployée en quelques minutes

Pour accompagner cette prolifération de workflows analytiques et aider les experts HPC à délivrer plus rapidement et simplement les environnements nécessaires, les équipes du Dell Technologies HPC & AI Innovation Lab ont initié, en collaboration avec Intel et la communauté HPC, le projet open source Omnia. Concrètement, Omnia est constitué d’un ensemble de scripts Ansible qui vont automatiser le déploiement des clusters Kubernetes et Slurm et de tout l’environnement logiciel utile (frameworks, services, applications) pour créer une stack adaptée à l’usage souhaité (HPC, IA ou Data Analytics).

omnia

Omnia permet donc aux administrateurs de délivrer à la volée et en mode « point-and-click » des environnements mixtes de calcul intensif, à partir d’une interface centralisée et d’un pool unique de ressources, le tout en évitant les nombreuses tâches chronophages de configuration qui allongent les délais de provisionnement et sont sources de potentielles erreurs. De plusieurs semaines, les temps de déploiement passent à quelques minutes.

La puissance de la communauté open source

Omnia associe le savoir-faire de Dell Technologies en matière de calcul haute performance et toute l’expertise de la communauté open source. Ces connaissances se rencontrent notamment au sein de nos centres d’excellence pour le HPC et l’IA. L’un d’entre eux est installé depuis 2013 au sein de l’université de Pise. Contributeur majeur dans le développement d’Omnia, l’université a également été une des premières organisations à implémenter Omnia dans un projet de virtualisation de clusters HPC.

Les experts de l’université d’État de l’Arizona travaillent également en étroite collaboration avec notre laboratoire d’innovation pour améliorer Omnia et toujours mieux prendre en charge des workloads variés comme la simulation, le High-Throughput Computing (HTC) ou encore le machine learning. N’hésitez pas vous aussi à rejoindre la communauté pour contribuer à votre tour, à télécharger Omnia pour l’utiliser sur vos propres clusters, ou à vous rapprocher de nos équipes pour savoir comment mettre en œuvre la technologie au sein de votre organisation.

Je vous invite également à nous rejoindre, jeudi 7 octobre de 10h à 12h, pour un évènement digital sur l’intelligence artificielle et le HPC, au cours duquel vous aurez l’occasion de découvrir de nombreux cas concrets mis en œuvre par nos clients comme Safran ou l’Institut Gustave Roussy.

About the Author: Emilie Gaudu

HPC & AI France Sales Lead chez Dell Technologies.