3 redenen om High Performance Computing systemen te virtualiseren

Een belangrijke, misschien wel de belangrijkste technologie binnen Cloud Computing is virtualisatie.

Virtualisatie, met het gebruik van hypervisors is breed door de markt geaccepteerd en toegepast.

Ondanks dat er een veelheid is aan hypervisors zijn die zowel voordelen als nadelen hebben. Dit

artikel beschijft in het kort de bevindingen van virtualisatie technologie en de performance impact

binnen high performance computing (HPC) omgevingen.

Weerstand om HPC omgevingen te virtualiseren

Organisaties die HPC systemen gebruiken hebben altijd weerstand geboden om te virtualiseren. De

redenering is dat HPC systemen volledig gericht moet zijn op prestatie – kortom het zo snel mogelijk

parallel verwerken van een rekenopdracht binnen een software applicatie. Immers HPC systemen

zijn volledig ingericht en intern afgestemd om optimale snelheid uit het (hardware) systeem te halen.

Alle toevoegingen, zoals een algemene hypervisor, tussen de applicatie laag en de hardware laag kan

de prestatie negatief beinvloedden.

Een tweede hindernis zijn de specialistische operating systemen binnen HPC omgevingen. Een

voorbeeld van een specifiek operating systeem is Scientific Linux. Dit type operating systeem is

volledig aan te passen (kernel) op de onderliggende hardware en is het meeste toegepast in de

TOP500 supercomputers. De combinatie van Scientific Linux en een virtualisatie hypervisor is

overbodig. De optimalisatie slag tussen operating systeem en hardware is al gemaakt binnen

Scientific Linux.

Een derde reden die organisaties aangeven om geen virtualisatie toe te passen is beveiliging.

Virtualisatie technologie biedt de mogelijkheid om meerdere applicatie containers te maken die

gelijkertijd actief zijn. Het potentiële gevaar is de complexiteit van beveiliging van meerdere

applicaties tegelijkertijd om een volledig scheiding door te voeren tussen applicaties. Toepassingen

van HPC systemen zijn grotendeels in de speur en ontwikkeling (R&D) te vinden. Beveiliging van HPC

systemen is eminent om onderzoek en ontwikkeling resultaten te beschermen.

Applicatie continuiteit door HPC virtualisatie (1)

In een HPC omgeving is een applicatie fout, om wat voor een reden dan ook, een probleem.

Applicatie fouten betekent een applicatie stop en een herstart. Resultaat is tijdverlies, kosten en

extra wachttijd voor de andere verwerkingsopdracht die in de rij staan. Bijvoorbeeld een CFD

applicatie kan een berekeningstijd nodig hebben van meer dan 8 uur om bijvoorbeeld de interactie

tussen water en schip uit te rekenen en te bepalen wat het motorvermogen moet zijn. Bij een

applicatie stop zal deze gehele berekening overnieuw moeten. Virtualiseren van de HPC omgeving

biedt twee mogelijkheden om dit te voorkomen (a) fault tolerance migratie en (b) fault tolerance

monitoring. De fault tolerance migratie bewaart de huidige applicatie omgeving om, na verhelping

van het probleem, te herstarten vanaf het moment waarop het fout is gegaan. Het directe voordeel

is tijdwinst en applicatie continuiteit. De fault tolerance monitoring is een proactief en controleert de

voortgang en activiteit van de HPC applicatie omgeving. Virtualisatie voorziet in deze twee

mogelijkheden om het herstarten van applicatie te voorkomen. Het voordeel is dat er ook geen

aparte software nodig is voor hardware en software om de voortgang van applicatie te controleren.

Bij virtualisatie is geïntegreerd.

Applicatie beveiliging hoger door HPC virtualisatie (2)

HPC applicaties hebben voordeel bij de beveiliging geleverd door de virtualisatie software. De

applicaties zijn in virtualisatie machines ondergebracht waardoor elke applicatie een totaal

gescheiden omgeving heeft. Deze vorm van beveiliging beschermt de applicatie tegen ongewenste

toegang vanuit een andere applicatie.

Software ontwikkeling door HPC virtualisatie (3)

HPC virtualisatie biedt een veelheid aan virtuele omgevingen (VMs) aan die elk in te vullen zijn voor

aparte taken (applicaties). Door virtualisatie kan het ontwikkelen en testen van software op hetzelfde

computer platform. In de verschillende virtuele omgevingen kunnen verschillende versies van de HPC

applicaties actief zijn of zelfs verschillende versies van het operating systeem. Hiermee maakt

virtualisatie de HPC omgeving geschikt voor meerdere doeleinden.

Virtualiseren van high performance computing omgeving geeft minimale impact

Binnen het John Hopkins University (JHU) is er vorig jaar 2014 een onderzoek opgestart om de

performance van zowel het Linux cluster alswel het Windows cluster te verbeteren. De situatie was

dat als een van de cluster volbelast was vaak de andere cluster geen taken te verwerken had. Het

resultaat was te lange wachttijden. Constatering was dat dit geen onbekend probleem was voor

meerdere laboratoria en dit leidde vaak tot het aankopen van nieuwe server hardware voor een van

de clusters. Het JHU onderzoeksteam verwachtte een 8% performance teruggang na het virtualiseren

van de HPC clusters. Uit metingen bleek het tegendeel, de performance verbeterde met 2%. Het

werkelijk voordeel voor het JHU is de bundeling van beide clusters en de mogelijkheid om de

rekenbelasting te verdelen over de clusters.

Uit een ander onderzoek, uitgevoerd door Indiana University Pervasive Technology institute geeft

aan dat virtualisatie een minimale impact heeft op de performance van een HPC systeem. Uit dit

onderzoek blijkt ook dat het type hypervisor sterk bepalend is voor de totale performance. De

Kernel-based Virtual Machine (KVM) hypervisor is de beste keus om HPC applicaties te ondersteunen

in een Cloud Computing omgeving, volgens dit onderzoek.

Nieuwe ontwikkelingen om High Performance Computing systemen te virtualiseren

Mellanox, de huidige marktleider en leverancier van de snelste interconnectie technologie InfiBand

(IB), investeert samen met VMWare. Het doel van beide bedrijven is om Remote Direct Memory

Management (RDMA) en de interconnectie te optimaliseren voor VMWare virtualisatie. Beide

bedrijven hebben reeds nieuwe technologie ontwikkeld waarbij geen performance impact is na

virtualisatie. Deze technologie, volgens Mellanox en VMWare, kan nog verder uitontwikkeld en

verbeterd worden.

Eerste stap naar acceptatie van HPC virtualisatie

Februari 2014, heeft de National Science Foundation voor het eerste goedkeuring gegeven aan de

investering van twee gevirtualiseerde HPC clusters. Deze twee HPC clusters zullen voor onderzoek en

ontwikkeling worden gebruikt.

Evolutionair zullen organisaties bewust worden van de voordelen die HPC virtualisatie kan bieden.

Profiel auteur artikel Ben Kemp (1960) is sinds 1985 actief in de ICT in verschillende functies. Met vliegtuigtechniek als

achtergrond is hij in 1985 begonnen als ICT-systeembeheerder. Naast zijn werk heeft hij diverse

technisch en managementcursussen gevolgd. Sinds 2000 heeft hij zich verder verdiept in High

Performance Computing, eerst in de techniek en vervolgens in de sales en marketing. Hij is een

allround expert op dit vakgebied volgt de nieuwe ontwikkelingen op het vlak van Cloud Computing

en High Performance Computing dan ook op de voet. Voor Regardo Computing schrijft hij regelmatig

artikelen over Cloud Computing en High performance Computing. Hij zet zich vooral in op het

overbruggen van de kloof tussen business en High Performance Computing.