Technische casestudy

Voor het succes van NVIDIA is onafgebroken innovatie van cruciaal belang, net als de mogelijkheid om nieuwe processorontwerpen snel op de markt te zetten. We worden beschouwd als de marktleider op het gebied van visual computing en houden ons bezig met het vergroten van onze verscheidenheid en het snel aanboren van nieuwe markten.

Onze GPU-technologie (Graphics Processing Unit) zorgt voor doorbraken op het gebied van gezondheidszorg, wetenschap, transport, entertainment en nog veel meer en creëert zo een schat aan nieuwe kansen voor NVIDIA. De prestaties en betrouwbaarheid van onze serverfarm voor engineering spelen een sleutelrol in de mogelijkheid van NVIDIA om als eerste nieuwe chipontwerpen op de markt te brengen en de inkomsten en waarde van onze partners en klanten te verhogen. Om onze bedrijfsdoelen nu en in de toekomst te kunnen bereiken, kunnen we niet zonder hoogwaardig storageplatform.

Door Pethuraj Perumal, IT Storage Manager bij NVIDIA Corporation

Bedrijven met oplossingen van NetApp doen meer met minder

De transformatie van serverfarm tot innovatiefabriekHoe NVIDIA met NetApp de capaciteit voor engineeringcomputeractiviteiten verbeterde en innovaties naar nieuwe markten versnelde

2

Ondersteuning van mondiaal onderzoek en ontwikkelingDe technici van NVIDIA ontwerpen allerlei processors, van piepkleine chips voor smartphones en tablets tot enorme processors voor supercomputers met 7 miljard transistors. Het ontwerpen en simuleren van deze chips wordt steeds complexer en technisch uitdagender. We genereren steeds meer en steeds grotere bestanden. In de afgelopen negen maanden hebben onze technici 2,4 miljard bestanden gemaakt; dat zijn er ongeveer 10 miljoen per dag. We hebben een datavolume opgebouwd van meer dan 15 PB, en die hoeveelheid verdubbelt ongeveer elke twee jaar. Het plannen van zo'n snelle datagroei is vanwege gelijkblijvende budgetten niet eenvoudig, maar de vraag blijft toenemen.

We willen dat de engineeringteams van onze producten tijdens het testen van hun ontwerpen geen moment stil hoeven te staan bij storage, laat staan dat storage hun R&D-workflow (onderzoek en ontwikkeling) belemmert. Onze EDA-workflow (elektronische ontwerpautomatisering) mag onder geen beding worden vertraagd of onderbroken. Een beëindigde computertaak moet helemaal opnieuw worden uitgevoerd, wat de gehele testcyclus kan beïnvloeden en de marktintroductie kan vertragen. Gelukkig kan onze op NetApp®-storage gebaseerde serverfarm het hoge innovatietempo van onze duizenden technici goed bijhouden, zodat zij op hun beurt snel en betrouwbaar chipontwerpen, simulaties en logische verificaties kunnen realiseren.

Om ervoor te zorgen dat onze technici ononderbroken en zonder vertraging innovaties kunnen leveren, moet IT ze voorzien van het krachtigste storageplatform dat er is. Een platform met ruimte om te 'experimenteren' en met datavolumes voor bestandsgestuurde, I/O-intensieve engineeringworkloads. In verband met de datagroei is een van de belangrijkste doelen van mijn team het optimaliseren van de verhouding van de CPU-tijd ten opzichte van de werkelijke tijd, waarbij de werkelijke tijd de tijd is die nodig is om de computertaak te verwerken en de CPU-tijd meet hoe lang de CPU actief bezig is met het verwerken van de taak. Hoe hoger de verhouding, hoe efficiënter onze serverfarm, maar voor het optimaliseren van de verhouding is wel een storageplatform met een snelle I/O nodig. De tijd dat de CPU op een reactie van de storage wacht, is inactieve tijd die onze totale efficiency nadelig beïnvloedt.

Technische vereisten voor de storagelaagEen paar jaar geleden hebben we storagetechnologie van een andere leverancier geprobeerd. Die verdeelde alle schijven over een veel grotere array, wat tot de volgende problemen leidde:

• Hetsysteemleverdenietdelineaireprestatiesdiewenodighadden.• RandomI/Ovankleinebestandenvormdeeenknelpunt.• Destabiliteitenbetrouwbaarheidwarenonvoldoende.Eenfoutinde

storagecontroller zou de marktintroductie kunnen vertragen, want alle actieve taken in de workflow zouden helemaal opnieuw moeten worden opgestart.

We evalueerden manieren om de problemen op te lossen en kwamen tot de conclusie dat we het beste het huidige systeem konden vervangen. Ons team koos NetApp voor de ondersteuning van onze R&D-computeractiviteiten, en wel om de volgende redenen:

• Prestaties. In onze R&D-processen worden veel taken tegelijkertijd uitgevoerd en hebben meer dan 5000 computernodes toegang tot de storage. De storagecontroller heeft dus een grote invloed op de verwerkingscapaciteit. We willen altijd de snelste processors die er voor storagecontrollers zijn, met het grootste aantal parallelle netwerkthreads voor het verwerken van I/O-verzoeken. We moeten ook random I/O-activiteiten met kleine bestanden efficiënt kunnen verwerken, omdat ook dat van grote invloed is op de prestaties van onze workloads.

Resultaten van de transformatie van de serverfarm van NVIDIA

NVIDIA implementeerde NetApp FAS6290- en FAS6280-storagesystemen met op controllers gebaseerde intelligent caching, optimaliseerde de storageomgeving voor ontwerpworkflows voor processors en wist zo:

•dealgeheleverwerkingsefficiencyvan de serverfarm meer dan te verdubbelen, van 2 naar 4,5 miljoen computertaken

•decompilatieprestatiesmetmaximaal19% en de uitvoeringstijden van simulaties met maximaal 25% te verbeteren

•deuitvoeringvan60.000computertaken tegelijkertijd op elk willekeurig moment onder te brengen en zo workflows te versnellen

•activiteitenenondersteuningte verbeteren zonder extra budget en met minder IT-personeel

3

• Schaalbaarheid. Met NetApp kunnen we een modulaire benadering hanteren en meer controllers toevoegen om de prestaties optimaal te houden wanneer de data toenemen. We kunnen storage horizontaal schalen, wat voor ons een zeer effectief model is. Dit werkte ook risicoverlagend, omdat we niet gebonden zijn aan één storingspunt.

• Betrouwbaarheid. We waren op zoek naar een betrouwbaar datamanagement-platform dat zijn waarde al had bewezen, zoals NetApp Data ONTAP®. Door gebruik te maken van storagecontrollers van NetApp, geclusterd in paren met hoge beschikbaarheid, kunnen we in gevallen van hardwarefouten naadloze failover bieden en updates uitvoeren zonder taken te onderbreken die in onze serverfarm worden uitgevoerd. Als één domein uitvalt, blijft de rest van het cluster gewoon werken.

• Efficiency. We streven er voortdurend naar ons algehele stroomverbruik en onze hardwarevoetafdruk onder controle te houden en de dichtheid waar mogelijk te verhogen. NetApp biedt verschillende technologieën om de efficiency te maximaliseren, zoals de mogelijkheid om data consistent te houden met point-in-time Snapshot™-kopieën, die een minimale hoeveelheid storageruimte in beslag nemen. De volumes van NetApp hebben standaard thin-provisioning, waardoor het verbruik van de oorspronkelijke storageruimte afneemt.

• Eenvoud. De flexibiliteit van de snelle provisioning van storage en het bieden van gedeelde toegang tot engineeringbestanden met NFS (Network File System) en CIFS (Common Internet File System) was van essentieel belang. Dankzij de multiprotocolondersteuning in de uniforme storagearchitectuur van NetApp kunnen we beide protocollen gebruiken (zie Afbeelding 1).

Hoe we met NetApp onze capaciteit verdubbeldenIn 2012 was de maximale capaciteit van onze engineeringinfrastructuur bijna bereikt met de NetApp-storage die we toen hadden. We wilden kunnen blijven innoveren en moesten daarom meerdere gelijktijdige workflows kunnen onderbrengen en de prestaties van computertaken verbeteren.

Om dit te bereiken, implementeerden we NetApp FAS6280- en FAS6290-storagesystemen met intelligent caching voor een betere doorvoer en consolideerden we standalonesystemen in paren met hoge beschikbaarheid. We stapten ook over op een vernieuwde versie van Data ONTAP, zodat we over meer parallelle netwerkthreads konden beschikken voor de verwerking van de I/O-verzoeken en waardoor het CPU-gebruik van de verschillende kernen meer in balans kwam. We werkten ook nauw samen met de technici van NetApp tijdens benchmarktesten en om de storage van onze specifieke EDA-tools te optimaliseren, zonder de onderliggende workflows van onze engineeringteams te wijzigen of te beïnvloeden (zie ook 'De bouw van een aangepaste, geoptimaliseerde engineeringserverfarm' hiernaast).

De extra systemen, cachemogelijkheden en andere optimalisaties van NetApp zorgden ervoor dat de algehele verwerkingsefficiency van onze serverfarm meer dan verdubbelde, van 2 tot 4,5 miljoen computertaken per dag. We kunnen nu op elk willekeurig moment 60.000 computertaken tegelijkertijd uitvoeren. De algehele verhouding van de CPU-tijd ten opzichte van de werkelijke tijd is verbeterd: de compilatieprestaties in werkelijke tijd zijn tot 19% verbeterd en de uitvoeringstijden van simulaties verbeterden met maximaal 25%.

De bouw van een aangepaste, geoptimaliseerde engineeringserverfarm

NVIDIA stelt het zeer op prijs dat NetApp zich actief inzet voor leveranciers in de halfgeleidermarkt door het mogelijk te maken ontwerpworkflows te versnellen en een storageplatform te maken dat het gehele chipontwerpproces aankan. We ontmoeten regelmatig technische experts van het EDA-team van NetApp om te bespreken hoe we de prestaties van onze omgeving kunnen verbeteren. Deze gesprekken hebben ons verschillende inzichten opgeleverd:

•NetApp-partnerswerkennauwsamenmet Red Hat en leerden ons meer over het gebruik van vooruit-lezen-algoritmen in de Linux®-kernel en over hoe we I/O-verzoeken tussen de client en de storage konden optimaliseren.

•Netalsveelanderebedrijvendiehalfgeleiders ontwerpen, gebruiken we de taakplanningssoftware IBM Platform Computing Load Sharing Facility (LSF). NVIDIA verheugt zich erop een door NetApp ontwikkelde storagebewuste plugin te gaan gebruiken voor de bewaking van en rapportage over beschikbare storageresources voor taken die in onze serverfarm worden verzonden. Hiermee kan de LSF-planner taken weloverwogen verzenden en zo het risico op taakfouten verkleinen.

•Storagevereistenverschillenperelektronische ontwerptool. NetApp biedt uitgebreide aanbevelingen en richtlijnen voor elke tool. Ze bieden bijvoorbeeld best practices, storagearchitecturen, configuraties en groottebepalingen voor verificatieworkloads met Synopsys VCS en voor Perforce-softwareconfiguratiemanagement geïnstalleerd op NetApp Data ONTAP-storageoplossingen.

Afbeelding 1) Engineeringserverfarm van NVIDIA met NetApp Data ONTAP 8.2. Data ONTAP houdt de integriteit van data volledig intact wanneer dezelfde bestandssystemen via NFS en CIFS worden benaderd.

Gebruikers sturen taken via de planner naar het cluster

Plannerlaag (IBM LSF)

Serverlaag (Linux-nodes) Uitvoeringshosts

NetApp FAS6290- en FAS6280-storagesystemen met Data ONTAP 8.2

Hoofdnode

4

Efficiency in storage voor een snellere marktintroductieDe technologieën van NetApp zijn bepalend voor de prestaties, efficiency en betrouwbaarheid van onze serverfarm. Ze helpen ons om met één storageplatform de prestaties van zowel sequentiële als random workloads te optimaliseren. Het resultaat: een snellere marktintroductie.

Verbeterde prestaties voor random I/O van kleine bestandenNetApp is fantastisch in het verwerken van I/O-verzoeken die binnenkomen via NFS, mede door WAFL® (Write Anywhere File Layout), een van de functies van NetApp die de meeste indruk op me maakten. WAFL bewaart data niet op vooraf bepaalde locaties op schijf, maar schrijft metadata naast andere gebruikersdata. Hiervoor wordt een tijdelijke data-indeling gebruikt om het aantal schijfbewerkingen te minimaliseren dat nodig is om data vast te leggen in storage. Heel kleine bestanden (van minder dan 64 bytes) worden niet opgeslagen in schijfblokken, maar in inode-datastructuren binnen het bestandssysteem. Schijftoegang (zoektijd) is hierdoor niet meer nodig, wat de prestaties verbetert.

Reads optimaliseren en tegelijkertijd ruimte en energie besparen met intelligent cachingOnze workload hangt grotendeels af van reads. Die kunnen we met NetApp Flash Cache versnellen. Flash Cache plaatst onlangs gelezen data en metadata op aan controllers bevestigde PCIe-kaarten in de cache en fungeert zo als een uitgebreide WAFL-buffer in de PCI-bus. Hierdoor kunnen wij onze zeer grote datasets onderbrengen. We hebben nauw samengewerkt met NetApp om vast te stellen hoeveel Flash Cache nodig was voor onze workloads en kozen voor PCIe-kaarten van 512 GB en 1 TB. Als gevolg hiervan wordt de cache altijd voor meer dan 90% gebruikt.

Dankzij Flash Cache kunnen we een hybride storagemodel gebruiken waarin hoogwaardige SAS-schijven (Serial-Attached SCSI) worden gecombineerd met voordeligere SATA-schijven (Serial ATA-schijven). Zo beperken we onze storagevoetafdruk tot een minimum en houden we onze kosten laag. Als we ons huidige prestatieniveau zonder Flash Cache zouden willen realiseren, zouden we drie keer zoveel diskshelves nodig hebben, met de bijbehorende stroom- en koelingsresources. Zonder Flash Cache zouden we geen SATA-schijven met grote capaciteit kunnen gebruiken in onze omgeving en zou het moeilijk zijn om onze serverfarm te schalen. Onze datacenters zouden te klein zijn geworden. Maar doordat de nieuwe storagesystemen van NetApp zo energiezuinig zijn, kregen we ruim € 145.000 korting bij het energiebedrijf, nadat we de capaciteit van onze serverfarm hadden uitgebreid.

Dezelfde dataconsistentie, minder risico'sEen andere interessante functie van NetApp-storage zijn de Snapshot-kopieën; dit zijn pointer-gebaseerde, alleen-lezen klonen van het actieve bestandssysteem. WAFL maakt gebruik van een copy-on-write-techniek om de schijfruimte die Snapshot-kopieën gebruiken tot een minimum te beperken. Hierdoor kunnen we point-in-time kopieën van datasets bewaren zonder storageruimte op te offeren en zonder de prestaties te beïnvloeden. Snapshot-kopieën helpen ons om data consistent te houden, wat van essentieel belang is in een engineeringomgeving, en om het risico op dataverlies te beperken.

Ze maken het ons gemakkelijk om data die we na het afronden van een computertaak niet hoeven te bewaren tijdelijk te beschermen, zonder dat we hoeven te betalen voor dubbele storage. Met Snapshot-kopieën kunnen omgevingen met grote aantallen bestanden, zoals de onze, snel worden hersteld, gewoon door de pointers van het bestandssysteem te spiegelen. Als er iets misgaat tijdens een experiment, kunnen we het systeem met een kopie van de data van Snapshot-kopieën snel terugzetten naar een bekende status. NVIDIA gebruikt NetApp SnapVault® voor het maken van backups en NetApp SnapMirror® voor het repliceren van de data naar een disasterrecoverylocatie in Sacramento.

Vijf voordelen van de NetApp FAS6200-serie voor verwerkingsworkloads

•Verwerkingskracht. Eén FAS6290-controller heeft twaalf processorkernen. Deze worden allemaal gebruikt om dataverwerking te versnellen, zodat we meerdere taken tegelijkertijd aankunnen.

•Controllergeheugen (DRAM). Met 96 GB aan geheugen per controller kunnen metadata in basisgeheugen in cache worden geplaatst en is de responstijd voor metadata minder dan 1 ms. Dit is van essentieel belang om grotere actieve werksets te kunnen huisvesten.

•Netwerk. Dankzij de twee IOH-chips in de FAS6290 beschikken we over 72 PCIe Gen 2-trajecten, die in de FAS6290 met switches nog verder zijn opgesplitst tot 152 PCIe-trajecten met I/O-connectiviteit, voor een totale interne bandbreedte van meer dan 72 GB per seconde.

•NetApp Flash Cache™. Met controller-attached, PCIe-gebaseerde intelligent caching wordt het aantal spindles dat nodig is om het prestatieniveau op peil te houden teruggebracht en wordt de latentie van leesbewerkingen aanzienlijk verminderd.

•Optimalisatie van RAID-groepen. NetApp maakt het voor ons mogelijk om de grootte van onze RAID-groepen flexibel af te stemmen op onze experimentele schrijfworkloads, waardoor latentie tot een minimum wordt beperkt.

5

We profiteren ook van NetApp-deduplicatie, waarmee we redundante blokken data van bepaalde volumes verwijderen. Deduplicatie zoekt identieke blokken data op en vervangt ze door verwijzingen naar één gedeeld blok. Dit werkt vooral goed voor Perforce, ons beheersysteem voor softwareconfiguraties, dat meerdere kopieën bewaart met daarin veel dubbele data. We hebben de capaciteitsvereisten op deze volumes met 30% teruggebracht.

Met minder mensen meer storage beherenDe storagecapaciteit in onze serverfarm is aanzienlijk toegenomen. Toch hebben we geen extra infrastructuurpersoneel ingehuurd en is ons budget jaar na jaar gelijk gebleven. Sterker nog: we hebben één fulltimemedewerker minder nodig. Dat kon alleen doordat NetApp het ons zo gemakkelijk maakte om onze datavoetafdruk van 15 PB te beheren.

We gebruiken de NetApp OnCommand® Unified Manager-software, waarmee we in een oogopslag inzicht hebben in prestatiemeetgegevens en benuttingsstatistieken. NetApp AutoSupport™ reageert snel en waarschuwt ons als er zich schijffouten of andere mogelijke problemen voordoen. We gebruiken het om problemen met de storage-infrastructuur te identificeren voordat ze computertaken beïnvloeden.

Gevolgen voor het bedrijf: snellere marktintroductie voor NVIDIA en onze klantenVoor NVIDIA betekent een 25% verbeterde efficiency van de serverfarm dat chipontwerpen sneller kunnen worden getest, gevalideerd en op de markt kunnen worden gebracht. Met NetApp konden we de verhouding van de CPU-tijd ten opzichte van de werkelijke tijd verbeteren, een verhouding die heel belangrijk is voor de snelheid van de marktintroductie. Dankzij de toegenomen prestaties en capaciteit kunnen we ruim twee keer zoveel taken per dag, en dus meer ontwerpen, ondersteunen. We worden ook niet gehinderd door downtime: onze NetApp-systemen hebben een beschikbaarheid van meer dan 99,99%. De NetApp-storage is altijd beschikbaar wanneer de technici deze nodig hebben, dus we zijn gestopt met het meten van de storage-uptime.

Het versnellen van onze releasecycli levert onze klanten ook aanzienlijke bedrijfswaarde op, wat ons een strategische zakenpartner maakt en onze klanten in staat stelt baanbrekende producten aan te bieden op basis van NVIDIA-technologie.

De volgende stapHet doel van NVIDIA was om de R&D-computeractiviteiten te transformeren en een serverfarm te creëren waarin innovatie tot bloei kan komen. Dit is ons gelukt dankzij NetApp Flash Cache en andere vormen van storage-efficiency. Ook voor het uitbreiden en verbeteren van onze serverfarm blijven we vertrouwen op onze samenwerking met NetApp en we verheugen ons op nog betere prestaties en nog meer energie- en koelingvoordelen met de volgende generatie NetApp FAS6000-storagesystemen. In de tussentijd breiden we onze NetApp-voetafdruk uit naar andere gebieden van het bedrijf, zoals de bedrijfs-IT en onze VMware vSphere®-omgeving met virtuele servers.

We zijn van plan om onze serverfarm binnenkort te migreren naar het besturings-systeem clustered Data ONTAP van NetApp en zijn nu bezig dat systeem te testen. Als we onze bestaande NetApp-storagesystemen samenvoegen in één Global Namespace onder clustered Data ONTAP, profiteren we van naadloze uitbreiding, eenvoudige loadbalancing en de mogelijkheid om chipontwerpdata tijdens de gehele lifecyle ononderbroken online te bewaren.

Pethuraj PerumalIT Storage Manager bij NVIDIA Corporation

Pethuraj Perumal kwam in juni 2011 bij NVIDIA werken als IT Storage Manager. Hij is verantwoordelijk voor een wereldwijde storageomgeving van meer dan 20 PB. Pethuraj heeft ruim 15 jaar ervaring in het beheren en ontwerpen van complexe informatietechnologiesystemen. Eerder werkte hij als Data Protection Services Manager bij Synopsys, marktleider op het gebied van de productie van software voor het ontwerpen van halfgeleiders.

Volg ons op:

www.netapp.com/nl

© 2014 NetApp, Inc. Alle rechten voorbehouden. Niets uit dit document mag worden gereproduceerd zonder voorafgaande schriftelijke toestemming van NetApp, Inc. Specificaties kunnen zonder aankondiging worden gewijzigd. NetApp, het NetApp-logo, Go further, faster, AutoSupport, Data ONTAP, Flash Cache, OnCommand, SnapMirror, SnapRestore, Snapshot, SnapVault en WAFL zijn handelsmerken of gedeponeerde handelsmerken van NetApp, Inc. in de Verenigde Staten en/of andere landen. Linux is een gedeponeerd handelsmerk van Linus Torvalds. VMware vSphere is een gedeponeerd handelsmerk van VMware, Inc. Cisco is een gedeponeerd handelsmerk van Cisco Systems, Inc. Alle andere merken en producten zijn handelsmerken of gedeponeerde handelsmerken van hun respectieve eigenaars en moeten als zodanig worden behandeld. NA-187-0214-nlNL

Over NVIDIANVIDIA (NASDAQ: NVDA) verricht al sinds 1993 baanbrekend werk op het gebied van visual computing. De technologieën van het bedrijf veranderen een wereld vol schermen in een wereld van interactief ontdekken voor iedereen, van gamers tot wetenschappers en van individuele klanten tot bedrijven. Ga voor meer informatie naar http://nvidianews.nvidia.com en http://blogs.nvidia.com.

Over NetAppNetApp biedt innovatieve storage- en datamanagementoplossingen om doorbraken en kostenbesparingen te realiseren. Ontdek onze passie om uw bedrijf wereldwijd vooruit te helpen. Go further, faster op www.netapp.com/nl.

Go further, faster®

NetApp-producten• NetApp-storagesystemen

FAS6290 en FAS6280

• NetAppDataONTAP8.2-besturingssysteem

• NetAppOnCommandUnifiedManager 5.1

• NetAppFlashCache

• NetApp-deduplicatie

• NetAppSnapMirror- replicatietechnologie

• NetAppSnapVault

• NetAppSnapshot-enSnapRestore®-technologieën

• NetAppAutoSupport

Producten van derden• IBMPlatformLSF-softwarevoor

het plannen van taken

• Perforce-beheersysteemvoorsoftwareconfiguraties

• SynopsysVCS-tool(VerilogCompile Simulation) voor logicasimulatie

• RedHatenCentOSLinux

• Cisco®- en Arista Networks-switches