-1-

MarktPotentieel

van

PowermanagementIT-hardwareentijdigevervangingvanIT-hardware

-2-

ManagementsamenvattingDitrapportishetresultaatvaneenopdrachtvandeRijksdienstvoorOndernemendNederland(RVO).Certiosheefteind2015dezeopdrachtvandeRVOontvangenomhetmarktpotentieelinteschattenen daarmee te kijken hoeveel energie er bezuinigd zou kunnen worden indien organisatieszogenaamde power management settings zou toepassen in de IT-hardware in datacenters(computerruimtes). Hiermee wordt voorgebouwd op de bevindingen van het rapport Zervers(Harryvan, 2014)waarinhetbesparingspotentieel vanpowermanagement settings al eerderwerdaangehaald.PowermanagementvanIT-hardware(servers)maakthetmogelijkdatdeserversminderenergieverbruikenopeenmomentdaterminderactiviteitgevraagdwordt.

Ten behoeve van deze rapportage zijn aannames, recente studies, eigen research, interviews enpraktijkinzichtengebruikt.HiermeezalCertiosdeopdrachtgeverdevolgenderesultatenaanbieden:

o Energiebesparingspotentieelvan0,45TWhvoorNederlando Datavoordeenergiebesparingbijservers(businesscase)

Er zijn sterke argumenten om IT-hardware eerder te willen vernieuwen. Enerzijds lijkt dat eenverspilling;waaromhardwarevervangenophetmomentdatdezenognietkapotis?Anderzijdszalinditrapportwordenaangetoonddatvervangingvanserverenstoragehardware,eerderdandatopditmomentbijdeonderzochtepartijengebruikelijkis,eenaanzienlijkbesparingspotentieelinzichdraagt.

Uitgesprekkenmetpartijeninhetveldblijktechterdatdelevensduurvanhardwareeerderverlengddan verkort lijkt te worden. Om deze reden adviseren wij verder onderzoek naar het effect vanlevensduurvanICT-apparatuuropdeenergiehuishoudingendegeassocieerdetotalcostofownershipvoorNederlandseICT-organisaties.

Door te focussen op een deel van het energiegebruik in het datacenter en het aangeven van demogelijkhedentotrisicolozeimplementatievaneenaantalIT-energiebesparingsmaatregelen,hopenwijtehebbenbijgedragenaaneenverdereverbeteringvanhetenergiegebruikinhetdatacenter.

Dedataisverzameldtussen2015en2017.

Juli2017,

Certios.

-3-

Inhoudsopgave

MANAGEMENTSAMENVATTING -2-

INHOUDSOPGAVE -3-

LIJSTMETAFBEELDINGEN -4-LIJSTMETTABELLEN -4-

OPDRACHT -5-

ONDERZOEKSVRAAG -5-DEELVRAGEN -5-OPTELEVERENRESULTAAT -5-

RESULTATENONDERZOEK -6-

DEELVRAAG1 -6-PUE -6-ENERGIEEFFICIËNTIE -7-DEELVRAAG2 -8-DEELVRAAG3 -9-DEELVRAAG4 -9-DEELVRAAG5 -9-POWERMANAGEMENT -9-ENERGIEBESPARING -14-DEELVRAAG6 -15-DEINVLOEDVANAANSCHAFKOSTENBIJVERVANGING -16-DEELVRAAG7 -17-DEELVRAAG8 -18-OVERZICHTMARKTPOTENTIEEL -19-DATAT.B.V.FACTSHEETENERGIEBESPARINGBIJSERVERS -19-

OVERDENKINGEN -20-

1. BIJLAGE:OPMERKINGWAARDEIT-ENERGIEVERBRUIKSERVERS -21-

2. BIJLAGE:POWERMANAGEMENT,SURFDRIVE -22-

3. BIJLAGE:POWERMANAGEMENT,PARTICIPANTEN -23-

POWERMANAGEMENT,PARTICIPANTA -23-POWERMANAGEMENT,PARTICIPANTB -24-POWERMANAGEMENT,PARTICIPANTC -24-POWERMANAGEMENT,PARTICIPANTD -25-POWERMANAGEMENT,PARTICIPANTE -26-POWERMANAGEMENT,PARTICIPANTF -28-POWERMANAGEMENT,PARTICIPANTG -28-POWERMANAGEMENT,PARTICIPANTH -28-POWERMANAGEMENT,PARTICIPANTI -29-

4. BIJLAGE:NDALIJSTVANONDERZOEKPARTICIPANTEN -32-

BIBLIOGRAFIE -32-

-4-

LijstmetAfbeeldingenAfbeelding1271MWaanvermogenbetekent2,4TWh/jaar................................................................................................-8-

Afbeelding2HPMinvSpere5.5............................................................................................................................................-10-

Afbeelding3HPMinvSpere5.5(states)...............................................................................................................................-11-

Afbeelding4IllustratievantoenameenergieefficiëntiepowermanagementvanIBM-serverinVMware5.1omgeving..-11-

Afbeelding5Effectpowermanagementindetijd...............................................................................................................-12-

Afbeelding6Vermogensvraaggedurende1weekvandeserversystemenvandeGemeenteA........................................-14-

Afbeelding7aangewendvermogengedurendewerkweekenweekendzonderpowermanagement...............................-15-

Afbeelding8AfbeeldinguitpresentatieverbeteringsmogelijkhedendoorvervangingIT-hardwarebijWaterschap..........-15-

Afbeelding9Nieuweregeneratiesserversverbruikenmindervermogenwanneerzeminderwordengebruikt................-17-

Afbeelding10Tekstsuit"UnitedStatesDataCenterEnergyUsageReport"(Shehabi,2016).............................................-17-

Afbeelding11IllustratieleeftijdsverdelinguituitdraaiCMDBvanWaterschap...................................................................-18-

Afbeelding12HPPowersettings(BIOS)...............................................................................................................................-23-

Afbeelding14CPUUsageCluster[boven]RAMusage[Onder]............................................................................................-23-

Afbeelding15RAMusageCluster.........................................................................................................................................-23-

Afbeelding15PowerRegulatorSettingillustratie................................................................................................................-24-

Afbeelding16Screenshotconfiguratiedetails......................................................................................................................-24-

Afbeelding17IllustratieCPU-belastingpatroonInstallatiebedrijf........................................................................................-26-

Afbeelding18IllustratieCPU-vermogensvraagInstallatiebedrijf.........................................................................................-27-

Afbeelding19IllustratieCPU-vermogenvraagInstallatiebedrijf-kleinexperiment............................................................-27-

Afbeelding20IllustratieCPU-belastingCloudprovider........................................................................................................-29-

Afbeelding21Illustratiehardwaregroteonderwijsinstelling...............................................................................................-30-

Afbeelding22Snapshotinventarisatiebestaandeserverpark..............................................................................................-30-

LijstmetTabellenTabel1samenvattingonderzoekgebruikpowermanagement............................................................................................-12-

Tabel2gewichtenaandeonderzochteorganisaties............................................................................................................-13-

Tabel3Vergelijking2012en2014server(SPECpower)........................................................................................................-16-

Tabel4GreenServeaspectenenverschillendedatacenteromgevingen.............................................................................-19-

Tabel5Spacetypeenutilisationrates..................................................................................................................................-21-

Tabel6IllustratieinvloedPowerSafevs.Performancesettings..........................................................................................-25-

Tabel7HPProLiantDL380G7-HighPerformancevs.DynamicPowerSavingMode..........................................................-25-

Tabel8Serverclustersonderwijsinstelling...........................................................................................................................-28-

Tabel9IllustratieserveromgevingCloudprovider..............................................................................................................-28-

-5-

OpdrachtDeRijksdienst voor ondernemendNederland (RVO) heeft Certios de opdracht gegeven om, in hetkader van het GreenServe project (deelproject Markt & Model) de volgende onderzoeksvraag tebeantwoorden.

OnderzoeksvraagWatishetmarktpotentieelvoorenergiebesparinginserverruimten(datacenters)inNederland,ervanuitgaandedattentijdevandeopdrachtverstrekkingernogveelteverbeterenvaltophetgebiedvandepowermanagementinstellingenvanIT-hardware?

(Deopdrachtzelfisbeschreveninhetdocument20151125OnderzoeksvoorstelRVOGreenServe.)

Deelvragen1. Watbedoelenwemetenergieverbruikinditkader?2. WatishetrelevanteIT-hardwareenergieverbruikinNederland?3. Wat is de verdeling tussen de verschillende componenten in datacenters m.b.t. het

energieverbruik?4. WatisdegroeiinIT-hardwareenhetenergieverbruikvanIT-hardware?5. WatisdesamenhangtussenpowermanagementvanIT-hardwareenenergieverbruik?6. WatisdesamenhangtussendeleeftijdvanIT-hardwareenenergieverbruik?7. Watisdegemiddeldeleeftijdvaneenserveringebruik?8. Watkanwordenbespaard(‘marktpotentieel’)wanneerpowermanagementwordtgebruikt

endeleeftijdvanIT-hardwareomlaag?

OpteleverenresultaatNaaraanleidingvandeonderzoeksvraagishetvolgendealsresultaatopteleveren:

1. Overzichtmarktpotentieel;2. Datat.b.v.factsheetenergiebesparingbijserverst.b.v.klantenvandatacentra(metbusiness

case);3. Datat.b.v.factsheetenergiebesparingmeteigenserverruimte.

Vandezebovengenoemderesultatenzullendelaatstetweewordensamengevoegdtotéén.Erisindepraktijkgeenverschiloptetekeneninhetenergiebesparingspotentieelt.b.v.klantenvandatacentraenorganisatiesmeteeneigendatacenter.

-6-

Resultatenonderzoek

Deelvraag1Watbedoelenwemetenergieverbruikinditkader?

Metenergieverbruikwordthierde,voorhetoperationeelhoudenvanservers,inNederlandgebruiktehoeveelheidfinaleelektrischeenergiebedoeld,uitgedruktinKWh,MWh,GWhenzelfsTWh.

Debasisvoorhetbepalenvanditenergieverbruikishetverbruikvandezeserverszelf.Voorhetborgenvanoperationeleparameterszoalsdecontinuïteitvandienstverleningenbeveiligingvandedata isechtermeernodig. IT-hardware,waaronder servers,bevatten,behandelenen transporterenveelalwaardevolle, soms vertrouwelijke informatie waarvan bedrijven instellingen en individuen (sterk)afhankelijk zijn. Daarom staat deze apparatuur in de regel opgesteld in datacentra waar de luchtgeconditioneerdwordt voor optimalewerking van de IT-apparatuur en in demeeste gevallen ookmaatregelenzijngenomenomonderbrekingenindestroomvoorzieningoptevangen.

Inditrapportwordthetverbruikvandezefacilitairerandapparatuur,benodigdvoorconditioneringenbeveiliging,envoorzoverditgerelateerdisaanhetenergieverbruikvandeservers,meegenomenindeberekeningvanenergieverbruikenbesparingspotentieel.

PUEDemethodedieinditrapportgebruiktwordtvoorhettoerekenenvanhetfacilitaireenergieverbruikaanhetdirecteenergieverbruikdoorservers,isdievanvermenigvuldigingmetdePUE.

DePowerUsageEffectiveness(PUE)isderatiotussendetotalehoeveelheidenergiedienodigisomeendatacenter te laten functionerenendebenodigdehoeveelheidenergiedienodig isomde IT-apparatuurtelatenwerken.

𝑃𝑈𝐸 = &'())*+,+-./+0+-1-2/34''-5)()6+,(-278,+-./+0+-1-2/34''-9&)::)-)(22-

(1)

(TheGreenGrid,2012)waarin:

𝑇𝑜𝑡𝑎𝑎𝑙𝑒𝑛𝑒𝑟𝑔𝑖𝑒𝑣𝑒𝑟𝑏𝑟𝑢𝑖𝑘𝑑𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑟𝑢𝑚 = 𝐸𝑛𝑒𝑟𝑔𝑖𝑒𝑣𝑒𝑟𝑏𝑟𝑢𝑖𝑘𝑑𝑜𝑜𝑟𝐼𝑇𝑎𝑝𝑝𝑎𝑟𝑎𝑡𝑢𝑢𝑟 +𝐸𝑛𝑒𝑟𝑔𝑖𝑒𝑣𝑒𝑟𝑏𝑟𝑢𝑖𝑘𝑓𝑎𝑐𝑖𝑙𝑖𝑡𝑎𝑖𝑟(2)

Hiermeekomthettotaalvoordoorserversverbruikteenergieop:

𝑇𝑜𝑡𝑎𝑎𝑙𝑒𝑛𝑒𝑟𝑔𝑖𝑒𝑣𝑒𝑟𝑏𝑟𝑢𝑖𝑘𝑠𝑒𝑟𝑣𝑒𝑟𝑠 = 𝐷𝑖𝑟𝑒𝑐𝑡𝑒𝑒𝑛𝑒𝑟𝑔𝑖𝑒𝑣𝑒𝑟𝑏𝑟𝑢𝑖𝑘𝑠𝑒𝑟𝑣𝑒𝑟𝑠×𝑃𝑈𝐸(3)

Voorhetbeperkenvandehoeveelheidbenodigdedatadievoordezeberekeningbenodigdis,zullenalleberekeningengebruikmakenvangemiddeldewaardesvoordezePUE,zoalsdezezijngenoemdindepublicatievanCEDelft(Afman&Scholten,2016),namelijkPUE=1,4voorcommerciëledatacentraenPUE=1,7voorprivateserverruimten.

Zoalsuitformule3isafteleidenzijnerdustweemogelijkeroutesomhettotaleenergieverbruikteverlagen.Indeeersteplaats(deeersteroute),iserdatgenewatindeafgelopenjarenveelaandachtheeftgekregen;hetverlagenvandePUErichtingdeidealewaardevanPUE=1.

DePUEiseengoederatioomtebekijkenhoejejuistdehoeveelheidenergievanderandapparatuur(UPS,noodstroomgeneratoren,koeling,verdeelstations,verlichting,verwarming)kuntbeperken.Debenodigdeenergieomdezerandapparatuurtegebruikenwordtwelde‘facilitairecomponent’vanhettotaleenergieverbruikgenoemd.DeanderecomponentishetenergieverbruikvandeIT-apparatuur.

-7-

VeelprofessioneledatacentersinNederlandhebbeninmiddelsallemogelijkemaatregelengetroffenomdehetenergieverbruikvandezefacilitairecomponentzoveelmogelijktebeperken.DemodernstedatacentershalenmetvrijekoelingeenPUEdiede1nadert.VerdereverlagingvandePUEdoorhetbeperkenvanhetenergieverbruikvandefacilitairecomponentisuiterstbeperktgeworden.

Detellervandeformule4bestaatuitzowelhetenergieverbruikvandeIT-apparatuur,alshetverbruikvandefacilitairecomponent.Tezamenmakendezehettotaleenergieverbruikvanhetdatacentrum.DedoorwerkingvanhetverlagenvandefacilitairecomponentindetelleropdePUEblijktuit(4)

𝑃𝑈𝐸(𝑜𝑚𝑙𝑎𝑎𝑔) = &'())*+,+-./+0+-1-2/34''-5)()6+,(-27('7*)).)8,+-./+0+-1-2/34''-9&)::)-)(22-

(4)

De tweede route isdie vanhet verlagenvanhetenergieverbruikdoorde IT-apparatuur zelf.Dezetweederoutebiedteengroterpotentieel,deidealewaardevandePUEisgelijkaan1,maarerisgeenbenoemdeondergrensaandedoorIT-apparatuuropgenomenenergie.

Primairgaatdoorhetbesparenophetenergieverbruikvan IT-apparatuurdePUEomhoog, zieookformule4;denoemerdaalt.Defocusvandeindustrieendevragersindemarktligtopeensteedslagere PUE, hetgeen wordt uitgedrukt in RFQ’s en aanbestedingen. Besparen op het totaleenergieverbruik door het verlagen van het IT-hardware energieverbruik verhoogt de PUE en gaatdaarmeeintegendergelijkePUE-aanbestedingseisen.

Doordathetenergieverbruikvandefacilitairecomponenteenvariabeleneenvastdeelheeft,drijfteen energiebesparing van de IT-apparatuur de PUE omhoog. Als het energieverbruik van de IT-apparatuurverlaagt,verlaagtalleenhetvariabeledeelvandefacilitairecomponent,hetvastedeelblijft gelijk. Zodra het energieverbruik van de IT-apparatuur wordt verlaagd, zal de facilitairecomponentrelatiefmeerenergiegaanvergentenopzichtevanhettotaal.DaarmeezaldePUEstijgen.

𝑃𝑈𝐸(𝑙𝑖𝑐ℎ𝑡𝑜𝑚ℎ𝑜𝑜𝑔) = &'())*+,+-./+0+-1-2/34''-5)()6+,(-27(*/6V(+-'7*)).)8,+-./+0+-1-2/34''-9&)::)-)(22-('7*)).)

(5)

Overweging1:hetverlagenvanhetIT-energieverbruiklevertprimaireenhogerePUEop.

Overweging 2: de focus op een steeds lagere PUE hindert het benutten van het aanwezigebesparingspotentieelinhetdatacenter.

VanbelangishierinweldathettotaleenergieverbruiksterkmeedaaltmeteendalinginhetverbruikdoorIT-apparatuur;hetnetto-effectblijftduspositief.

Overweging 3: het verleggen van de focus naar besparing van het totale energieverbruik indatacenters,stimuleertverderebesparingsmogelijkhedeninhetdatacenter,vanzoweldefacilitairecomponentalsdeIT-apparatuurcomponent.

Voor de berekeningen in dit rapport is de hierboven genoemde invloed op de PUE niet in deberekeningenmeegenomen.DezeaannameisredelijkzolanghetenergieverbruikvanIT-apparatuurbinnen een datacentrum voldoende hoog blijft. Op basis van de nog steeds groeiende vraag naardatacentercapaciteitishetaannemelijkdatbesparingenophetenergieverbruikdoorIT-apparatuurzullen worden vertaald naar ruimte voor deze groei. Deze invulling onderbouwt het gebruik vanconstantewaardenvoordePUEindeberekeningeninditrapport.

EnergieefficiëntieEen goede energie efficiëntie betekent: het doen van het benodigde ‘werk’ met zo min mogelijkdaarvoorbenodigdeenergie.Dediscussieoverhetnutvanhetvelewerkwatineendatacenterdoor

-8-

IT-hardwarewordt verricht zullenwe hier niet voeren.Met een betere inzet en benutting van IT-hardwareendoorhetinzettenvanmodernereapparatuur,isdeenergieefficiëntiesterkteverbeteren.Datishetonderwerpvanditrapport.

Deelvraag2WatishetrelevanteIT-hardwareenergieverbruikinNederland?

Een recente studie van CE Delft in opdracht van de RVO (Afman& Scholten, 2016) beschrijft eenschattingvanhettotaalverbruikdoorICTinNederland.Inditonderzoekwordtonderscheidgemaakttussen commerciële en private datacentra als respectievelijk de aanbod en vraagzijde (alleen deserverruimten)waarbijdevraagzijdeeenschattingmetgroteonzekerhedenis.

Hetenergiegebruikvanserversinbedrijfsmatigeserverruimtenwordenvoor2013ingeschatop1,36TWhinclusiefeenverrekeningvaneenPUEvan1,5(zietabel29uithetrapport(Afman&Scholten,2016)).

Geziendedalendetrendvanhetaantalserversdatingebruikis(zieook(Afman&Scholten,2016))makenweeen(ruwe)schattingdathetserverenergieverbruikin2017doorzakelijkeserversinprivateserverruimtengeschatkanwordenop0,9TWh(inclusiefeenPUEvan1,7).

Naastdeprivatedatacentramoetookhetaanserverstoegeschrevenenergieverbruikincommerciëledatacentranogbijwordenmeegerekend.

De firma CE Delft publiceerde inzake de commerciële datacentra in Nederland het rapport:EnergiegebruikNederlandsecommerciëledatacenters2014-2017Nieuwbouwplannenenontwikkelingenergiegebruik(CEDelft,2014).

Inditrapportisvoor2017devolgendeschattingopgenomen:commerciëledatacentra2,7TWH(1,9-3,5(foutmarge))inclusiefdePUE-verrekening(gemiddeld1,4).Dezeschattingisechterinclusiefhetenergieverbruikdoornetwerkenstorageapparatuur,welkeindescopevanGeenserveisuitgesloten.

DegenoemdeschattingkomtruimbinnendefoutmargeoverheenmethetrecenterdoordeDutchDatacenterAssociation(DDA)gepubliceerdeDatacentervermogeninMW(Vermeulen,2016).

Afbeelding1271MWaanvermogenbetekent2,4TWh/jaar

-9-

Uitvermenigvuldigingvanhetgemiddeldevermogenmethetaantalurenperjaarlevert2,4TWhperjaaraancolocatieinNederland(Peters&Dijk,2016).

Gezienhetfeitdatvoorditlaatsteonderzoekdebrondatadoordedatacentrarecentisaangeleverd,zullenverdereberekeningenuitgaanvandegenoemde2,4TWhvoor2016,ditisopnieuwinclusiefhetverbruikdoorstorageennetwerkapparatuur.

Deelvraag3Watisdeverdelingtussendeverschillendecomponentenindatacentersm.b.t.hetenergieverbruik?

HeteerdergenoemderapportEnergiegebruikICTinNederland2013,trendontwikkeling2020en2030(Afman&Scholten,2016))suggereertdat67%vanhetgenoemdeenergieverbruikaanserversistoeteschrijven.RecenteronderzoekinAmerika,gebaseerdopverkoopcijfersvanICT-apparatuurzoalsgenoemd inUnited States Data Center EnergyUsage Report (Shehabi, 2016) geven hiervoor 77%.Geziendekwaliteitvandezebrondatalijktditeenbetrouwbaardereaanname.Metdeaannamevan77%aanserverstoewijsbaarverbruikvolgtdatincommerciëledatacentrahetenergieverbruikdoorservers in2017,1,9TWhis. Degenoemde1,9TWhis inclusiefdevoorserversbenodigdekoeling,maarexclusiefgroeivoordeperiodevan2016naar2017.

Hettotaalvandirectaanserverstoewijsbaarenergieverbruikincommerciëleenprivatedatacentrakomthiermeeop2,8TWhvoor2017.

Deelvraag4WatisdegroeiinIT-hardwareenhetenergieverbruikvanIT-hardware?

Voor de toekomstramingen in private datacentra zijn door CE Delft (Afman & Scholten, 2016)documentenbekekenwaaruitblijktdatdeserveraantallenindezeruimtessterkaanhetdalenzijn.Ditzienweookaanindepraktijk(vb. leegstaanderacks).Hetgemiddeldaantalfysiekeserversperlocatiedaalt,vangemiddeld13,6stuksin2009tot10,4in2012en6,9in2015(Computerprofile,2015).HetCEDelftrapport(Afman&Scholten,2016)verwachteenverderedalingnaar3,5serversperlocatiein2020.Enopzichtevan2013zaldoor

• hetafnemenvanhetaantalservers• detoenamevandevirtualisatiegraadvan±62%naar90%

indezelfdeperiode40%vandeenergiebespaardkunnenworden.

Deelvraag5WatisdesamenhangtussenpowermanagementvanIT-hardwareenenergieverbruik?

PowermanagementPower management is een combinatie van technieken die door fabrikanten van servers eninfrastructurelesoftwarezijnontwikkeldomdevraagnaarelektrischvermogenvan(eenclustervan)computerstekunnensturen(beperken).Weonderscheideninpowermanagement2hoofdrichtingen,zogenaamdeClusterPowerManagement(CPM)enHostPowerManagement(HPM).

IngevalvanCPM,werkenmeerdereserverssamenomeenhoeveelheidwerkteverzetten.Afhankelijkvandewerkdrukwordthetaantalbenodigdeactieveserversbepaald,bij lagewerklastzijnminderserversactiefdanbijeenhogewerklastenishetenergieverbruikvanhettotaleclusternavenantlager.

-10-

HPMisgerichtophetproportioneelmakenvanenergiegebruikenwerkdrukvaneenenkeleserver.Moderneserverskenneneengrootaantalzogenaamdepowerstates,toestandenwaarindelenvandeservermindersnelwerken(P-states)en/ofinverschillendeslaapstandenwordengebrachtofzelfsuitwordengeschakeld(C-states).Zoalsookbijclusterpowermanagementzalhetverbruikvandeserverbijgebruikvanpowermanagementdusdalenbijlagewerkdruk.

HetuitzettenofvertragenvanbijvoorbeelddeCPU’svandeservers,wordtalleendangedaanalsdewerklast dat toestaat. In de regel heeft power management weinig invloed op de waargenomenprestatiesvaneenserver.

Derelatietussenserverprestatiesenpowermanagementisallangonderwerpvanstudie.In2013is,vanwegehetuitkomenvanvSphere5.5,doorVMwareonderzoekgedaannaaro.a.deinvloedvanC-states (slaaptoestand van CPU’s, onderdeel van een gemiddeld sterk powermanagement profiel).vSphere 5.6was de eerste versie van vSphere, die naast deACPI P-states ook de C-states is gaangebruiken.Deresultatenzijngepubliceerdineenzogenaamde“whitepaper”(VMware,2013).

Afbeelding2HPMinvSpere5.5

Bovenstaandegrafiekgeeftaandatinditgevalereenprestatieverbeteringgeassocieerdkanwordendoor het gebruik van het power management, door het gebruik van C-states. Op de Y-as is hetprestatieverschilaftelezenvaneenprocessormetC-state(“off”=1.025en“on”=1.112).Doordeverminderdewarmteafgiftevandeze‘slapende’processoronderdelennemendepiekprestatiestoe.

Hoehet stroomgebruik vaneen serverdaaltmetdalendewerklastwordt aangetoond inhetzelfdeVMwarewhite papermet onderstaande grafiek. De verhouding tussenmaximaal verbruikmet enzonderHPM,isafhankelijkvandebelastingvaneenserver.AndersdaninoudereservertypesenookzonderhetaanzettenvanHPM,houdthetmoderneserverenergieverbruik trendmetdewerklast.DezerelatieisechtersterkermétHPM.

-11-

Afbeelding3HPMinvSpere5.5(states)

IneeneerdereblogvanVMwareisheteffectvanHPMopdeenergieefficiëntieuitgezet(VMware,2013). In onderstaande grafiek wordt getoond dat met een ‘Gebalanceerde’ in plaats van een‘Performante’BIOS-instelling,20%energiebesparingwordtgerealiseerd.Alsdevraagnaarhetaantalprestatieslaagis(bijvoorbeeldbuitenwerktijd)ishetverschilhethoogst.

Afbeelding4IllustratievantoenameenergieefficiëntiepowermanagementvanIBM-serverinVMware5.1omgeving

https://blogs.vmware.com/performance/2013/05/power-management-and-performance-in-esxi-5-1.html

Watineerdergenoemdwhitepaperopvalt, ishetrelatiefkleineverschil invermogensvraagtussen0%,zogenaamd“idle”,werklastenzeerzware90%werklastookmetHPM.DitverschilinverbruikisergafhankelijkvanhettypeserverenuithetonderzoekInterplayofPowerManagementatCoreandServerLevel(JorgLenhardt,2016vol10,no1)isvolgendegrafiekovergenomendieduidelijkmaaktdaternogsteedsvorderingenwordengemaaktdieheteffectvanpowermanagementversterken:

-12-

Afbeelding5Effectpowermanagementindetijd

Bovenstaandegrafiekgeeftdeverhoudingtussenvermogensvraagonderheellagewerklast,“idle”,enmaximaalbelastalsfunctievandedatumwaaropdeserveropdemarktisgekomen.Deinvloedvande leeftijd vaneen serveropdebeschikbare rekenkrachtperWatt (efficiëntie)wordtelders inditdocumentbesproken,maarbehalvemeerefficiëntieonderhogewerkdruk,leverenmoderneserversdusookmeerproportionaliteittussenwerkdrukenvermogensvraag.

Hetkwalitatieveeffectvanpowermanagementophetserverenergiegebruik is ineengrootaantalonderzoekenwelbewezen.Echter,gezienhetbredespectrumaaninvloedenophoeveelheidvandemogelijkeenergiebesparing,isvoorhetGreenserveonderzoekadditioneelonderzoekuitgevoerd.

In praktijkonderzoek naar het gebruik van powermanagement, bij 13 organisaties een met zeerverschillendeICT-behoeften,waren4organisatiesbereidgeweestdedaadwerkelijkedeinvloedvanpowermanagementindeproductieomgevingtemeten,doordezefunctionaliteitbinnendeproductieomgevingen‘aan’en‘uit’tezetten.

DeonderzoekenwordeninBijlage:PowerManagement,Participantenverdertoegelicht,opverzoekvan de participanten zijn de firma namen echter weggelaten (de firma namen zullen ondergeheimhoudingsverklaringaandeopdrachtgeverwordenverstrekt).EenaantalvandezeonderzoekenzijnaleerderdoorCertiosuitgevoerdenvoorditonderzoekaangewend.

Tabel1samenvattingonderzoekgebruikpowermanagement

Onderzoek Onderzoekperiode

AantallenserversGroot:>500Middel:100–500Klein:<100

HPM-setting ScoreHPM-setting(max)

Gemeteneffectvan“Balanced”HPM

VMware 2013 -- -- -- 20%Surf 2016 Groot Performance 0(10) 20%ParticipantA Eerste helft

2015Klein(30) Balanced 1(1) --

ParticipantB Eerste helft2015

Klein(6) Performance 0(1) --

-13-

ParticipantC Eerste helft2015

Groot(>1000) 2/3Performance1/3Balanced

3,3(10) 33%

ParticipantD Eerste helft2015

Groot 70%Performance30%Balanced

3(10) 23%

ParticipantE Eerste helft2015

Klein(32) Performance 0(1) 28%

ParticipantF Eerste helft2015

Klein(10) Balanced 1(1) --

ParticipantG Eerste helft2015

Klein(6) Balanced 1(1) --

ParticipantH Eerste helft2016

Middel(60) Balanced 5(5)

ParticipantI Eerste helft2016

Klein(12) 40%Performance60%Balanced

0,6(1) --

ParticipantJ Eerste helft2016

Klein Performance 0(1) --

ParticipantK Eerste helft2017

Groot Performance 0(10) --

ParticipantL Eerste helft2017

Middel Performance 0(5) -

ParticipantM Eerste helft2017

Groot Performance 0(10) -

Deinzetvanpowermanagementzalwordenuitgewerktindeberekeningvanhetbesparingspotentieel(deelvraag7),maaruitdemetingenbijdeverschillendeorganisatiesisduidelijkgewordendatindepraktijkdebesparingdoordeinzetvaneen‘Balanced’profielaltijd20%ofmeerbedraagt.

Voordeverdereberekeningenzaldanookdewaargenomenondergrensvan20%wordengebruikt.

Ondanksdezemakkelijkbereikbarebesparingvalthetgebruikvandepowersafemodestegen.Doorhettoekennenvanrelatievegewichtenaandecategorieën,

Tabel2gewichtenaandeonderzochteorganisaties

Aantallenservers GewichtKlein 1Middel 5Groot 10

is aan Tabel 1 een power management use-score toegevoegd, door voor iedere organisatie hetpercentage‘balanced’methetgewichttevermenigvuldigen.DesomvandezescoresgedeelddoordemaximaalhaalbarescoregeeftdanhetpercentageaaninzetvanHPMoverserversinNederland;

14,9/67=22,2%

Geziendefoutmargeindezeberekeningdiedoornaastdepowermanagementsettingsookdoordegewichtentoekenningsterkwordtbeïnvloed,zullenwijditaantalafrondenop20%vooralleverdereberekeningen.

Er valt dus, doorhet kiezen vaneen juiste instelling, energie te besparen.Door af te stappen van‘Performance’zaldehardwarezichinenergieverbruiknaareenlagerniveaubrengen.Hethardnekkige

-14-

ideedatditdanookmeteeneen‘lagereprestatie’vandehardwaregeeft,isderedendatindepraktijkdebesparendeinstelling(en)nietwordengebruikt.

Alhoewelhetwaar isdatdepowermanagementinstellingendemaximaaldoordeserver leverbarepresentatie kan verlagen, tonen alle onderzoeken aan dat dezemaximale prestatie nooit van eenservergevraagdwordt.

Eentweedeissueisdatininterviewsaangegevenwordtdatbepaaldeapplicatiesnietgoedsamengaanmet een energiezuiniger instelling van de server(s). Bij problemen met een applicatie en in dezoektochtnaareenoplossingvaneendergelijkprobleemvraagteenhelpdeskvolgenshetscriptofdepowermanagementinstellingenweluitstaan;hiermeewordthetideeverderverspreiddateenzuinigeafstellingvaneenservernietaltijdeengoedideeis.

EnergiebesparingEennormaleorganisatieheefteenwisselendeIT-vraag.

Afbeelding6Vermogensvraaggedurende1weekvandeserversystemenvandeGemeenteA

WanneerdeIT-omgevinginenergiegebruikmetdezegolfmeedeint,isdatquaenergieefficiëntiebeterdan dat het steeds op een hoog en ongevraagd maximaal niveau blijft doorpresteren, met eenbijbehorendevraagnaarkoeling.

Eenvolgende illustratie (Afbeelding7) komtuitmetingen (14momenten ineenwerkweekeneenweekend in september2016)welke zijn verricht in een kleindatacenter vaneenWaterschap.Hetillustreert wat het energieverbruik is van fysieke servers gedurende zowel de werkweek (hogerebelasting),alsinhetweekend.Zonderpowermanagementisditverbruiknagenoeggelijkoverdeheleperiode.

-15-

Afbeelding7aangewendvermogengedurendewerkweekenweekendzonderpowermanagement

Deelvraag6WatisdesamenhangtussendeleeftijdvanIT-hardwareenenergieverbruik?

Afbeelding5uitDeelvraag5geeftalaandatheteffectvanpowermanagementophetenergiegebruikgroterisinnieuwereapparatuur,ditisechterniethetenigeeffect.Zoalseerdergesteld,deefficiëntievandataverwerkingendataopslagverdubbeltiedere1,6jaar.Ditheeftalsconsequentiedathetwerkwaarvoor4serversvanietsmeerdan3jaaroudwordenbelast,ookdoor1nieuwekanwordenverrichttegeneenkwartvandeenergiekosten(Harryvan,2014).

VoorbeelduitgewerktvooreenWaterschap:

Afbeelding8AfbeeldinguitpresentatieverbeteringsmogelijkhedendoorvervangingIT-hardwarebijWaterschap.

0

5

10

15

20

25

15-09-16 00:00 16-09-16 00:00 17-09-16 00:00 18-09-16 00:00 19-09-16 00:00

KWenergieafgelezenuitUPSvandonderdag15sept16t/mmaandag19sept16

CMDB

• 28 fysieke servers• Oudste bijna 7 jaar oud• Alles gevirtualiseerd• Max Performance (±100%)• 6.625 KWh per maand

Merk Type Datum Cores GHz TotVerm RAMHP HP Proliant DL380 G6 9-12-09 8 2,7 21,6 36HP HP Proliant DL380 G6 9-12-09 8 2,7 21,6 36HP HP Proliant DL380 G7 29-03-10 12 2,7 32,4 208HP HP Proliant DL380 G7 26-03-09 12 2,7 32,4 208HP HP Proliant DL380 G7 17-11-10 12 2,7 32,4 110HP HP Proliant DL380 G7 20-09-11 12 2,7 32,4 208HP HP Proliant DL380 G7 22-11-10 12 2,7 32,4 110HP HP Proliant DL380 G7 12-08-11 12 2,7 32,4 110HP HP Proliant DL380 G7 20-09-11 12 2,7 32,4 208HP HP Proliant DL380 G7 22-11-10 12 2,7 32,4 110HP HP Proliant DL380 G7 17-11-10 12 2,7 32,4 110HP HP Proliant DL380 G7 8-03-13 12 2,4 28,8 320HP HP Proliant DL380 G7 20-09-11 12 2,7 32,4 208HP HP Proliant DL380 G7 12-08-11 12 2,7 32,4 110HP HP Proliant DL380 G7 17-11-10 12 2,7 32,4 110HP HP Proliant DL380 G7 20-09-11 12 2,7 32,4 208HP HP Proliant DL380 G7 29-03-10 12 2,7 32,4 208HP HP Proliant DL380 G7 12-08-11 12 2,7 32,4 110HP HP Proliant DL380 G8 24-01-14 12 2,4 28,8 320HP HP Proliant DL380 G8 7-01-14 12 2,5 30 114HP HP Proliant DL380 G8 18-01-13 12 2,4 28,8 320HP HP Proliant DL380 G8 18-01-13 12 2,4 28,8 320HP HP Proliant DL380 G8 8-03-13 12 2,4 28,8 320HP HP Proliant DL380 G8 30-06-14 12 2,4 28,8 320HP HP Proliant DL380 G8 18-01-13 12 2,4 28,8 320HP HP Proliant DL380 G8 18-01-13 12 2,4 28,8 320HP HP Proliant DL380 G8 12-12-13 12 2,5 30 114HP HP Proliant DL380 G8 24-01-14 12 2,4 28,8 320

328 848,4 5516

Bestaand

Beter

• 4 fysieke servers• 1 jaar oud (G9)• Alles gevirtualiseerd• Performance (±100%)• 1.568 KWh per maand (23%)

Nog beter• idem• Performance (±30%)• 546 KWh per maand (8%)

-16-

Erzijninditkleinedatacenter28fysiekeserversaanwezig.Wanneerdezewordenvervangendoor4nieuwefysiekeservers,levertditjaarlijkseenbesparingopvan61MWh(6.625KWh-1.568KWh*12maanden). Dat resultaat had ook al eerder behaald kunnen worden wanneer elke 1,6 jaar hetserverparkzouzijnvernieuwd.Alsiedere2jaardeIT-hardwarezouzijnvervangeninplaatsvaneengemiddelde server leeftijd van 4 jaar te realiseren, zou 2 jaar geleden ongeveer de helft van datresultaat al kunnen zijn behaald, en dat gedurende de 2 achterliggende jaren; een gemistebesparingskans van 61, besparing op koeling, onderhoud van het aantal servers,onderhoudscontracten,servergebondenlicenties,ruimtebeslag,etc.

Dewinst van deze energiebesparing alleen kan de aanschaf van nieuwe servers iedere 2 jaar nietgeheelrechtvaardigen.Anderebesparingenzijnechtertevindenineentoenemendeprestatievandenieuweservers.

DeinvloedvanaanschafkostenbijvervangingDeprijsvaneenserverissterkafhankelijkvandeuitvoeringenhetmerk.Deaanschafkostenvaneenservervallenechteralgauwinhetnietbijdekostenvanhetgebruikvanenergie,koeling,onderhoud,licentiesencontracten.Quaprestatiekunnen2serversuit2014servershetzelfdewat4-5serversuit2012serverskunnenpresteren:

Tabel3Vergelijking2012en2014server(SPECpower)

Waterschap HPProliantG8(2012) HPProliantG9(2014)Prestatiein:ssj_ops/watt 3.180 10.118Verbruik100% 442W 537WVerbeteringsfactor 1 2,6

Eenmoderneserver(<2jaaroud)kandewerklastvan2,6serversovernemenvan4jaaroud.Steldenormvoorvervanginggaatnaar2jaari.p.v.degebruikelijkeafschrijftermijnvan±4jaar(zieDeelvraag7) dan kunnen zonder probleem 5 van de oudere servers (G7 en G8 uit bovenstaande CMDB)vervangenworden door 1moderne. Demoderne fysieke servers consumeren onder normaal lastnauwelijks meer energie dan oudere en gaan slimmer ommet energiegebruik wanneer de vraagafwezigis(zieAfbeelding9).

In eendergelijke situaties is 75-80%energiebesparing door versnelde vervanging van IT-servers terealiseren.

-17-

Afbeelding9Nieuweregeneratiesserversverbruikenmindervermogenwanneerzeminderwordengebruikt

Deelvraag7Watisdegemiddeldeleeftijdvaneenserveringebruik?

Afbeelding10Tekstsuit"UnitedStatesDataCenterEnergyUsageReport"(Shehabi,2016)

Vantweeverschillendeprivatedatacenterszijndeleeftijdeninhetserverparkgeanalyseerd,eenbijeenWaterschapendeanderbijeengrotepetrochemischeorganisatie.

- Waterschap

Gemiddeld5,12 jaarouderdomvan servers (zie rechterkolom in Afbeelding11, in serverpark (28fysiekeservers).DezepubliekeorganisatieiszondermeervooruitstrevendindeICT-strategieengeldtals koploper in innovatieve ICT-toepassingen binnen een eveneens bekeken aantal andereWaterschappenindedirecteomgeving:

204

163

225

187

320

251

442

537

H P P RO L IANT D L 3 8 0 G 6

H P P RO L IANT D L 3 8 0 G 7

H P P RO L IANT D L 3 8 0 G 8

H P P RO L IANT D L 3 8 0 G 9

GEBRUIK (WATT)

20%utilization 100%utilization

Server installed base and shipment data provided by IDC was also used to determine the approximate lifetime of servers. Observation of data showed that for any given year, the number of servers in the installed base was more than the sum of the previous 4 years’ shipments, but less than the previous 5. The exact portion of the 5th year’s shipments that were still in the installed base was found using Equation 1. For 2006-2020, this portion averaged 0.4, with very little deviation, indicating an approximate server lifetime of 4.4 years. This value was later used during storage and network installed base calculations based on a report from The Green Grid, which estimates that servers, storage, and network equipment all have a lifetime of 3-5 years.14

-18-

Afbeelding11IllustratieleeftijdsverdelinguituitdraaiCMDBvanWaterschap

- Petrochemischeorganisatie:

Gemiddeld3,8jaarouderdomvanservers,inserverpark(121fysiekeservers).Van20%vandeserverswasindeCDMBonvoldoendedataomdeleeftijdvandeservertekunnenbepalen.Hetvermoedenbestaatdatditjuistomdeoudereserversgaatdiedegemiddeldeouderdomnogverderzalkunnendoenstijgen.Dezeorganisatieisgestartmetvervangenvaneengrootaantalzaken(UPS,generator,koeling)doormilieuvriendelijkerapparatuur(vb.vrijekoelingdoormiddelvanhetgebruikenvandekoelingvanuiteengrote,nabijeblusvijver),heeftzichgecommitteerdaandeEUCodeofConductforEnergyEfficientDataCentresalsParticipant,enheeftzichaandehandvandeDataCentreAlliance(www.datacentrealliance.org) methodiek laten certificeren; met als doel een intern een goedcommuniceerbare,sterkevernieuwingvanhetdatacenterneertezetten.

In de meeste beschrijvingen van afschrijvingstermijnen van IT-hardware in organisaties vanuiteenlopende soort, zien we vrijwel altijd termijnen terugkomen van 3 tot 5 jaar. Toch zit hetwerkelijkegemiddeldevandeserverleeftijdeerderrichtingde5dande3jaarouderdom.Zowelindetheoriealsindepraktijkkunnenwehetvolgendeaannemen,eengemiddeldeserverleeftijdvanrondde4jaaroudiseenveiligeaanname.

Deelvraag8Wat kanworden bespaard (‘marktpotentieel’) wanneer powermanagement wordt gebruikt en deleeftijdvanIT-hardwareomlaag?

Met de resultaten van de voorgaande deelvragen kan een berekening worden gemaakt van het‘marktpotentieel’vanpowermanagemententevenseenruweinschattingheteffectvanversneldeserververvanging;

De volgende input gegevens, die door de beantwoording van de verschillende deelvragen zijnverzameld,wordenvoordeberekeningengebruikt.

-19-

- Hettotaalvandirectaanserverstoewijsbaarenergieverbruik2017incommerciëleenprivatedatacentrais2,8TWh;

- HetdirecteeffectvanHostPowermanagementis20%energievermindering;- Hetpercentagevanserversdatop‘performance’staatingesteldis80%.

Daardeberekeningomhet‘potentieel’draait,wordenindeberekeningalleserversmeegenomendiemomenteelnogop‘performance’staan.HiermeekomthettotalepotentieelvanHPMop:

2,8TWhX80%X20%=0,45TWh(perjaar)

Eenschattingvanhetpotentieelvaneenverkorteeconomischelevensduurvanserverapparatuurissterk afhankelijk van o.a. belasting graden. Naar deze gemiddelde belasting graden is wel enigonderzoekgedaanwaarnaarinditrapportookisverwezen.Detweeuitgewerkteklantcasussengavenechtereenpraktijkgetal:

- Vervangingvanserversna2jaarinplaatsvanna4jaar leverteenenergiebesparingopvan75%.

Ditpotentieelzouopbasisvanhetverbeterdeenergieverbruiksgegevensvan2,35TWhnogaltijd1,76TWhbedragen.Hetpotentieelvandezevroegtijdigevervangingverdientechternaderonderzoek.Nietalleen de lokale energiebesparing, maar ook de voor de productie noodzakelijke energie en debestemmingvandevervangenapparatuurdienthierintewordenmeegenomen.

OverzichtmarktpotentieelConcluderendkunnenwedusopbasisvanditonderzoekstellendaterdoorhetbeterbenuttenvanIT-hardwarehetvolgendeinNederlandtebesparen

§ 0,45TWhdoorHostPowerManagement§ 1,76TWhdooreenversneldevervangingvanverouderdeapparatuur,tenuancerendoornader

onderzoek.

Datat.b.v.factsheetenergiebesparingbijserversAl eerder werd gesteld dat er in de praktijk geen verschil valt op te tekenen in hetenergiebesparingspotentieelt.b.v.klantenvandatacentraenorganisatiesmeteeneigendatacenter.De wijze waarop deze besparingen precies moeten en kunnen worden gerealiseerd geeft welverschillen.Dezeverschillenvallenbuitendescopevanhetonderzoekmaareenaantalopmerkingenoverdezeverschillenwillenwehiermaken.

Tabel4GreenServeaspectenenverschillendedatacenteromgevingen

Aspect Eigendatacenter Externdatacenter Cloud1Tijdige IT-hardwarevervanging

Eigenregie Eigenregie Buitenzicht

VerhogenbenuttingIT-hardware

Eigenregie Eigenregie Buiten zicht, het in deCloud brengen van IT-werk, belooft dehardware benutting teverhogen.

1Erzijnvelehybridevariatiesdiehiernietindetailzijnuitgewerkt,wehebbenonshierbeperkttotarchetypen.

-20-

Beperkingenimplementatie envolledigebenuttingvanhetbezuinigingspotentieel.

Geen Afhankelijk van Op- enafschaalmogelijkheden,contracten, SLA’s, langetermijnafspraken.

Zeer geringe invloedvanuit klant, veelbeperkingen,verantwoordelijkheidproviderendatacenter.

Zichtbaarheid vanimplementatiesucces.

Volledig Afhankelijk van Op- enafschaalmogelijkheden,contracten, SLA’s, langetermijnafspraken.

Niet.

CO2, kostenvoordelenen compliancytoerekenbaarheid aaneigenaar.

Volledig Afhankelijk van Op- enafschaalmogelijkheden,contracten, SLA’s, langetermijnafspraken.

Nauwelijks.

VoordeimplementatievaneenbetereIT-hardwarebenuttingenhettijdigervernieuwenvaneenIT-hardwareomgeving, kunnenorganisatiesmet eeneigendatacenter hetmakkelijkst veranderingendoorvoeren. Voor een hosting omgeving in een extern datacenter geldt vrijwel hetzelfde,mits deafspraken tussen de eigenaar van de hardware en de datacenter operator goed zijn. Er zijnvoorbeeldenvanafsprakenvaneenminimaalenmaximaalaantalKWhperrackaansluiting.Ditzouhetbenuttenvandevoordelenkunnenhinderen.Ookderelatietussenenergiebesparing,CO2-besparingencompliance(Milieuwet)kaninbeidegevallenkanverschillendwordenervaren.

OverdenkingenHetisspannendwelkdeelvanhetberekendeeningeschattebesparingspotentieeldaadwerkelijkzalwordenbenut.Indepraktijkkomenweeenaantalzakentegendieillustratiefzijnvoorenigereserve.

AnaloogaandemogelijkhedenvanPowerManagementdieserverfabrikantenterbeschikkingstellen,hebbenallegroteUPS-leveranciersaljareneen‘ECO-mode’ophunUPSzittenwaarmeetot±2%extraefficiëntiegehaaldkanworden.Dezeefficiëntie-winstvertaaltzichin2%energiebesparingopdetotaaldoordeUPSgeleverdeenergie(Rasmussen,2014).HetisdeervaringvaneenUPS-leverancierdiewijbegin2017 interviewden,datvrijwelniemanddeUPS inECO-mode laatdraaien(inhun jarenlangeervaringkendendegeïnterviewdenslechts2gevallen).ECO-modekenteenzeerbeperktextrarisico(Rasmussen, 2014). De verklaring voor hetminimale gebruik lijkt voornamelijk de perceptie en deonbekendheid met de betrouwbaarheid van de ECO-mode, gekoppeld met een vrees voorcomplexiteit.Vooreen‘beetje’datacenter,meteenITverbruikvan1MW,is2%perjaareenpotentieelvanongeveer175MWh,(15-20.000EUR)opjaarbasis.

Dedatacenterpraktijkisvoorzichtiginhetuitvoerenvanexperimentenenhetnemenvanmaatregelendieenergie kunnenbesparen. Er is extreemveel aandacht voor continuïteit en iedere veranderingbetekentookeenverstoring.Pragmatischeuitsprakenals:“if itain’tbroke,don’tfixit”envariatiesvandergelijkewijsheden,biedenveeldatacentermanagersvoldoendehouvastomeengoeddraaienddatacenter niet te willen verstoren. Dat maakt experimenteren met energiebesparing in hetdatacentereensomseenmoeilijkverhaal.

Erzalmeergeïnvesteerdmoetenwordenomdebeslissersduidelijktemakendathetdemoeitewaardisomnaarenergiebesparinginhetdatacenterteblijvenkijken.

-21-

1. Bijlage:OpmerkingwaardeIT-energieverbruikserversBepaaldeaannamessprekenelkaartegen.Hetisgoedomdieaannamesnaastelkaartezetten,ominzichttekrijgenindecomplexiteitvandematerie,enomvasttestellenwelkewaardeaandeinhetonderzoek genoemde getallen te hechten valt. De schattingen van het energieverbruik door ICT-apparatuur in 2017 in de USA in dit rapport (Shehabi, 2016) zijn, zonder correctie voor PUE, dusinclusiefhetverbruikvanderandapparatuur.

- 32TWhvoorservers- 8TWhvoorstorage- 1,5TWhvoornetworking

Dit zou resulteren in een server energiegebruikspercentage van 77%, en niet de eerdergenoemde(Afman&Scholten,2016)67%geziendekwaliteitvandedatakanonzesinziensbeterde77%wordenaangehouden.

Dat er in Amerika “slechts” 32 TWh/jaar voor serverswordt verbruikt lijkt gezien deNederlandseschatting aande lage kant, danwel de schattingenaandeNederlandse zijde (2 TWh zonderPUE-correctie)zijnaandehogekant.

Nederland zou ongeveer 1% van de wereldmarkt aan ICT verbruiken. Amerika ongeveer 1/3.CombinatievandegetallenzousuggererendatNederlandongeveer1TWhaanserverenergieverbruikzoumoetenhebben.Defoutmargesindegetallenendeaannamesdieoveralwordengebruiktgevenechterzoveelonzekerheiddatwedeeerdergenoemde2TWhvoordeverdereberekeningenkunnenhandhaven.

Serverbelastingsgraad

Hetenergiegebruikvaneenserverstijgtnaarmatedebelastinghogeris.Traditioneeldraaiteenserveropeengemiddeldebelastingvan5-15%(metafentoeeenpiek).Zwaarderbelasteserversdraaiengemiddeldtotwelbovende60%,gevirtualiseerdeserversdaarweerboven.BijeengoedeverdelingvandeICT-functiesoverdebenodigdeserverskandooreenhogerebelastingaantehoudenhetaantalbenodigdesystemengereduceerdworden,wateenefficiëntievoordeeloplevert.UitonderzoekvanOracle/Quocirca blijkt dat de gemiddelde benutting van een in-house server in 2011 en 2012 nuongeveer35%is(Oracle,2013).

Uit het datacenter report 2016 (Shehabi, 2016) komen de volgende aannames voor utilisation rates:

Tabel5Spacetypeenutilisationrates

Space Type 2000-2010 2020 Internal 10% 15% Service Provider 20% 25% Hyperscale 45% 50%

Dit rapport toont aan dat door Specpower getoonde power flexibiliteit ook in de praktijk wordtgehaald.Deberekeningenvanenergiegebruikzijnhiersterkvanafhankelijk.Onzeeigenobservatieszijnlager,voorzowelpowerflexibiliteitalsbezettingsgraad.

-22-

2. Bijlage:PowerManagement,SURFdriveDiederikdeGraaf,studentSystemandNetworkEngineeringaandeHogeschoolvanAmsterdam,deedin2015onderzoeknaardeserversvanSURFdriveenontdektedathetenergieverbruikomlaagkanmetongeveer 20% door de toepassing van host power management. Case study: 20 procentenergiebesparingdankzijsimpeletruc(Surf,2016).

In dit onderzoek zijn, in de productie omgeving van SURFdrive, twee instellingen vanpowermanagementgedurendeiedereenweekdoorgemeten,BalancedenPerformance.

Resultaten

BijSURFdriveishetstroomverbruikvandeserversdieomgezetzijnnaarBalancedPowerManagementgedaaldmetongeveer20%.Doordatdekloksnelheidomlaaggaat,gaatdeutilisatievandeprocessoromhoog:dezesteegvangemiddeld10%naargemiddeld20%.Piekenindeutilisatiestegenvan20%naar30%,dusnogsteedseenbescheidendeelvandemaximumcapaciteit.

HetstroomverbruikvaneenwebservergedurendeeenweekopMaximumPerformanceenBalancedPowerManagement.OpMaximumPerformancestaatdekloksnelheidstatischopdehoogstesetting.

VerdervanbelangvoorhetGreenserveonderzoekzijndeopmerkingendatde techniekaleentijdbestaat,maarverrassendweinigwordtgebruikt.HoewelhetinprincipemogelijkisopelkeservermeteenIntel-ofAMD-processor(lees:allemaal),ishetnietaltijdevenbekend.Indatacenterswordthiernognietveelmeegedaan.

-23-

3. Bijlage:PowerManagement,Participanten

PowerManagement,ParticipantAParticipantA,iseentekarakteriserenalseenkleineCloudprovider.OpverzoekvanCertiosisinhetkadervanhetGreenserveonderzoekeenkleineinventarisatiegedaan.Doelvandezeinventarisatiewasomhetaantalfysiekeservers,hunbelastingenPowerManagementinstellingenteachterhalen.

ParticipantAheefteeneigendatacentrumwaarin30HPGEN8ofGEN7ml380serverszijnopgesteld.Powermanagement in al deze servers is “Balanced”, in HP-terminologie, “Dynamic Power Savingmode”

Afbeelding12HPPowersettings(BIOS)

De hostswordenmeest gebruikt als ESX hosts. Analyse van het ESX-cluster leverde onderstaandegegevens:

Afbeelding13CPUUsageCluster[boven]RAMusage[Onder]

Afbeelding14RAMusageCluster

-24-

IndeafbeeldingmetCPU-belastingenisteziendatslechtseenkleingedeeltevandehuidigecapaciteitgebruiktwordt(15%tot20%).HeteffectvanHPMisnietgemetendaardeserversalopHPMBalancedmodestaan.DegegevenslatenwelduidelijkziendaterinditgevalveelteverwachtenisvanClusterpowermanagement.Ookopbasisvangeheugengebruikzijngenoemdeservesslechtslichtbelast.

PowerManagement,ParticipantBParticipantBiseenkleinedienstverlenerindefinanciëlesector.

Deonderzoeksresultatenvoordezeklantzijnzeerbeperkt,erzijnopkantoor6fysiekeservers(4maalHPDL380G7en2maalHPDL380G8),dieallenin“performance”modestaan.

Afbeelding15PowerRegulatorSettingillustratie

PowerManagement,ParticipantCParticipantCisonderdeelvaneengrotetelecomprovider.Dedatacentravandezeproviderbevattenmeerdan1000servers,voorhetonderzoekisechteralleeneengeografischgespreidVMwareclusterbekeken.Hetclusterbestaatuit14DL360pGen8servers

Afbeelding16Screenshotconfiguratiedetails

Bovenstaandescreenshotgeeftdeconfiguratiedetailsvoordebestudeerdeomgeving.

4vande14servershebbenhetHPM-profielop“DynamicPowerSavingmode”(DPS)staan,dereststaatopperformance.

Doordezeverschillenishetmogelijkomdeinvloedvandepowersafemodeteachterhalen…

-25-

Tabel6IllustratieinvloedPowerSafevs.Performancesettings

VS VM'sactief 24haverage Powersetting %CPU %RAMvs*(passief) 0 120 HPStaticHighPerformance 0 0vs01 40 228 HPStaticHighPerformance 26 58vs02 38 211 HPStaticHighPerformance 34 42vs03 39 214 HPStaticHighPerformance 18 35vs04 31 206 HPStaticHighPerformance 29 47vs05 15 197 HPStaticHighPerformance 8 28vs06 40 215 HPStaticHighPerformance 11 38vs07 40 252 HPStaticHighPerformance 53 40vs08 4 170 HPStaticHighPerformance 12 10vs09 6 152 HPStaticHighPerformance 2 23vs10 7 125 HPDynamicPowerSaving 3 19vs11 12 132 HPDynamicPowerSaving 8 24vs12 13 119 HPDynamicPowerSaving 6 29vs13 16 121 HPDynamicPowerSaving 1 22vs14 11 136 HPStaticHighPerformance 2 13

BovenstaandetabelbevatmeerdergegevensdievoorGreenservevanbelangzijn,teneersteblijktdatde‘Performance’modusindezeconfiguratieresulteertin120Watt(kolom3,ingroen),ditvermogenisin‘dynamicpowersave’(DPS)modevoldoendevoorhetdraaienvaneenlichteserverlast.

Hettweedegegevenisdatditclusteralsgeheelgenomenmaareenfractievandetotalebeschikbarecapaciteitbenut.

Het laatste punt is het effect van power management bij deze geringe server bezetting. Geelgemarkeerd zijn VS05 en VS11. Deze vrijwel identiek belaste servers verschillen alleen in powermanagement,ditresulteertineenverbruikvan197Watttegen132Watteen33%besparingophetverbruik.

PowerManagement,ParticipantDParticipantDiseengrootonderdeelvandeNederlandseoverheid.DetotalehoeveelheidICT-middeleniszeergroot,departiciperendeonderzoekershebbenslechtszichtopeenkleindeelhiervan. Inditbeperktedeelzijnsteekproevengenomenomhetaandeelvan“Performance”en“Balanced”HPM-instellingen te achterhalen. Daarnaast zijn met test servers de invloeden van HPM op het “idle”verbruikeneventueleinvloedopdemaximaleperformancebekeken.DemaximaleperformanceisinditgevalgetestmetdethroughputzoalsdiemethettesttoolIperfgemetenkanworden.

Indeonderstaandetabelzijndewaardessamengevat.

Tabel7HPProLiantDL380G7-HighPerformancevs.DynamicPowerSavingMode

HPDL380G7 HighPerformance DynamicPowerSavingMode

GemiddeldeMB/s 413MB/s 387MB/s

Minimaleverbruik 113Watt 87Watt

-26-

Maximaalverbruik 155Watt 151Watt

Middelpuntverbruik 134Watt 119Watt

ZoalsverwachtisdeinvloedvanHPMvooralzichtbaarin”idle”,indezeonderbelastesituatiebespaartHPM23%.

Powermanagement,ParticipantEParticipantEiseengrootinstallatiebedrijfmetmeerdan2.500medewerkers.

DecentraleICT-omgevingstaatinNederlandenbevat32fysiekebladeserverswaaroverdewerkdrukbestaandeuitvirtueleomgevingengebalanceerd(gelijkmatig)isverdeeld.Uithetonderzoekvolgthetgebruikelijke patroon van lage CPU-belasting maar forse geheugen belasting van gevirtualiseerdeomgevingen.Hetgeheugengebruikisstatischrondde75%vandecapaciteit,HetCPU-gebruikvolgtonderstaandegrafiek:

Afbeelding17IllustratieCPU-belastingpatroonInstallatiebedrijf

Helderishetdag/nachtweekendritme;deserverszijnruim70%vandetijdsterkonderbelast.

-27-

Afbeelding18IllustratieCPU-vermogensvraagInstallatiebedrijf

Devermogensvraagvandeonderzochtebladevertoontechterniethetdag/nachtritmeDeoorzaakisdepowermanagementsettingdiehardop‘highperformance’isvastgezet.

Alsonderdeelvanhetonderzoekis1vande32actievebladeskortetijdopeen“powersaver”profielgezet.Dezeveranderingisinhetwerkendeclusterdoorgevoerdenlietgeendowntimezien.Hetresultaatvandeveranderingisduidelijkinonderstaandegrafiek(opdex-asvandezegrafiekisdetijduitgezet,hetverloopervanwasenigeseconden):

Afbeelding19IllustratieCPU-vermogenvraagInstallatiebedrijf-kleinexperiment

Het gemiddelde verbruik valt van ongeveer 180 Watt naar 130 Watt bij dezelfde werkdruk. Eenbesparingvan28%.

-28-

Powermanagement,ParticipantFParticipantFiseenonderwijsinstelling,naastdeadministratieveomgevingiseengroepserversactiefvoorvirtuelewerkplekken.Dezegroepbestaatuit2clusters,eenverouderdclustervan2machines(x3650)eneennieuwercluster(Hx5)van8machines.

Tabel8Serverclustersonderwijsinstelling

Capaciteitverbruik\Cluster IBMx3650m5 IBMBladeCenterHx5CPUverbruik(éénmaand)

Maximaal 32.50% 19.64%Gemiddeld 8.17% 8.74%

Laagste 2.82% 5.63%RAMverbruik(éénmaand)

Maximaal 31.49% 53.25%Gemiddeld 24.07% 35.84%

Laagste 13.55% 21.73%

Alle cluster nodes hebbenHPMBalanced ingesteld. Aan deHPM-instellingen zijn geenwijzigingenaangebracht,hetonderzoekonderstreeptdesteedsterugkomendeobservatievanlaagCPU-gebruik.

Powermanagement,ParticipantGParticipantG,iseenkleineCloudprovider,deomgevingbestaatuit6fysiekeserversdieallenHPMBalancedhebbeningesteld.

Powermanagement,ParticipantHParticipantH,iseenonderdeelvaneengroteoverheidsorganisatie.Binnendezeorganisatieisereengrote ICT-omgeving waarvan voor dit onderzoek een middelgroot onderdeel is bekeken. Dezeomgevingbestaatuit60HPDL360pGen6,7,8servers,verdeeldover6regionalecentra.

OnderstaandetabelgeeftdeHPM-settingsvandezeomgeving.

Tabel9IllustratieserveromgevingCloudprovider

Alle machines hebben een Balanced profiel, voor verschillende generaties hardware en softwarekomenhiervoorverschillendebenamingenvoor.Tezien isookdatvanafVMware5.5C-statesookworden gebruikt, in versies daarvoorworden alleen frequentie aanpassingenopdeCPU (P-states)gebruikt.

NametenvandeCPU-belastingengeefthetgebruikelijkeprofiel,belastingenrondde15%zijndenorm.

-29-

Afbeelding20IllustratieCPU-belastingCloudprovider

Uithetonderzoekisduidelijkgewordendatervanuitdesysteembeheerdergeeninzetisgeweestomdesystemenenergiezuinigtelatenwerken.InallegevallenisergekozenvoordestandaardwaardenvanzoweldeHPProLiantsystemenindeBIOSalsvoordepowersavingfunctionaliteitenvanVMwareESXi.OokinternedocumentatievandeafdelingenkickstartinstallatiescriptsvoorESXibrengengeenwijzigingenaandeze”default”waardes.

DeverbeteringinenergiezuinigheidgedurendedejarenisdustedankenaanhetzuinigerwordenvanmodernesystemenendatzowelHPalsVMwareenergiebesparendefunctiesstandaardaanzetteninnieuwereversiesvanrespectievelijkhunhardwareenoperatingsystems.

Powermanagement,ParticipantIParticipantI,iseengroteonderwijsinstelling.Zoalsinookdeandereonderzoekeniseenonderdeeluitdeinfrastructuuruitgelicht,namelijkdieserversdiedebasisvormenvandevirtueleomgevingvandeinstelling.

Vande12machinesstaan5opperformanceen7hebbeneenBalancedprofiel.

Naam SystemProfile Gem. CPU-gebruik

Opmerkingen

ESX04 Maximumperformance 0% Stand-by

ESX05 Maximumperformance 0% Stand-by

ESX06 Maximumperformance 0.1%

ESX07 Performance Per Watt(DAPC)

1.8%

Backup01 PerformancePerWatt(OS) Onbekend

-30-

Node01 Performance Per Watt(DAPC)

Onbekend

Node02 Performance Per Watt(DAPC)

Onbekend

Node03 Performance Per Watt(DAPC)

Onbekend

Node04 Performance Per Watt(DAPC)

Onbekend

ESX01 Performance 21%

ESX02 Performance Per Watt(DAPC)

10%

ESX03 Performance 10% Afbeelding21Illustratiehardwaregroteonderwijsinstelling

Powermanagement,ParticipantJParticipantJ,iseengrotegemeente.DezegemeenteiszeervooruitstrevendinhetvergroenenvandeIT-functieindegemeente.Door50datacentersteconsoliderennaar2moderne,wordtinmiddelseenwereldaanenergiebespaard.VergaanderationalisatievanICT-werkplekkenheeftbovendiengeleidtoteenenormeextrabesparing.

Deze participant geeft aan de power settings niet te gebruiken. Eerder ervaringen hebben tot ditbesluit geleid. Er is echter grote interesse om dit alsnog toe te passen, mits de performancegegarandeerdnietwordtbeïnvloed.Certiosblijftmetdezepartijingesprek.Eendefinitieve‘uitslag’vandegestartediscussieispasnadeafloopvanditonderzoekteverwachten.

Moderniserenvanhardwareenpowermanagement,ParticipantKParticipantK,iseenWaterschapinNederland.Dezeorganisatieheeftallesgevirtualiseerd,hebbenhetbeherenvaneigendatacentersgestoptenzijnnaarexternedatacentersovergegaan.Degerealiseerdeenergiebesparingen waren aanzienlijk. De organisatie was geïnteresseerd in deelname aan hetGreenserveproject.MethenheeftCertioskunnenberekenendatdoorverjongingvandehardware,hetaantalserversenormzoukunnendalen(vandehuidige28naar4moderneservers).Enhoeweldezeserversperserverdanmeerenergiezullengebruiken,neemthettotalegebruikdanenormaf.

Afbeelding22Snapshotinventarisatiebestaandeserverpark

-31-

Deze participant geeft aan de power settings niet te gebruiken. Eerder ervaringen hebben tot ditbesluit geleid. Performance is leidend en ervaringen van 3 jaar terug hebben uitgewezen dat erproblemenkwamenwanneerdepowersettingswerdenaangepast.Ookvoordezeparticipantgeldtdatwanneerditveiligkan,powersettingzullenwordentoegepast.

Powermanagement,ParticipantLDezeparticipant iseengrote internationaleproducentvanchemischeproducten.Energiespeeltereenondergeschikterol.Tochheeftmenbeslotenineentweetaljarenhetdatacentertevergroenen.MenheeftzichaangeslotenalsParticipantbijdeEuropeanCodeofConductforEnergyefficientDataCentres en heeft zich, volgens de methodiek welke ontwikkeld is door het Data Centre Alliance(www.datacentrealliance.org),doorCertioslatencertificeren.

Ondanksdeoverduidelijkemotivatieomdoortegaanmethetenergie-efficiëntermakenvanheteigendatacenter,ismenhuiverigvoorhettoepassenvanpowermanagementsettings.Ditheefttemakenmetbeperkteoperationelecapaciteit,eenonderschattingvandepositieveeffecteneneengrotedrukomperformanceenuptimezohoogalsmogelijktehouden.

Consolidatieenpowermanagement,ParticipantMParticipantMiseengroteIT-organisatievandeoverheid,dieeenaantaldatacentersvanverschillendeoverheidsorganisatiesconsolideert.Dezeconsolidatieslag levertenormeenergiebesparingenop.Defocus is gerichtophetenergie-efficiëntermakenvandenieuwe totaaloplossing.Navraag leertdatpower management settings momenteel niet worden gebruikt: “de sleepmode wordt directverwijderdvanwegegewensteperformancevandeapparatuur/infrastructuur”.

WatParticipantMinteressantervindt,isomnaardebenuttingsgraadvandeapparatuurtekijken.Dehuidige benutting van de apparatuur is gemiddeld 30% doordat “…geen/te weinig gebruik wordtgemaakt van resource pooling en Cloudcomputing”. Kenmerkend voor Cloudcomputing is datmiddelenalsschijfruimte,processorcapaciteit,I/O,wordengedeelddoorafnemersmetverschillendebehoeften en verschillende belangen. Dit delen van middelen zou een schaalvoordeel enenergievoordeel opleveren. Nu wordt 60/70% van het datacenter bezet door resources die nietwordengedeeldomdat iederedeelnemendeorganisaties inde consolidatieslag gebruikmaakt vaneigenfirewalls,core-switches,compute,storageennetwerkresources.Menstreefthierduseerstnaarhetomhoogbrengenvandeutilisationrates(naar50+%)omvervolgensverderevoordelentehalenmethetactiverenvanpowersettings(vb.sleepmodes).

Devervangingvanserversishierop4jaarvastgesteld.Verkortingvandezetermijnwordtuitgeslotenomdatdandeinspanningenvoorin-enuitbouw,endetoenameindeverwerkingvandeE-wastealseenbezwaarwordtgezien.

-32-

4. Bijlage:NDAlijstvanonderzoekparticipanten

Dezelijstisvertrouwelijkenaandeopdrachtgeververstrekt.

-33-

BibliografieAfman,M.R.,&Scholten,T.(2016).EnergiegebruikICTinNederland2013,trendontwikkeling2020en

2030.CEDelft.Delft:CEDelft.

CE Delft. (2014). Nederlandse commerciële datacenters 2014-2017 Nieuwbouwplannen enontwikkelingenergiegebruik.Delft:CEDelft.

Computerprofile. (2015, 11 9). Computerprofile. Opgeroepen op 11 9, 2015, vanwww.computerprofile.com/analytics-papers/article/en/cloud-impact-on-the-dutch-mid-and-enterprise-markets

Harryvan,D.D.(2014).Zervers,zuinigeservers.CertiosB.V.(voorheenCeriosGreenB.V.).

Jorg Lenhardt, W. S. (2016 vol 10, no1). Interplay of Power Management at Core and Server.International Journal of Computer, Electrical, Automation, Control and InformationEngineering,136-141.

Peters,M.,&Dijk,A.v.(2016).DutchDigitalInfrastructure2016.Deloitte.

Rasmussen, N. (2014). Eco-mode: Benefits and Risks of. Opgehaald van whitepaper 157:http://www.apc.com/salestools/NRAN-8CU665/NRAN-8CU665_R2_EN.pdf

Shehabi,A.e.(2016).UnitedStatesDataCenterEnergyUsageReportLBNL-1005775.Berkeley:ErnestOrlandoLawrenceBerkeleyNationalLaboratory.

Surf.(2016,mei3).Casestudy:20procentenergiebesparingdankzijsimpeletruc.OpgehaaldvanSurfBLOG:https://blog.surf.nl/case-study-20-procent-energiebesparing-dankzij-simpele-truc/

TheGreenGrid. (2012).Whitepaper49,PUE™:ACOMPREHENSIVEEXAMINATIONOFTHEMETRIC.Opgehaald van http://www.thegreengrid.org/~/media/WhitePapers/WP49-PUE%20A%20Comprehensive%20Examination%20of%20the%20Metric_v6.pdf

Vermeulen,P.(2016).DutchDataCenterReport2016.PB7.DDA.

VMware. (2013). Opgehaald van VMware blog:https://blogs.vmware.com/performance/2013/05/power-management-and-performance-in-esxi-5-1.html

VMware. (2013, 12). Host power management in VMware vSphere 5.5. Opgehaald van VMwaretechnical whitepaper:http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/hpm-performance-vsphere55-white-paper.pdf

VMware. (2013).Host PowerManagement in VMware vSphere 5.5. Opgehaald van Vmware.com:http://www.vmware.com/files/pdf/techpaper/hpm-perf-vsphere55.pdf

VMWare.(sd).VMware®DistributedPowerManagement.Opgehaaldvanhttp://www.vmware.com/:http://www.vmware.com/files/pdf/Distributed-Power-Management-vSphere.pdf

VMware. (sd). VMware Distributed Resource Scheduler. Opgehaald vanhttp://www.vmware.com/files/pdf/VMware-Distributed-Resource-Scheduler-DRS-DS-EN.pdf