StorageStorage

Of hoe vele bitjes een Of hoe vele bitjes een nachtmerrie kunnen worden…nachtmerrie kunnen worden…

Storage: de uitdaging voor de Storage: de uitdaging voor de komende 5 jaarkomende 5 jaar

Elk jaar verdubbelt de hoeveelheid Elk jaar verdubbelt de hoeveelheid elektronisch opgeslagen data (in de elektronisch opgeslagen data (in de wereld)wereld)

Verschuiving van decentraal data Verschuiving van decentraal data beheer naar centraal data beheerbeheer naar centraal data beheer

Storage: een overzichtStorage: een overzicht

Direct Remote

Blocks

Files

DAS SAN

NASDAFS

NASNAS Client: praat TCP/IP Client: praat TCP/IP

met Storage met Storage systeem: NFS, CIFS, systeem: NFS, CIFS, HTTP, …HTTP, …

Over LAN of Over LAN of afzonderlijk Storage afzonderlijk Storage LANLAN

Storage Head heeft Storage Head heeft een specifiek OSeen specifiek OS

Storage Head praat Storage Head praat SCSI of FC met disksSCSI of FC met disks

Client

Storage Head

Disks

SANSAN

Client

Storage Head

Disks

Cliënt heeft speciale Cliënt heeft speciale kaart zodat het FC kaart zodat het FC kan pratenkan praten

Gaat over een Gaat over een afzonderlijk FC-afzonderlijk FC-netwerk, met FC netwerk, met FC hubs en switcheshubs en switches

Storage Head praat Storage Head praat alleen FC met cliënt alleen FC met cliënt en FC met disksen FC met disks

DASDAS

Slechts 1 cliënt: geen consolidatie Slechts 1 cliënt: geen consolidatie van datavan data

Schrijft in blocksSchrijft in blocks Geen “specifiek” storage OSGeen “specifiek” storage OS Beperkt in performantie (I/O) en in Beperkt in performantie (I/O) en in

capaciteitcapaciteit Beperkt in redundantie (enkel RAID)Beperkt in redundantie (enkel RAID) Max. voor 250 à 500 GBMax. voor 250 à 500 GB

SANSAN Schrijft in blocksSchrijft in blocks Schijven gemeenschappelijk voor beperkt aantal Schijven gemeenschappelijk voor beperkt aantal

cliëntscliënts Specifieke HW nodig (FC busadapters, switchen, …)Specifieke HW nodig (FC busadapters, switchen, …) Performant en grote capaciteit met redundantie Performant en grote capaciteit met redundantie

mogelijkhedenmogelijkheden Specifiek OS in controller, maar cliënt - OS bepaalt Specifiek OS in controller, maar cliënt - OS bepaalt

mee (schrijft in blocks)mee (schrijft in blocks) Duur en “ingewikkeld (lun-beheer)”Duur en “ingewikkeld (lun-beheer)” Volumes zijn uniek toegewezenVolumes zijn uniek toegewezen Ideaal voor data-consolidatie (SQL-server, Ideaal voor data-consolidatie (SQL-server,

fileserver, exchange-server, …)fileserver, exchange-server, …) Vanaf 25.000 euroVanaf 25.000 euro

NASNAS

Schrijft in filesSchrijft in files Bezit specifiek OS:Bezit specifiek OS:

– Gestripte W2K’s of LINUX (low ends)Gestripte W2K’s of LINUX (low ends)– Specifieke OS: enkel I/O en flushen naar disks Specifieke OS: enkel I/O en flushen naar disks

(high ends)(high ends) Eenvoudige administratieEenvoudige administratie Grote capaciteit en redundantie mogelijkGrote capaciteit en redundantie mogelijk Goedkoper dan zijn neefje: SANGoedkoper dan zijn neefje: SAN De kracht van het systeem zit in dat OSDe kracht van het systeem zit in dat OS Vanaf 6000 euroVanaf 6000 euro

SamengevatSamengevat

Artificieel onderscheid tussen SAN en NASArtificieel onderscheid tussen SAN en NAS– Liever: IP-SAN en FC-SANLiever: IP-SAN en FC-SAN

LINUX-samba box = IP-SAN (op LINUX-samba box = IP-SAN (op voorwaarde dat je er van afblijft)voorwaarde dat je er van afblijft)

Client

NAS

TCP/IP

Client

NAS

FC

OpmerkingOpmerking

Storage aanbieden over een “klassiek”-Storage aanbieden over een “klassiek”-netwerk? Je moet toch FC doen om een netwerk? Je moet toch FC doen om een beetje serieus werk te kunnen doen!beetje serieus werk te kunnen doen!– TCP/IP kennis >> FC kennisTCP/IP kennis >> FC kennis– TCP/IP apparatuur = gestandaardiseerd en TCP/IP apparatuur = gestandaardiseerd en

goedkoopgoedkoop– TCP/IP onderzoek >> FC onderzoekTCP/IP onderzoek >> FC onderzoek– Snelheid:Snelheid:

TCP/IP = FC (vandaag)TCP/IP = FC (vandaag) Snelheid TCP/IP > FC (morgen)Snelheid TCP/IP > FC (morgen)

ToekomstToekomst

Direct Remote

Blocks

Files

DAS SAN

NASDAFS

IP-SAN

ToekomstToekomst I-SCSI: SCSI protocol over IP:I-SCSI: SCSI protocol over IP:

– Zal FC vervangen tot aan de storage box?Zal FC vervangen tot aan de storage box?– Nu reeds “semi” en “gesloten” initiatievenNu reeds “semi” en “gesloten” initiatieven

Infini-band:Infini-band:– Oorsprong: vervanging van interne I/O bus Oorsprong: vervanging van interne I/O bus

(lees PCI/PCI-X)(lees PCI/PCI-X)– Sommigen Sommigen dromendromen van ook externe connectie van ook externe connectie– Vervanging van FC in de storage box?Vervanging van FC in de storage box?

Software wordt HET belangrijksteSoftware wordt HET belangrijkste Verschuiving van tape naar nearstore Verschuiving van tape naar nearstore

(online archief)(online archief)

Situatie schetsSituatie schets

2800 PC cliënts:2800 PC cliënts:– 1100 W2K1100 W2K– 1700 NT41700 NT4

+ 5000 users+ 5000 users Alle data op de servers:Alle data op de servers:

– Persoonlijke data (homes):Persoonlijke data (homes): ProfielProfiel EudoraEudora Mijn documentenMijn documenten

– Gemeenschappelijke data (groepen)Gemeenschappelijke data (groepen)

Probleem zomer 2000Probleem zomer 2000

7 file servers: NT4.0, DAS (externe 7 file servers: NT4.0, DAS (externe SCSI kabinetten met RAID5)SCSI kabinetten met RAID5)

Tussen 20 – 80 GB aan data: totaal Tussen 20 – 80 GB aan data: totaal 400 GB400 GB

Meer dan 20 partities te Meer dan 20 partities te onderhoudenonderhouden

Continu data verhuizenContinu data verhuizen

Rand voorwaardenRand voorwaarden

StorageStorage consolidatie consolidatie Server consolidatieServer consolidatie Performantie: hetzelfde of beterPerformantie: hetzelfde of beter Redundantie mogelijkhedenRedundantie mogelijkheden Lagere onderhoudskost door eigen Lagere onderhoudskost door eigen

personeelpersoneel Mogelijkheid tot groeiMogelijkheid tot groei

Strijd tussen NAS en SANStrijd tussen NAS en SAN

We hebben gekozen voor NAS We hebben gekozen voor NAS (Network Appliance):(Network Appliance):– Schrik voor FC en zijn kostSchrik voor FC en zijn kost– Nog geen server consolidatieNog geen server consolidatie– ““black box” staat borg voor weinig black box” staat borg voor weinig

onderhoudonderhoud– Eigen OS: performantie en stabiliteitEigen OS: performantie en stabiliteit– Functierijke softwareFunctierijke software

Software is belangrijkSoftware is belangrijk

Snapshots (SnapView)Snapshots (SnapView) Snapmirror (MirrorView)Snapmirror (MirrorView) QuotaQuota Multiple protocol (NFS/CIFS)Multiple protocol (NFS/CIFS) File-Systeem: spelen met volumes, File-Systeem: spelen met volumes,

disk, qtree’s, …disk, qtree’s, … Meerdere aliassen (cifs)Meerdere aliassen (cifs) ……

SnapshotsSnapshots foto van het filesysteemfoto van het filesysteem 12 x per dag (ieder uur); houden we 12 x per dag (ieder uur); houden we

24 uur bij24 uur bij elke nacht; houden we 8 dagen bijelke nacht; houden we 8 dagen bij snapshots zijn door iedereen snapshots zijn door iedereen

raadpleegbaarraadpleegbaar zelfde security als origineel.zelfde security als origineel. 5% bij groepen, 10% bij homes5% bij groepen, 10% bij homes

SnapmirrorSnapmirror

Pure TCP/IP: dus kan naar overal op Pure TCP/IP: dus kan naar overal op deze wereld: enkel de gewijzigde blocksdeze wereld: enkel de gewijzigde blocks

Volledige synchroniseren van 2 remote Volledige synchroniseren van 2 remote volumesvolumes

Mirror van Homes, groepen en PACS.Mirror van Homes, groepen en PACS. Vandaag: 15’ achter (kan tot 1Vandaag: 15’ achter (kan tot 1 minuut)minuut) Overschakelen: 15’ (vooral aanpassen Overschakelen: 15’ (vooral aanpassen

WINS en DNS)WINS en DNS)

QUOTAQUOTA

User quota:User quota:– Op de home-mappenOp de home-mappen– Alle users: 100 MBAlle users: 100 MB– Heavy users: krijgen meer (tot 40 GB)Heavy users: krijgen meer (tot 40 GB)– Configuratie via RSH, j-script en op basis van Configuratie via RSH, j-script en op basis van

user-databaseuser-database Qtree quota:Qtree quota:

– Voor op groepen-mappenVoor op groepen-mappen– Manuele aanpassingen, wel automatische Manuele aanpassingen, wel automatische

reportingreporting

Eerste configuratieEerste configuratie

F740F740 500 GB (Bruto)500 GB (Bruto) 100 Mb interface100 Mb interface Deel van de home-Deel van de home-

mappenmappen Deel van de Deel van de

groepen mappengroepen mappen

TOASTER

GROEPEN

HOMES

Configuratie mei 2001Configuratie mei 2001

Bruto Capaciteit: 1 TBF740, 2 disk shelfs 7 x 72 GB1 Gb ethernet

TOASTER

GROEPEN

HOMES

MIXER

HOMES

GROEPEN

SLAAP-LABO

Bruto Capaciteit: 2 TBF820, 4 disk shelfs 7 x 72 GB1 Gb ethernet

mirror

Configuratie januari 2002Configuratie januari 2002

Bruto Capaciteit: 3 TBF840, 2 disk shelfs 7 x 72 GB; 2 disk shelfs 14 x 72 GB

TOASTER

GROEPEN

HOMES

MIXER

HOMES

GROEPEN

SLAAP-LABO

Bruto Capaciteit: 2.5 TB

F820, 5 disk shelfs 7 x 72 GB

PACS

Configuratie juni 2002Configuratie juni 2002

Bruto Capaciteit: 3 TBF840, 2 disk shelfs 7 x 72 GB; 2 disk shelfs 14 x 72 GB

TOASTER

GROEPEN

MIXER

HOMES

SLAAP-LABO

Bruto Capaciteit: 2.5 TBF820, 5 disk shelfs 7 x 72 GB

PACS

FREEZER

GROEPEN

HOMES

PACS

PACS 2

12 TBR100

Dumps Sybase

Enkele cijfertjesEnkele cijfertjes

Home-mappen:Home-mappen:– 2800 geconnecteerde cliënts2800 geconnecteerde cliënts– Meer dan 6000 open filesMeer dan 6000 open files– Groei: 600 MB/dagGroei: 600 MB/dag

PACS:PACS:– Groei: 6 TB / jaarGroei: 6 TB / jaar

Aantal disks: Aantal disks: – 161 Schijven (van 72 en 136 GB) of 17.5 161 Schijven (van 72 en 136 GB) of 17.5

TBTB

Aantal toepassingenAantal toepassingen

CIFS:CIFS:– Bureautica data: home en groepen (1 Bureautica data: home en groepen (1

TB)TB)– Medische toepassingen (fileserver):Medische toepassingen (fileserver):

Slaaplabo (0.7 TB)Slaaplabo (0.7 TB) Digitale microscopie beelden (0.1 TB)Digitale microscopie beelden (0.1 TB)

– Intranet web-siteIntranet web-site– Verloning PeopleSoftVerloning PeopleSoft– PACS (1.5 TB)PACS (1.5 TB)

Aantal toepassingenAantal toepassingen

NFS:NFS:– Dumps en logs van Sybase (1.8 TB)Dumps en logs van Sybase (1.8 TB)– Proton DB (files)Proton DB (files)– Doorgeef luiken tussen NT en UnixDoorgeef luiken tussen NT en Unix– PACSPACS

Toekomst: DB’sToekomst: DB’s– SQL (via files en via blocks)SQL (via files en via blocks)– ExchangeExchange

SamengevatSamengevat

Begonnen als eenvoudige consolidatie Begonnen als eenvoudige consolidatie van storage voor bureauticavan storage voor bureautica– Nu strategische storage oplossing voor Nu strategische storage oplossing voor

hele IThele IT Begonnen met NT/W2K wereld (cifs)Begonnen met NT/W2K wereld (cifs)

– Nu ook unix wereld (nfs)Nu ook unix wereld (nfs) Begonnen met files-writingBegonnen met files-writing

– Nu ook met block-modeNu ook met block-mode

Boodschappen die ik wens te Boodschappen die ik wens te gevengeven

Storage is een software probleem Storage is een software probleem geen hardware probleem!geen hardware probleem!

SAN, NAS zijn vooral commercieel SAN, NAS zijn vooral commercieel verschillende producten: netwerk verschillende producten: netwerk storage.storage.

IP zal FC vervangen aan de front end.IP zal FC vervangen aan de front end. Storage-administrator wordt de Storage-administrator wordt de

netwerk-administrator van de jaren netwerk-administrator van de jaren ‘90.‘90.