Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.
-
Upload
bart-visser -
Category
Documents
-
view
215 -
download
2
Transcript of Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.
Grid Computingvan onderzoek naar onderzoeksfaciliteit
David Groep
NIKHEF
Dutc hG rid
NWO Themadag - ICT en Grids 2
ICT & Grid
• Drie eigenschappen van een grid
• De bouw van een grid faciliteit– software
– hardware
– ‘peopleware’applicaties
infrastructuur informaticaonderzoe
k
NWO Themadag - ICT en Grids 3
The GRID: networked data processing centres and ”middleware” software as the “glue” of resources.
Researchers perform their activities regardless geographical location, interact with colleagues, share and access data
Scientific instruments and experiments provide huge amounts of data
Connecting Resources
Basis voor Resource Sharing
NWO Themadag - ICT en Grids 4
De belangrijkste kenmerken op een rij
‘Een grid is meer dan een clustercomputer’
Het Grid brengt resources bij elkaar, die– niet door één organisatie worden beheerd
– wel een gemeenschappelijk, open protocol spreken … dat algemeen bruikbaar is
– voor de gebruiker één transparant, samenwerkend geheel vormen
NWO Themadag - ICT en Grids 5
Organisatie in grids
NWO Themadag - ICT en Grids 6
De Virtuele Organisatie
• Gebruikers en providers vormen tijdelijk samen één gemeenschap
• Gebruikers nemen vaak deel als individu
• De provider kent niet van tevoren alle gebruikers:trusted third parties zorgen voor identificatie
• Virtuele organisaties zullen overlappen
NWO Themadag - ICT en Grids 7
Standaardisatie
• beperkt aantal standaard protocollen (‘web services’)
• algemeen bruikbaar voor verschillende applicaties
• samenhang:Open Grid Services Architecture (OGSA)
NWO Themadag - ICT en Grids 8
Standaard protocollen
tape robotDMF+CXFS
disk-basedstorage G
rid
FT
P s
erve
rG
rid
FT
P s
erve
r
CASTOR
Job
Job
user
RLS Me
tada
ta C
ata
log
ueM
eta
data
Ca
talo
gue
Gri
d S
ecu
rity
Infr
ast
ruct
ure
Gri
d S
ecu
rity
Infr
ast
ruct
ure
Se
curi
ty In
fra
stru
ctu
reS
ecu
rity
Infr
ast
ruct
ure
• GSI in common
• common authentication
• multiple implemen-tations, same interface
• one information systemper VO / infrastructure
Info
Sys
Info
Sys
Clie
nt/A
pp
SW
Clie
nt/A
pp
SW
GS
I Sec
urit
yG
SI S
ecu
rity
NWO Themadag - ICT en Grids 9
Collectieve services
Eén uniform systeem
• single sign-on
• resource brokering
• foutbestendigheid– self-healing
– redundancy
NWO Themadag - ICT en Grids 10
Op weg naar een faciliteit
Integratie van infrastructuur en ICT onderzoek
• authenticatie/autorisatie– ‘gemeenschapsvorming’– beveiliging, indicent handling, operaties
• infrastructuur bouw en –beheer– integratie, stabiliteit, ‘quality of service’ en installatie
– resources en hardware
• disseminatie & ondersteuning – voor gebruikers én beheerders
NWO Themadag - ICT en Grids 11
Authenticatie en autorisatie
• Schaalbare Public Key Infrastructure (‘paspoort’)– identiteits providers los van de virtuele organisatie
– wereldwijd coördinatie nodig!
• Virtuele Organisaties (‘visa’)– gemeenschappelijke gebruikvoorwaarden
– interne organisatiestructuur en rechten
– los van instituten en van de resource aanbieders
– VO organiseert rechten van zijn leden, zonder tussenkomst van resource aanbieders
• Resources policies (‘marechaussee’)– systeemeigenaar heeft altijd het laatste woord
– accounting maakt gebruik inzichtelijk en berekenbaar
NWO Themadag - ICT en Grids 12
Infrastructuur: integratie
Integratie van software– veel van de tools en concepten zijn er al … ‘alleen nog maar integreren’
– maar alleen met implementatie, uitrol & testen vindt je de zwakheden
Aandacht voor specifieke grid eigenschappen– policy-constraint gedistribueerde computing
– verhoogde dynamiek in het systeem
– fault tolerance eisen
En daadwerkelijk installeren– Software engineering verbeteren
– VL-e Proof-of-Concept Installer
– Grid cluster tools (quattor)
Application development
NL-Grid production clusterCentral mass-storage facilities
+SURFnetInitial computeplatform
Stable, reliable, testedCert. releases Grid MW & VL-software
VL-e Proof of Concept EnvironmentVL-e Rapid Prototyping Environment
DAS-2, local resources
VL-e Certification Environment
NL-Grid FabricResearch Cluster
Test & Cert.Grid MW & VL-software
Compatibility
Flexible, test environment
Environments
Usage
Characteristics
Virtual Lab.rapid prototyping
(interactive simulation)
Flexible, ‘unstable’
Download RepositoryPoC InstallerCluster Tools
Developer CVSNightly builds
Unit tests
stable, tested releases
Integration testsFunctionality testsAdventurous application people
PoC Release n Release Candidaten+1
Developers Heaven/Haven
Tagged Release Candidates
GT2 GT2
GT3.2
P4 Scaling & Validation Programme
NWO Themadag - ICT en Grids 13
Infrastructuur: hardware resources
• Een ‘leeg’ grid heeft weinig nut– complexe faciliteiten worden wel beter toegankelijk– maar grid is geen vervanging voor hardware aanschaf– wel: schaalvoordelen & efficienter gebruik
• ‘Gegridificeerde’ resources, b.v.– NCF NL-Grid project: clusters & opslag– SARA: Matrix cluster + storage– NIKHEF Data Processing Facility– AMOLF MassStore– in toekomst: Nationaal Cluster LISA@SARA– bereikbaar via SURFnet
NWO Themadag - ICT en Grids 14
Gebruikers!
• Betrokkenheid is essentieel voor succes– ‘brug’ tussen grid en gebruikers nodig– hands-on training + support– pilots met nieuwe technologie– intensieve samenwerking met applicaties– voor gebruikers ‘interessante’ resources
– grid gebruikers in VL-e en NL-Grid nu aard-observatie, radioastronomie, medical imaging, 3D-elektronenmicroscopie, (astro-) deeltjesfysica, informaticaonderzoekers, massaspectroscopie
– maar dit kan/moet veel verder groeien …
Alleen gebruikers maken grid tot een succes!
P4