Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

14
Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF DutchG rid

Transcript of Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

Page 1: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

Grid Computingvan onderzoek naar onderzoeksfaciliteit

David Groep

NIKHEF

Dutc hG rid

Page 2: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 2

ICT & Grid

• Drie eigenschappen van een grid

• De bouw van een grid faciliteit– software

– hardware

– ‘peopleware’applicaties

infrastructuur informaticaonderzoe

k

Page 3: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 3

The GRID: networked data processing centres and ”middleware” software as the “glue” of resources.

Researchers perform their activities regardless geographical location, interact with colleagues, share and access data

Scientific instruments and experiments provide huge amounts of data

[email protected]

Connecting Resources

Basis voor Resource Sharing

Page 4: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 4

De belangrijkste kenmerken op een rij

‘Een grid is meer dan een clustercomputer’

Het Grid brengt resources bij elkaar, die– niet door één organisatie worden beheerd

– wel een gemeenschappelijk, open protocol spreken … dat algemeen bruikbaar is

– voor de gebruiker één transparant, samenwerkend geheel vormen

Page 5: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 5

Organisatie in grids

Page 6: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 6

De Virtuele Organisatie

• Gebruikers en providers vormen tijdelijk samen één gemeenschap

• Gebruikers nemen vaak deel als individu

• De provider kent niet van tevoren alle gebruikers:trusted third parties zorgen voor identificatie

• Virtuele organisaties zullen overlappen

Page 7: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 7

Standaardisatie

• beperkt aantal standaard protocollen (‘web services’)

• algemeen bruikbaar voor verschillende applicaties

• samenhang:Open Grid Services Architecture (OGSA)

Page 8: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 8

Standaard protocollen

tape robotDMF+CXFS

disk-basedstorage G

rid

FT

P s

erve

rG

rid

FT

P s

erve

r

CASTOR

Job

Job

user

RLS Me

tada

ta C

ata

log

ueM

eta

data

Ca

talo

gue

Gri

d S

ecu

rity

Infr

ast

ruct

ure

Gri

d S

ecu

rity

Infr

ast

ruct

ure

Se

curi

ty In

fra

stru

ctu

reS

ecu

rity

Infr

ast

ruct

ure

• GSI in common

• common authentication

• multiple implemen-tations, same interface

• one information systemper VO / infrastructure

Info

Sys

Info

Sys

Clie

nt/A

pp

SW

Clie

nt/A

pp

SW

GS

I Sec

urit

yG

SI S

ecu

rity

Page 9: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 9

Collectieve services

Eén uniform systeem

• single sign-on

• resource brokering

• foutbestendigheid– self-healing

– redundancy

Page 10: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 10

Op weg naar een faciliteit

Integratie van infrastructuur en ICT onderzoek

• authenticatie/autorisatie– ‘gemeenschapsvorming’– beveiliging, indicent handling, operaties

• infrastructuur bouw en –beheer– integratie, stabiliteit, ‘quality of service’ en installatie

– resources en hardware

• disseminatie & ondersteuning – voor gebruikers én beheerders

Page 11: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 11

Authenticatie en autorisatie

• Schaalbare Public Key Infrastructure (‘paspoort’)– identiteits providers los van de virtuele organisatie

– wereldwijd coördinatie nodig!

• Virtuele Organisaties (‘visa’)– gemeenschappelijke gebruikvoorwaarden

– interne organisatiestructuur en rechten

– los van instituten en van de resource aanbieders

– VO organiseert rechten van zijn leden, zonder tussenkomst van resource aanbieders

• Resources policies (‘marechaussee’)– systeemeigenaar heeft altijd het laatste woord

– accounting maakt gebruik inzichtelijk en berekenbaar

Page 12: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 12

Infrastructuur: integratie

Integratie van software– veel van de tools en concepten zijn er al … ‘alleen nog maar integreren’

– maar alleen met implementatie, uitrol & testen vindt je de zwakheden

Aandacht voor specifieke grid eigenschappen– policy-constraint gedistribueerde computing

– verhoogde dynamiek in het systeem

– fault tolerance eisen

En daadwerkelijk installeren– Software engineering verbeteren

– VL-e Proof-of-Concept Installer

– Grid cluster tools (quattor)

Application development

NL-Grid production clusterCentral mass-storage facilities

+SURFnetInitial computeplatform

Stable, reliable, testedCert. releases Grid MW & VL-software

VL-e Proof of Concept EnvironmentVL-e Rapid Prototyping Environment

DAS-2, local resources

VL-e Certification Environment

NL-Grid FabricResearch Cluster

Test & Cert.Grid MW & VL-software

Compatibility

Flexible, test environment

Environments

Usage

Characteristics

Virtual Lab.rapid prototyping

(interactive simulation)

Flexible, ‘unstable’

Download RepositoryPoC InstallerCluster Tools

Developer CVSNightly builds

Unit tests

stable, tested releases

Integration testsFunctionality testsAdventurous application people

PoC Release n Release Candidaten+1

Developers Heaven/Haven

Tagged Release Candidates

GT2 GT2

GT3.2

P4 Scaling & Validation Programme

Page 13: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 13

Infrastructuur: hardware resources

• Een ‘leeg’ grid heeft weinig nut– complexe faciliteiten worden wel beter toegankelijk– maar grid is geen vervanging voor hardware aanschaf– wel: schaalvoordelen & efficienter gebruik

• ‘Gegridificeerde’ resources, b.v.– NCF NL-Grid project: clusters & opslag– SARA: Matrix cluster + storage– NIKHEF Data Processing Facility– AMOLF MassStore– in toekomst: Nationaal Cluster LISA@SARA– bereikbaar via SURFnet

Page 14: Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

NWO Themadag - ICT en Grids 14

Gebruikers!

• Betrokkenheid is essentieel voor succes– ‘brug’ tussen grid en gebruikers nodig– hands-on training + support– pilots met nieuwe technologie– intensieve samenwerking met applicaties– voor gebruikers ‘interessante’ resources

– grid gebruikers in VL-e en NL-Grid nu aard-observatie, radioastronomie, medical imaging, 3D-elektronenmicroscopie, (astro-) deeltjesfysica, informaticaonderzoekers, massaspectroscopie

– maar dit kan/moet veel verder groeien …

Alleen gebruikers maken grid tot een succes!

P4