Download - Designing Distributed Programs with a Raspberry Pi cluster

slide© Copyright 2013. First8 1

Designing distributed programs

with a Raspberry Pi Cluster

Arjan Lamers


Introductie

• Raspberry PI cluster

– Snel genoeg voor Java (JDK 7u40)– Makkelijk draagbaar– Kleine experimenten– Testen van echte hardware problemen– Langzaaaam….


Introductie

• Inzichtelijk maken van gedistribueerd programmeren

• Simpel, gedistribueerd en visueel

• “Pigs in space”:– Willekeurig grote kaart– Collision detection


Introduction

• Hazelcast – Distributed implementation of Java Collection framework

• LWJGL – Lightweight Java Game Library for drawing


Introduction


Agenda

• Collision detection• Partitionering• Schaalbaarheid• Beschikbaarheid• Inzichten


Collision detection

• In alle software toepassingen zijn er meerdere oplossingen met voor- en nadelen


Collision detection: map based

boolean[][] map = new boolean[MAP_WIDTH][MAP_HEIGHT];

public void detectCollisions(List<Ship> ships) { for (Ship s : ships) { if (s.collidesWith(map)) { s.bounce(); } s.updateMap(map); }}


Collision detection: object based

public void detectCollisions(List<Ship> ships) { for (int i=0; i<ships.size(); i++) { for (int j=i+1; j<ships.size(); j++) { Ship a = ships.get(i); Ship b = ships.get(j); if (a.collidesWith(b)) { a.bounce(); b.bounce(); } } }}


Collision detection

Tijd complexiteit

Geheugen complexiteit

Map based T = O (ships) M = O(map^2 + ships)

Object based T = O (ships^2) M = O(ships)

Tijd

Data


Collision detection: keuzes

• Grotere kaarten of meer ruimteschepen?

• Data serialisatie?

Keuze: Object based collision detection


Agenda



Meerdere servers

Efficient gebruik maken van:

• CPU• Geheugen• Netwerk


Hoe maak je iets gedistribueerd?

• Kopieer alles naar alle machines

– Meer machines betekent alleen meer CPU

– Kaart & ruimteschepen gelimiteerd tot 1 raspberry pi

– Veel netwerk verkeer


Hoe maak je iets gedistribueerd?

• Verdeel de data


Data verdelen

• Verdeel schepen over servers– Simpel– Dichtbijzijnde schepen kunnen op andere server staan

• Verdeel stukken kaart (tiles) over servers– Voelt natuurlijker– Lokale collision detection is triviaal


Data verdelen

Tiles verdeeld over servers

0 1 2 3 4

5 6 7 8 9

10 11 12 13 14

15 16 17 18 19

20 21 22 23 24


Hazelcast distributed maps

• Distributed Maps verdelen op basis van de key

• Onze tiles hebben een Integer als key

class Tile { int tileId; Collection<Ship> ships;}

HazelcastInstance instance = Hazelcast.newHazelcastInstance();Map<Integer,Tile> tiles = instance.getMap("tiles");


Lokale tiles

• Elke server heeft een eigen set lokale tiles

HazelcastInstance instance = Hazelcast.newHazelcastInstance();IMap<Integer,Tile> tiles = instance.getMap("tiles");

for(;;) { Set<Integer> localKeySet = tiles.localKeySet(); for (int tileId : localKeySet) { handleTile(tileId); }}


Lokale tiles per server

No detection across borders


Randgevallen

• Collision detection op de randen van tiles– Lokale kopie van externe tile:

– Of aan de andere server overlaten:

Map<Integer, Tile> tiles = hzInstance.getMap(“tiles”); Tile tile = tiles.get(externalTileId);

FutureTask task = new DistributedTask (new CollisionDetect(ships, externalTileId), externalTileId);

ExecutorService executorService = hzInstance.getExecutorService();executorService.execute(task);


BASE: Basically Available, Soft state, Eventual consistency• CAP theorie:

– Consistency– Availability– Partition tolerance

• Overgang tussen tiles– Dubbel renderen– Verdwijnende schepen


Agenda



Hoe schaalbaar is het?

• # Raspberry Pi’s < # Tiles– Nooit helemaal gelijk verdeeld


Amdahl’s law (1967)


Amdahl’s law


Gustafson’s law (1988)


Hoe schaalbaar is het?

• Moeilijke vraag.

• Meer data -> efficienter gebruik – Of andersom: meer pi’s alleen zinnig als er genoeg data is

• In plaats van complexiteit: (iso) efficiency

• Wijzigen verhoudingen -> andere bottlenecks


Agenda

• Collision detection• Partitionering• Schaalbaarheid• Availability• Inzichten


Availability

• Bestand tegen hardware storingen

• Kopieer data naar backup servers– Bij voorkeur in ander data centrum


High availability in Hazelcast

Config config = new Config();

MapConfig tilesMapConfig = config.getMapConfig("tiles");tilesMapConfig.setAsyncBackupCount(1);tilesMapConfig.setBackupCount(0);

HazelcastInstance i= Hazelcast.newHazelcastInstance(config);

Map<Integer,Tile> tiles = i.getMap("tiles");


High availability in Hazelcast: blauw en paars falen


Availability

• Test scenario’s zo dicht mogelijk bij de waarheid

– Een server die connecties weigert != Een server die niet antwoord

• Echte hardware werkt het beste


Availability: split brain

• Meerdere data centre’s


Availability: split brain

Groen / paars / geel aan onze kant van de split


Availability

• Split brain oplossen:

– Kies een werkelijkheid

of

– Merge


Agenda



Inzichten

• Profile!

• Te veel variabelen:

– Grotere tiles• Minder ruimteschepen / pixel

– Minder botsingen• Minder tile verhuizingen

– Kaart verdelen in meer tiles• Gelijkmatigere verdeling• Minder CPU per tile beschikbaar


Inzichten

• Ontwerpen van gedistribueerde programma’s is lastig

• Denk na over data partitionering

• Maak strategieen configureerbaar


Inzichten

• Pi’s zijn prima om kleine tests mee uit te voeren

• Pi’s zijn bij uitstek geschikt voor testen van verstoringen


Vragen?


Meer weten?

• Kom langs bij de First8 stand

• Download de software op: www.first8.nl

http://www.first8.nl/