BI in de cloudBatch processen van dagen naar

uren

Arie Twigt

|

Deze sessie

• BI in de cloud• Big Data• Microsoft Azure Batch• Business case.

2

|

BI in de cloudBusiness Intelligence resources die zijn geinstalleerd en runnen op een externe server (de cloud). (Marston et al., 2011, Benlain & Hess, 2011, Seruga & Hwang, 2012).

Voorbeelden:

Database DashboardClusters/VM’s 3

|

Efficientie Business Agility Kostenvoordelen Universele toegang tot middelen Schaalbaarheid

4

Kansen BI in de cloud

|

Uitdagingen BI in de cloud Privacy en data controle issues Security en betrouwbaarheid

5

|

Big data?Big data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.Gartner

http://www.gartner.com/it-glossary/big-data/

In dit geval:“Data hoeveelheden te groot om te verwerken op een enkele machine.”

6

|

Financiele modellen en lange wachttijden

Verwerken van financiele modellen:

• Redelijk handelbare input data (bijv. 100 MB) met data over bijv.:

• Klantportefuille beleggingen• Hypotheken

• Toepassing (wiskundige) calculaties:• Interpolatie• Kasstroom projecties• Solver/goalseek• Tal van andere calculaties

• Veel output data: • Bijvoorbeeld data met kasstromen

7

|

Is data Big DataBig data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.

• De output is high-volume;• Het gehele proces te zwaar om op een enkele computer uit te

voeren;• Verdeel de calculaties over meerdere computers• Verzamel de uitkomsten van de computers en stel het

resultaat samen.

8

|

Microsoft Azure Batch Services

9Sogeti PowerPoint Referentie 2014

|

Waarom Azure Batch?

10

• Verdeel een grote taak in kleinere taken

• Laat kleinere taken parallel uitgevoerd worden

• Aantal benodigde computers beschikbaar voor taken

|

Het proces

Task1 Node

1

Node 1

Node 1

Node 1

Node 1

Task1

Task1

Task1

Task1

Task1

Task1

Task1

Task1

Task1

Dataset

100.000 records

Input dataset

Job: 10 tasks

10.000 records per task

Pool: 5 nodes

2 tasks per node

|

Architectuur

12

|

4 scenario’s Per rate

Per kasstroomPer hypotheek

Case: Hypotheekwaarderingen

13

360 kasstrome

n per hypotheek

2 rates per hypotheek per kasstroom

100.000 hypotheken

|

Gegenereerde data

500.000 * 360 * 2 * 4 =

1.440.000.000

|

Onderdelen

15

input

|

Het proces

16

|

Azure Batch Explorer

17

|

Azure Batch Explorer – Heatmap

18

|

16 nodes

19

|

Azure Batch pool time lapse

20

|

Azure Storage Explorer

21

|

Azure SQL Data Warehouse - Polybase

22

|

Business case

23

• Runtijden significant teruggebracht;• Databestanden altijd beschikbaar

in de cloud;• Key informatie aan je vingertoppen

met Power BI op de iPad.

|

Cloud BI, een Big Data case

24

Efficientie: Snel en makkelijk een groot aantal computers gebruiken en weer afsluiten

Business Agility: Door snelle doorlooptijden snel kunnen inspelen op veranderingen in de map door snelle inzichten in resultaten

Kostenvoordelen: Betaal alleen wat je gebruikt en nodig hebt

Universele toegang tot middelen: Mogelijkheid om overal met de Microsoft Azure credentials toegang te krijgen tot data

Schaalbaarheid: Eenvoudig capaciteit schalen voor wat nodig is

|

Verdeel en heers

25

|

Vragen?

26