AWS Cloud Roadshow 2016 今こそクラウド、あな...

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。

使ってみよう！データベースとストレージ

Getting Started with AWS Databaseand

Storage Servicesアマゾンウェブサービスジャパン株式会社

技術本部ソリューションアーキテクト桑野章弘


⾃⼰紹介桑野章弘(くわのあきひろ)◦ ソリューションアーキテクト◦ 主にメディア系のお客様を担当◦ 前職では渋⾕のインフラエンジニア（仮）◦ 好きなAWSのサービス：ElastiCache◦ 好きなデータストア：MongoDB


クラウドサービスで⽣活を変えるAWSのデータベースサービスやストレージサービスを使うだけで変わる部分とは？


その前に、、、AWSの基本的なお話


世界中に存在するAWSの拠点


リージョン／アベイラビリティゾーン

東京リージョン

AvailabilityZone A

AvailabilityZone B

・リージョンとはクラウドの拠点が存在する地域・アベイラビリティゾーンとはリージョン内にある

物理的に離れたデータセンタ


データベースの管理


データベース運⽤どうしてますか？データベースの運⽤は⼤変◦ 作業時に⽌められない◦ 即広範囲のサービス影響がある◦ 設定など覚えることが多い◦ などなど。。。

DBAのみなさんは胃の痛い思いをしている


DBAの役割DBA (DataBase Administrator)の仕事◦ スキーマやクエリのチューニング◦ DBの構造を理解した上での、適切な改善

◦ DBサーバ/クラスタの管理◦ 構築、キャパシティ、パフォーマンス、障害対応

現在、どちらに費やしている時間が多いでしょうか？


クラウドサービスで変わる事


完全マネージド型で、セットアップ、運⽤、拡張が容易なリレーショナル・データベースサービス

RDS

DynamoDB

完全マネージド型で、⾼速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス

Redshift

⾼速で管理も万全なペタバイト規模のデータウェアハウスサービス

ElastiCache

完全マネージド型で、セットアップ、運⽤、拡張が容易なキャッシュサービス

DMS

完全マネージドで異機種間のデータベース移⾏も可能なデータベース移⾏⽀援サービス


Amazon RDS


データベース管理を簡単にデータベースを数分で作成可能障害の⾃動検知と⾃動フェールオーバ⾃動でパッチの適⽤数クリックでスケールアウト可能S3への継続的なバックアップ


Amazon AuroraAmazonがクラウド時代のリレーショナル・データベースアーキテクチャを1から考え直して構築したDBエンジン◦ 1970年代の⽅法で実装はしない◦ AWSサービスを活かすことができ、スケールアウトが簡単で、セルフヒーリングが出来るような

データベースを作りたいと考えた

結果としてエンタープライズグレードの可⽤性とOSSレベルのコストを両⽴今回はAuroraを⼀例としてクラウドサービスを使った場合の利点について説明していきます


データベース構築数クリックでDBが起動◦ DBエンジン◦ インスタンスクラス◦ ディスクの種類とサイズ◦ 等を選ぶだけ◦ 数分で起動しデータベースとして動き始める


データベース構築のデモ


耐障害性フェイルオーバや、耐障害性を⾼めるためのデータベースの機能を作るのは⼿間がかかる、作ってもパフォーマンスと両⽴させることは⾮常に難しい

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。耐障害性：

クラスタエンドポイント⼀般的にデータセンタレベルの冗⻑化を実現するのは⼤変◦ それを実現するのがMulti-AZ構成

⾼い技術⼒を持つDBAが⾏っていた設計をそのままサービス化クラスタエンドポイントは、その時アクティブなAurora WriterノードのCNAME

Availability Zone A Availability Zone B

VPC subnet VPC subnet

VPC subnet VPC subnetAurora Writer Aurora Reader

クラスタエンドポイント

Write

Multi-AZ


フェイルオーバ発⽣時フェイルオーバ発⽣時はAuroraノードの昇格が⾏われ、クラスタエンドポイントの指し先が変わる

Availability Zone A Availability Zone B

VPC subnet VPC subnet

VPC subnet VPC subnetAurora Writer Aurora Writer

クラスタエンドポイント

Write

Multi-AZ


キャッシュレイヤの分離SQL

Transactions

Caching

SQL

Transactions

Caching

SQL

Transactions

Caching

キャッシュプロセスをDBプロセス外におくことで

DBプロセスの再起動でもキャッシュが残る


AuroraのストレージSSDを利⽤したシームレスにスケールするストレージ

標準でHighly availableを実現◦ 3AZに6つのデータのコピーを作成

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3


Auroraのストレージ2つのディスクが利⽤不能でも読み書き可能

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3


Auroraのストレージ3つのディスクが利⽤不能の場合は読み込みのみ可能 SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。運⽤：

メンテナンス（パッチ適⽤等）DBAがパッチ当てを⾏う場合、最新の注意を払って作業時間や作業計画を⽴てて⾏う必要があったAWS側でメンテナンスウインドウで指定した曜⽇・時間帯に⾃動実施メンテナンス内容◦ セキュリティ、機能追加等に関わるソフトウェアパッチを⾃動適⽤

メンテナンスは数ヶ⽉に⼀度の頻度で発⽣(毎週必ずではない）

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。バックアップ：

Streaming snapshotとPITRAmazon Auroraでは各セグメント毎にAmazon S3へ継続的に増分バックアップを取得

Amazon Auroraが使⽤しているディスクの仕組みによりパフォーマンスへ影響を与えない Aurora Writer

常にストリーミングでバック

アップデータを送り続けている

Amazon S3

5分前まで戻れるバックアップが常に取られて

いる状態


ここでストレージサービス


Amazon Simple Storage Service (S3)容量無制限◦ 1ファイル最⼤5TBまで⾼い堅牢性◦ 99.999999999%

安価なストレージ◦ ⽉額1GB / 約1〜4円※

スケーラブルで安定した性能◦ データ容量に依存しない性能

※ 2016.9.28時点


Amazon S3の構成

データセンタ A

データセンタ B

データセンタ C

東京リージョン

AWSリージョンを指定可能

3箇所以上で⾃動複製⾼い堅牢性を実現

ネットワーク越しにファイルを格納

データ

バケット


S3

Glacier

StorageGateway

EBS

安価かつ⾼い耐久性を持つオンラインストレージサービス

超安価かつ⾼い耐久性を持つアーカイブストレージサービス

オンプレミス環境と連携したバックアップ&⼤容量ストレージサービス

仮想サーバ(Amazon EC2)にマウントできるディスクサービス

EFS

複数の仮想サーバ(Amazon EC2)から同時マウントできる共有ストレージサービス


ストレージサービスココマデ


運⽤⾃動化／省⼒化：API & CLIAWSのサービスは管理画⾯での作業をAPIやCLIでも⾏える各⾔語⽤のSDKも⽤意されているためプログラマブルな処理を簡単に実装可能

最新のDB バッチサーバon EC21⽇前のDB

S3:DBスナップショット分析⽤の1⽇前のデータが⼊ったデータベースを毎⽇24時にバック

アップデータから作り直す


データベースマイグレーションDatabase Migration Serviceを使⽤することによってサーバを新しいものへと移⾏する事が可能データベースアーキテクチャを変更したい

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。AWS Data Migration Service

(DMS)異環境、異機種間データベースの移⾏は⼤変だった◦ レプリケーションインスタンスをセットアップすると、ソースDB/ターゲットDB間のデータ移動を実⾏

◦ 異なるRDBMS間のデータ移動をサポートしているので、商⽤RDBMSからAurora等への移⾏も実現

◦ ⼀括移⾏（フルロード）、継続同期（レプリケーション）等様々な移⾏⽅法

DMS

オンプレRDB

RDS

RDB on EC2

オンプレRDB

RDS

RDB on EC2

※オンプレ to オンプレは未サポート


データベースマイグレーション例オンプレデータベースからAmazon RDSへのマイグレーション

オンプレRDB

RDB on EC2

DMSインスタンス

Aurora for RDS

VPN/専⽤線経由でレプリケーションを張りクラウド

側へ継続同期


ビッグデータ移⾏オンプレでDWH等の⾮常に⼤きなサイズのデータベースを移⾏したい場合など、ペタバイトクラスのデータをどう移⾏すればいいの？インターネット経由のコピーでは数ヶ⽉、専⽤線接続でも数週間はかかることもある


E-ink 送り状“8.5Gまでの耐衝撃性”を

担保するパッケージ

エンドツーエンドのデータ暗号化50TB/ 80TB

10Gb ネットワーク

耐⽔&対ダスト設計

タンパープルーフケース&回路

アプライアンスによるペタバイト規模のデータ転送ソリューションデータのImport/Exportに対応

AWS Import/Export Snowball


通常の⼿順

S3

Snowball 使⽤

初回バックアップ

差分バックアップ


監視適切な監視項⽬ってなに？障害時に何を対応したらいいの？何を使ったらいいの？検知時に⾃動で修復したいんだけど？


既存のオンプレ監視構成例

40

corporatedatacenter


AWS環境の監視構成例

AmazonRDS

Amazon CloudWatch

Amazon EC2


データベースサービスの使い分け


データストアの特性による使い分け

Amazon DynamoDB

Amazon RDS

Amazon ElastiCache

Amazon Redshift

SQL

NoSQL• 低レンテンシ• インメモリ

• 3拠点間でのレプリケーション

• SSDに永続化

• トランザクション処理

• 汎⽤⽤途

• 集計・分析処理• ⼤容量データ• DWH


Amazon RDSRDBをマネージドで提供するサービス◦ 様々なデータベースエンジンが使⽤可◦ ⾼可⽤性◦ フェイルオーバ、バックアップ、監視

◦ Aurora等の先進的な試み

ユースケース◦ 殆どのユースケースにマッチ◦ 課⾦系（トランザクション）


Amazon DynamoDB完全マネージド型の NoSQL データベースサービス◦ ハイスケーラブル、低レイテンシー◦ ⾼可⽤性◦ ストレージの容量制限がない◦ プロビジョンドスループット

ユースケース◦ ゲーム◦ 広告配信◦ DMP◦ センサーデータ◦ モバイルアプリケーションのバックエンド


Amazon ElastiCacheインメモリキャッシュをマネージドで提供するサービス◦ キャッシュクラスタを数クリックで起動◦ 2種類のエンジン(Memcached, Redis)をサポート

ユースケース◦ アプリケーションキャッシュ◦ セッションキャッシュ


Amazon Redshiftクラウド上のマネージドDWH◦ 最⼤128ノードの並列処理◦ 160GBから最⼤1.6PBまで拡張可能◦ PostgreSQL互換のSQL

ユースケース◦ ユーザ⾏動解析◦ ログ分析◦ 業務分析

⼤規模分散処理で分析SQLを

⾼速実⾏


まとめ


クラウドアーキテクチャ

⾃動バックアップスナップショット(⾃動/⼿動)

データ同期

⾮同期レプリケーション

⾃動フェイルオーバー

Binlog(トランザクション

ログ)（5分間隔)


ログ)5分に1度保存

Binlog

S3 Availability Zone A Availability Zone B


既存のアーキテクチャ（例）

⾃動バックアップフルバックアップ(⼿動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(⼿

動)

Binlog

ストレージサーバデータセンタA データセンタB


既存のアーキテクチャ（例）

⾃動バックアップフルバックアップ(⼿動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(⼿

動)

Binlog

ストレージサーバデータセンタA データセンタB

データセンタAが失われるとバックアップも失われて

本末転倒

太い専⽤線を引く

サーバ発注／サーバ構築／ラッキング／NW配線など

など

レプリを貼る作業を⾏う

⼤変！！！




データ同期







Binlog





データ同期







Binlog


らくらく！！！


まとめクラウドでしか実現できない事を実現するためのピースとしてのストレージやデータベースサービスの紹介AWSの提供する各種サービスを上⼿く選択する事で少ない労⼒でサービスの開発スピードの最⼤化、運⽤負荷の最⼩化も可能となるユースケースによって適切なサービスを使い分ける事が⼤事


ご清聴ありがとうございました

AWS Cloud Roadshow 2016 今こそクラウド、あな...

Documents

Transcript of AWS Cloud Roadshow 2016 今こそクラウド、あな...