KDDI Cloud Platform Service with...

29
KDDI Cloud Platform Service ベアメタルサーバーサービス 加藤真人 KDDI プラットフォーム技術部 Cloud Computing Day Tokyo 2018

Transcript of KDDI Cloud Platform Service with...

Page 1: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KDDI Cloud Platform Serviceベアメタルサーバーサービス

加藤真人

KDDI プラットフォーム技術部

Cloud Computing Day Tokyo 2018

Page 2: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

自己紹介

KDDI入社以来インフラ系サービスの開発を担当。これまでに、お客様のシステムを監視するサービスやKCPSの前身であるバーチャルデータセンターなどを開発。その後、KCPS(KDDIクラウドプラットフォームサービス)の開発を初期メンバーとして参加し、現在は数千台のサーバを支えるインフラ設計業務を担当。ODM機器の採用や、Open Compute Projectへの参加など積極的にインフラのコモディティ化を推進してる。

KDDI株式会社 プラットフォーム開発本部プラットフォーム技術部

加藤 真人

Copyright © 2017 KDDI Corporation. All Rights Reserved2

Page 3: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KCPSベアメタルサーバーサービスの紹介

KCPSベアメタルサーバーサービスの特徴

ITRI、Quanta共同開発

Copyright © 2017 KDDI Corporation. All Rights Reserved3

Page 4: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KCPS

ベアメタルサーバーサービスの紹介

Copyright © 2017 KDDI Corporation. All Rights Reserved4

Page 5: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Copyright © 2017 KDDI Corporation. All Rights Reserved5

KCPSとは

KCPS(KDDI Cloud Platform Service)・専用ポータルから仮想サーバ環境をオンデマンド提供するサービス

・WVSイントラネット接続と占有型サーバを標準提供するIaaS

利用ユーザ

・法人のお客様・KDDI事業用の設備でも利用

データセンタ:4局、物理サーバ:数千台

インフラの特徴

・サーバを台湾ODMから直接調達

・KDDIイントラ網に直結

・物理機器の持ち込みができる!

Page 6: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KDDI Cloud Platform Service

Revenue of KCPS

Copyright © 2017 KDDI Corporation. All Rights Reserved6

Page 7: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Copyright © 2017 KDDI Corporation. All Rights Reserved7

サーバの直接調達

大手サーバベンダーやFacebookにサーバを供給

する台湾ODMベンダーから直接サーバを購入

Page 8: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Copyright © 2017 KDDI Corporation. All Rights Reserved

共有リソース 専有リソース色分け:

Value Premium ベアメタルサーバー

基盤は仮想(VM)のみ利用可能基盤は物理提供となるため、

物理利用、仮想(VM)利用を選択可能基盤は仮想(VM)のみ利用可能

サーバー / ストレージ 共有型 サーバー 専有 / ストレージ 共有型 サーバー / ストレージ 専有型

A社 B社 C社

物理サーバー(CPU / メモリー)

仮想化基盤(ハイパーバイザー)

共有ストレージ

A社 B社

CPUメモリー

仮想化基盤

CPUメモリー

仮想化基盤

VM

VM

VM

VM

共有ストレージ

A社 B社

CPUメモリー

OS

CPUメモリー

仮想化基盤

内蔵ディスク 内蔵ディスク

アプリ

VM

VM

VM

VM VM VM

オンプレミスのような専有のサーバーを必要なときに必要な分だけ提供するクラウドサービス

8

KCPS ベアメタルサーバーサービス リリース

Page 9: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KCPSベアメタル サーバー利用イメージ

C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d9

KDDI WVS

KDDI WVS2

Value / Premiumベアメタルサーバー Object Storage

データセンター

KCPS

アーカイブなど利用頻度の少ないデータ倉庫(※1)

専有型のHaaSサービスプライベートクラウド向き

共有型/専有型のIaaSサービス

ファイルサーバー

リソース共有型のファイルサーバーサービス

(※2)

DC Connect

※1 国内3か所に分散保存※2 WVS経由でのご提供

NEW

管理者

KCPS Admin

Console

NW領域で築いたキャリアとしての

高品質 / 高可用性 をIT基盤に拡大してご提供

既存KCPSの各サービスと相互接続可能

KDDI DCでのオンプレミス

各事業所

Page 10: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KCPSベアメタルサーバーサービスの特徴

Copyright © 2017 KDDI Corporation. All Rights Reserved10

Page 11: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

KCPS ベアメタル サービス特長

C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d11

オンプレミスに求められる要件 KCPSベアメタルでの達成状況

セキュリティ ◎ 占有ストレージによる機密性の担保※論理的にはもちろん、物理的に完全分離される

設計自由度 〇

ハイパーバイザーの持込みお客様にてハイパーバイザーを持込み、構築運用することでオンプレミスの仮想化環境同等の設計自由度を満たす

仮想化オプション/vCenter提供サービスオプションとしてESXi+vCenter提供通常KCPSと異なりvCenter提供まで行うため、柔軟な設定変更等が可能

KCPS仮想サーバと同NWでの併存可能同NW内にKCPS仮想インスタンスの利用も可能これによりフロントエンドをKCPS、バックエンドをベアメタルのような構成の自由度UP

性能 〇 内蔵ストレージによるIOPSの独占

構築に関して自由度が高く柔軟な提案が可能

Page 12: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d12

オンプレミスKCPS

ベアメタルサーバー KCPS Premium KCPS Value

サーバリソース 占有 占有 占有 共有

ストレージリソース 占有 占有 共有 共有

NWリソース 占有 共有 共有 共有

H/W資産 顧客資産 事業者資産 事業者資産 事業者資産

仮想化/OS 顧客資産 ※オプション有 事業者資産 事業者資産

仕様の柔軟性 〇 〇 × ×

性能安定性 〇 〇 △ △

拡張性 × 〇 〇 〇

料金 一時金 月額 月額 月額

オンプレの性能とクラウドの使い勝手の両方のメリットを享受

※黄色網掛けがオンプレの利点、青色網掛けがクラウドの利点

オンプレミスとの比較

Page 13: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

ご利用イメージ

C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d13

新規申し込み/プロビジョニング以降は、専用の管理コンソールを利用してサーバリソースをコントロール

お客さま

サーバ確保

サーバ返却

メンテナンスモード移行

KCPSAdminConsole

サーバ起動 / 停止

ファームアップ

HW診断ツール実行

ホストOSインストール※初期リリース範囲外

RAID設定

②自動構築

①ライフサイクル管理

オンラインで必要なHWリソースを必要なだけ利用できる。自動構築により物理サーバ構築を効率化

③メンテナンス操作

Page 14: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

OCP仕様サーバ

C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d14

OCP(Open Compute Project)※1仕様サーバを活用※1 Facebookが2011年4月にサーバなどのハードウェアの設計図や仕様のオープンソース化

を推進する非営利組織として発足。ビジョンは、最も効率の良いコンピューティングインフラストラクチャを最も低コストで実現すること。

1

2 メンテナンス容易性向上によるサーバ運用コストの削減

不要パーツ削減によるサーバコストの更なる削減

★Facebookでは、全てのサーバがOCP対応している訳ではなく、Webサーバ、Cacheサーバなどのシステムに適用。

<メリット>

コスト削減分は安価なITリソースのご提供でお客さまへ還元

Page 15: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

ITRI、Quanta共同開発

Copyright © 2017 KDDI Corporation. All Rights Reserved15

Page 16: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

2011年

Wiwynn社サーバ導入開始 国内24/365保守

2012年

工場キッティング・安定供給・工期短縮

2013年 Quanta社サーバ導入 2社体制 工場構築、HWセルフテスト強化

2014年 自動構築Step1 (OS構築)

2015年 自動構築Step2 インベントリー機能

台湾メーカとの関係

2016年 HaaS機能開発

2018年 ベアメタリリース

Copyright © 2017 KDDI Corporation. All Rights Reserved16

近年はサーバー領域を活かしたSW開発へシフト

Page 17: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Copyright © 2017 KDDI Corporation. All Rights Reserved17

台湾メーカーとの共同開発

HWに強い台湾だから 低レイヤーの開発が強い!

しかも!ハードに必要な機能だけでなく、インフラ構築管理における必要なツール開発が可能

ベアメタルサーバー合同プロジェクト

Page 18: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

サーバライフサイクル

Copyright © 2017 KDDI Corporation. All Rights Reserved18

物理サーバをベアメタ管理コントローラーによりオンデマンドで構築/管理できるため、お客様は必要なリソースを必要なタイミングでご利用可能

サーバー利用終了

購入

サーバー利用・運用/管理

HWチェック

電源OFF/ON操作

BMCコンソール

FWアップデート

ポータル ポータル

サーバー利用開始

解約

オレンジ:お客さま緑:KDDI

メンテナンス

ポータル

インフラリソース

保守管理

ポータル

Page 19: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

システム構成概要

コンポーネント名 説明

IPC ベアメタルサーバーサービスのポータル機能とサーバー構築、ネットワーク設定を指示管理します。

設備構成管理DB 物理サーバー、ネットワークの構成管理データベースです。IPC向けの構成情報管理を提供します。

BAMPI ベアメタルサービスホストに対して、構築、診断、保守を実施します。

Page 20: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

①BAMPI開発

Copyright © 2017 KDDI Corporation. All Rights Reserved20

① HWレイヤー操作のAPI対応

② FWアップデート機能

③ HWチェック機能

Page 21: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

ベアメタルサーバーに搭載されている、BMC、BIOS、RAIDカードのFWをオンデマンドでVerUpが可能また、スケジュール機能を利用することで、深夜など無人での実施も可能になります。

FWアップデートカタログ

firmware

BMCQuanta Computer

firmware

BIOSQuanta Computer

firmware

RAIDQuanta Computer

サンプル

21 Copyright © 2017 KDDI Corporation. All Rights Reserved

BAMPI FWアップデート機能

Page 22: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

ベアメタルサーバーに対して、HWの診断を実施することが出来ます。実施結果のLOGをKDDIと共有することで障害状況、故障部位の共有がスムーズに行えます。また、診断ツールはQuantaとの共同開発のため交換対応、原因調査がより短縮されます。

HWチェックカタログ

hardware

STRESSQuanta Computer

hardware

DISKQuanta Computer

サンプル

22

BAMPI HWチェック機能

Copyright © 2017 KDDI Corporation. All Rights Reserved

Page 24: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

BMC 2セグメン対応の開発

Copyright © 2017 KDDI Corporation. All Rights Reserved24

・セキュリティーブロック・BMC-WEBUIを提供

3 4 5 6

OCP Mezzanine PCIe Adapter

LAN On Motherboard

0

BMC-NW1

SFP+

RJ45

SFP+

RJ452 1

2系統のNW通信に対応する必要がある

ServiceNW1 ServiceNW2

BMC-OS

BMC-NW2

お客様利用 KDDI システム利用

世界初?

Page 25: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

③認証取得

Copyright © 2017 KDDI Corporation. All Rights Reserved25

ベアメタルサーバーサービスにおいて、各種認証取得が重要!しかし、、、大変!!各コンポーネント毎に取得フローが異なる

STEP1 OCPのHW認証取得

STEP2 OS認証(RedHat、Microsoft、VMware)

STEP3 VSAN認証(VMware)

やり直し

やり直し

Page 26: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

OCP HW認証のフロー

Copyright © 2017 KDDI Corporation. All Rights Reserved26

認証条件・OCPの有料メンバーであること・OCP基準のHW仕様を満たしていること・上記仕様を満たしていることを証明できるエンジニアドキュメントがあること・サポートサービスをエンドユーザ、ソリューションプロバイダーに提供できること

STEP1 OCPメンバーへの上記ドキュメントとチェックリストの提示Foundation staff or OCP Project Leaders

STEP2 OCP内部レビュー

STEP3 OCP inspired Certification 承認会

Page 27: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

OCP Member 条件

Copyright © 2017 KDDI Corporation. All Rights Reserved27

Page 28: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Next plans

IPC Browser

Infra

Process

Communicator

Edge Device

Raspberry PI

RaspberryPI

Auto Deploy Tool

Raspberry Pi 3

SIM

Copyright © 2017 KDDI Corporation. All Rights Reserved28

様々な「サーバー」「ネットワーク」「ストレージ」をサポートしていく事を目指します。IoTなどの環境にも適用していく事を目指しPoC試験を行っています。

Page 29: KDDI Cloud Platform Service with OpenStack/BAMPIopencomputejapan.org/wp-content/uploads/2018/10/9.KDDI-New-1016-CCDT.pdf※論理的にはもちろん、物理的に完全分離される

Quality CloudCopyright © 2017 KDDI Corporation. All Rights Reserved29