CRP CaseStudy Tecent FinCloud CN ·...

4
腾讯云计算(北京)有限公司*(以下简称“腾讯云”)依托腾讯* 在IT领域的深厚技术积累, 基于在金融科技领域的不懈探索与创新,推出了由全新互联网分布式架构支撑,兼具高 效、优质、安全等优势的腾讯金融云服务,赢得了众多金融行业用户的信赖。作为腾讯云 发展战略中的重要产品,腾讯金融云* 的业务范围已涵盖银行、保险、证券、互联网金融等 多个领域,迄今已为5,000多家金融企业提供了高质量金融云服务。 腾讯金融云可帮助用户有效解决业务爆发式增长下涌现的高并发数据处理、海量数据存 储、网络安全攻击等问题,其核心能力主要源自腾讯分布式数据库架构TDSQL* (在腾讯 云公有云衍生为“关系型数据库CDB”和“分布式数据库DCDB”)。作为定位于金融云服务 的数据库,TDSQL符合金融行业的严格标准,在数据强一致性、高性能、高安全性、高可 用性、高兼容性等方面表现卓越,并可部署在公有云、公有云独享物理集群、腾讯金融专 区、用户自有数据中心等多种场景中,在管理便捷性方面也独树一帜,为腾讯金融云赢得 市场认可奠定了坚实基础。为了在服务的整体性能方面更上一层楼,腾讯金融云还与在云 计算领域有着丰富经验的英特尔达成深度合作,并选择了它全新的英特尔® 至强® 可扩展 处理器、英特尔® 傲腾™ 固态盘等一系列领先产品与技术,让TDSQL性能综合提升数倍, 以更好地满足金融行业客户对于云服务效率和安全方面的严苛要求。 面临挑战 互联网金融发展需要更强技术承载: 互联网金融的蓬勃发展令传统金融行业格局发生巨 变,业务爆发式增长、高并发接入、海量数据存储使金融行业在IT层面面临艰巨挑战,这 些挑战对IT技术的承载能力提出了更高要求。 金融行业应用的特性对数据库提出严苛要求: 金融行业应用的特性,使其对数据库系统 的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的 需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。 解决方案 基于TDSQL的腾讯金融云: 腾讯云基于TDSQL为金融行业用户提供高品质云服务,其分 布式云数据库解决方案可帮助用户解决高并发、超大表、海量数据等方面的挑战,同时还能 有效降低TCO(总体拥有成本)。 英特尔® 至强® 可扩展处理器 英特尔® 傲腾™ 固态盘 公有云服务 金融云 英特尔助力腾讯云提供基于TDSQL的高效、安全金融云服务 铸就智慧金融的“芯”动力 “腾讯金融云致力于为金融行业 提供量身定制的云计算服务,其 高性能、高可用、安全合规的特 性,能帮助用户有效应对互联网 金融场景需求,实现丰富的金融 创新,打造智慧金融。TDSQL分 布式数据库架构再加上英特尔 众多先进产品与技术的支持,可 帮助我们的服务轻松满足亿万用 户的访问需求。 胡利明 总经理 腾讯金融云 案例研究

Transcript of CRP CaseStudy Tecent FinCloud CN ·...

Page 1: CRP CaseStudy Tecent FinCloud CN · 的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的 需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。

腾讯云计算(北京)有限公司*(以下简称“腾讯云”)依托腾讯* 在IT领域的深厚技术积累,

基于在金融科技领域的不懈探索与创新,推出了由全新互联网分布式架构支撑,兼具高

效、优质、安全等优势的腾讯金融云服务,赢得了众多金融行业用户的信赖。作为腾讯云

发展战略中的重要产品,腾讯金融云* 的业务范围已涵盖银行、保险、证券、互联网金融等

多个领域,迄今已为5,000多家金融企业提供了高质量金融云服务。

腾讯金融云可帮助用户有效解决业务爆发式增长下涌现的高并发数据处理、海量数据存

储、网络安全攻击等问题,其核心能力主要源自腾讯分布式数据库架构TDSQL* (在腾讯

云公有云衍生为“关系型数据库CDB”和“分布式数据库DCDB”)。作为定位于金融云服务

的数据库,TDSQL符合金融行业的严格标准,在数据强一致性、高性能、高安全性、高可

用性、高兼容性等方面表现卓越,并可部署在公有云、公有云独享物理集群、腾讯金融专

区、用户自有数据中心等多种场景中,在管理便捷性方面也独树一帜,为腾讯金融云赢得

市场认可奠定了坚实基础。为了在服务的整体性能方面更上一层楼,腾讯金融云还与在云

计算领域有着丰富经验的英特尔达成深度合作,并选择了它全新的英特尔® 至强® 可扩展

处理器、英特尔® 傲腾™ 固态盘等一系列领先产品与技术,让TDSQL性能综合提升数倍,

以更好地满足金融行业客户对于云服务效率和安全方面的严苛要求。

面临挑战

互联网金融发展需要更强技术承载:互联网金融的蓬勃发展令传统金融行业格局发生巨

变,业务爆发式增长、高并发接入、海量数据存储使金融行业在IT层面面临艰巨挑战,这

些挑战对IT技术的承载能力提出了更高要求。

金融行业应用的特性对数据库提出严苛要求:金融行业应用的特性,使其对数据库系统

的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的

需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。

解决方案

基于TDSQL的腾讯金融云:腾讯云基于TDSQL为金融行业用户提供高品质云服务,其分

布式云数据库解决方案可帮助用户解决高并发、超大表、海量数据等方面的挑战,同时还能

有效降低TCO(总体拥有成本)。

英特尔® 至强® 可扩展处理器英特尔® 傲腾™ 固态盘公有云服务金融云

英特尔助力腾讯云提供基于TDSQL的高效、安全金融云服务

铸就智慧金融的“芯”动力

“腾讯金融云致力于为金融行业

提供量身定制的云计算服务,其

高性能、高可用、安全合规的特

性,能帮助用户有效应对互联网

金融场景需求,实现丰富的金融

创新,打造智慧金融。TDSQL分

布式数据库架构再加上英特尔

众多先进产品与技术的支持,可

帮助我们的服务轻松满足亿万用

户的访问需求。”

胡利明

总经理

腾讯金融云

案例研究

Page 2: CRP CaseStudy Tecent FinCloud CN · 的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的 需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。

针对金融行业特定需求的进一步创新:为使TDSQL更好地应对金

融行业的需求,腾讯云与英特尔开展深度合作,实现了更进一步的

技术创新,例如高效分布式事务管理、腾讯强同步技术、动态在线

扩容等,它们都能显著增强TDSQL的工作效能。

成果

实现了海量交易承载能力:基于TDSQL的腾讯金融云在IT基础设

施上实现了金融行业所需的高性能、高可扩展性、高可靠性及数据

一致性,能为用户每天百亿级的海量交易提供优质承载平台。

为互联网金融创新保驾护航:基于腾讯金融云和TDSQL带来的优

质服务,快捷支付、在线理财、手机红包、交易秒杀等一系列互联网

金融创新得以安全、可靠、合规地实施。

随着互联网,尤其是移动互联网的高速发展,金融行业也在悄然发

生变化。“互联网+金融”让金融交易模式由过去的现金交易、柜台兑

汇、ATM等更多地延伸、转移到了 PC和手机上。即便是传统的金融

企业,也在积极拥抱快捷支付、手机红包、交易秒杀等一系列新生事

物。这些变化的背后,离不开强有力的IT基础设施及平台,尤其是以

云计算平台为代表的先进技术能力给予的支撑。

不过,新的模式在带来新的机会的同时,也会产生新的挑战,与传

统金融交易模式相比,“互联网+金融”面临着高并发数据处理、海量

数据存储、网络安全攻击等问题。以腾讯支付* 为例,其每日充值并

发请求超过10亿次,而某家保险业巨头在春节红包大战期间,数据

库访问需求也比平时增加约30倍。这些超出金融行业传统预期值

的数据,充分显示了移动互联网场景下金融业务的巨大爆发力。

看准互联网金融服务的无限潜力,腾讯云凭借多年技术沉淀,以

TDSQL数据库为基础,注入多项创新技术与理念,致力于为金融行

业量身定制高效、安全、合规的金融云计算服务。为助力腾讯金融云

与TDSQL发挥更高工作效率,始终游弋于云计算技术前沿的英特尔

公司,则为其提供了全新的英特尔® 至强® 可扩展处理器、英特尔®

傲腾™ 固态盘等一系列领先产品与技术,它们的应用价值,都在腾

讯金融云的实际部署和应用过程中得到了充分的体现。

用分布式云数据库满足金融业务需求

传统上,金融企业都会选择自建数据中心,以自有数据中心或私有云

的方式来实现自身业务所需的IT能力,但移动互联网大潮下各类金融

创新业务的不断涌现,需要IT基础设施具备更强的可扩展性和更大的

灵活性,因而对这种部署方式带来了极大挑战。而且,传统数据中心

部署的单机数据库、集中式存储方案在面对海量访问时也是力有不

逮,即使金融企业选择高端服务器/存储设备来缓解业务增长带来的

巨大压力,也无法彻底解决问题,并会面临更大的成本负担。

采用更为专业,专门面向金融企业业务进行定制的公有云服务,以

及采用具备强大横向扩展能力的分布式架构,是解决上述两个问题

的更优方案,特别是后者,可以通过数据多节点分片,辅以读写分

离、高可用(HA)、平滑扩容、数据分析等服务,来更好地满足金融业

务对于访问量、数据容量、扩展性等方面的需求。

&

B �q >\ ?K+aO ì��—“‚�ó &

&

>\ ?K+aO Uì���ó¨¶�]^é£ %�ZU Z ¶�-�. í �7z�� !" ∞ì CD f�ı

@E+aO UU���—“‚… �- MK( F ˙∏�" 6 à G • 89�Z ���7 ‰q ƒ 9 Uì��F—“‚

KMK( �t † �ı @E+aO H, Uì A �—“‚GH #K+ �™ ~ I ˇ�- 7 !A ¨���v �ì 7 �3 �E

��&'[V U •H T ¶� "5 ™ &

&

&

BJ q ?K+aO 7 ]^£ %�ZU Z ¶�- &

&

“R ` uv ���—“‚� ì��—“‚ KMK( ¨¶�]^ D 4 U KL ¯�. 8 M 2� kl T ‘’—“

Uˇ;¯ ` § ·Y G • N ì �¶�7t O | ¶ P9 —“� Q | ¶ KMK( ™ KMK( Ec …  é áà ¯mí & ¯

á� 'ƒƒ$( �' f §p�b–≠db => « T ”«—“‘’ Ÿ⁄ ™ %R �€��7 �; ì ; U�£ ���

�_ �S �é 6 6 à U–≠�� �6 T ` ZR ê�íIJ�≠����”«—“:; [V ™ &

图一 腾讯TDSQL分布式数据库架构

腾讯TDSQL的分布式架构为用户提供了多种能力的应用方案,例

如,可在一个集群中分配完全兼容MySQL的关系型数据库解决方

案CDB,或是具备强大水平扩展能力,性能可无限延展的分布式云

数据库DCDB,以及兼容MySQL语法的分析性数据库服务ADS等。

这几类方案可集成为一个系统,分别面向具有不同场景需求的业务

和用户群体。2.1 腾讯云分布式数据库关系线

Tencent Distributed MySQL

专有云命名TDSQL

关系型 分析型分布式从GB到TB/EB 实时数据挖掘

ETL工具

CDB DCDB AnalyticDB

正在内测解决超大并发、超大数据量的场景

图二 TDSQL可提供具备多种能力的应用方案

相对于传统关系型数据库,分布式数据库DCDB为用户提供完整

的逻辑表,底层将实际计算和存储数据的物理表进行自动水平拆

分,用户可以像使用普通数据库一样使用DCDB。DCDB有效解决

了超大表(如单表超过100GB,1亿行),高并发、高读写量和海量

数据存储问题。因此,其性能可随着分片的增多而线性增加,确保

了更强大的并发性能,更适于应对互联网金融爆发式增长与海量

数据处理需求。

案例研究 | 铸就智慧金融的“芯”动力

2

Page 3: CRP CaseStudy Tecent FinCloud CN · 的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的 需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。

2.10 更高的并发性能(并行处理Parallel Processing)

• 性能线性增加:由单个分片性能和分片数量决定• 不存在中间件性能瓶颈:所有分片都内置中间件(Proxy),均匀分担性能。• 数据库内核优化:消除开源BUG,实测比开源性能至少领先21.4%

0 2 104 6 8

物理分片个数(个)

性能和吞吐量

RAC

单机MySQL……

软、硬件性能上限

图三 腾讯TDSQL分布式数据库具备强大的并发性能

在安全容灾方面,腾讯金融云也构建了两中心-对等架构、两地三

中心、两地四中心等多种容灾架构,其同步策略便捷高效,当单个

节点发生故障时,系统可以自动进行快速切换,能在确保数据安

全性的同时保证业务不中断。

用英特尔全新计算及存储技术实现性能加速

为帮助腾讯金融云及TDSQL进一步释放应用潜力,腾讯云的重要

合作伙伴——英特尔一直致力于为其提供业内领先的数据中心产

品和技术支持,近期刚刚推出的英特尔® 至强® 可扩展处理器,以

及英特尔® 傲腾™ 固态盘均在第一时间“进驻”腾讯金融云。在实

际应用中,英特尔® 至强® 可扩展处理器高频、多核、多线程的优

势,均能充分转化为TDSQL各模块的处理速度的明显提升,例如

它集成的英特尔® 高级矢量扩展512(英特尔® AVX-512)技术输出

的强大并行计算能力,就能为分布式数据库的任务处理提供更佳

的支持,让用户能以更低的延时访问数据。英特尔® 至强® 可扩展

处理器搭配英特尔® Omni-Path架构,也能帮助TDSQL数据库系

统在内部构建端到端的高带宽、低延迟数据通道,大大缓解高并

发数据处理带来的压力。

而英特尔推出的革命性存储产品— — 基于3D XPoint技术的

英特尔® 傲腾™ 固态盘,与基于传统NAND闪存技术的固态盘

相比,无论是在吞吐性能、延迟,还是在耐用性方面都有大幅提

升,它在TDSQL数据库系统内的部署,使其存储性能实现了质的

飞跃。

来自腾讯云的实测数据表明,在一些关键技术点上的技术改进,帮助

英特尔® 至强® 金牌6142处理器相对于英特尔® 至强® E5-2670 v3

处理器,性能提升可达2倍以上,英特尔® 至强® 铂金8170处理器则

最多可输出相当于英特尔® 至强® E5-2670 v3处理器2.6倍的性能。

在另一项针对数据库读写性能的测评中,与上一代英特尔® 至强® 处

理器相比,英特尔® 至强® 可扩展处理器使写性能提高至原来的

3倍,达到109万TPS(Transactions Per Second,每秒事务

数),读性能提高至原来的4倍,达到286万QPS(Queries Per

Second,每秒查询率),整体性能提升至原来的1.7倍。“这相当于

单台服务器就可支撑起50万用户的数据读写服务。”腾讯金融云

胡利明这样描述道。

SYSBENCH TEST• Achieved 2.6x performance speedup on SKX 8170 @ 2.6GHz.

4

0200000400000600000800000100000012000001400000

50 100 200 300 500 1000queriespe

rsecond

threads

TencentTDSQLSelectPerformanceSkylake8170vsSkylake6142vsE5-2670v3

Skylake8170 Skylake6142 E5-2670v3

2.2x 2.6x

0

5000

10000

15000

20000

50 100 200 300 500 1000queriespe

rsecond

threads

TencentTDSQLSelectpercorePerformanceSkylake8170vsSkylake6142vsE5-2670v3

Skylake8170 Skylake6142 E5-2670v3

1.6x1.2x

TDSQL的select执行性能

Skylake 6142 E5-2670 v3Skylake 8170

threads

每秒查询能力

SYSBENCH TEST• Achieved 2.6x performance speedup on SKX 8170 @ 2.6GHz.

4

0200000400000600000800000100000012000001400000

50 100 200 300 500 1000queriespe

rsecond

threads

TencentTDSQLSelectPerformanceSkylake8170vsSkylake6142vsE5-2670v3

Skylake8170 Skylake6142 E5-2670v3

2.2x 2.6x

0

5000

10000

15000

20000

50 100 200 300 500 1000queriespe

rsecond

threads

TencentTDSQLSelectpercorePerformanceSkylake8170vsSkylake6142vsE5-2670v3

Skylake8170 Skylake6142 E5-2670v3

1.6x1.2x

每核心select执行性能

Skylake 6142 E5-2670 v3Skylake 8170

threads

每秒查询能力

图四 不同款英特尔® 至强® 处理器在腾讯云TDSQL环境中的性

能对比测试结果

领先软硬件融合输出四大领先优势

“与其他行业相比,金融行业对于基础数据库的要求极为苛刻,在

读写性能、数据一致性、安全性、可用性、兼容性等多个方面都有

着严格的标准。”腾讯金融云胡利明这样说道。为此,腾讯金融云

通过对TDSQL的更进一步创新,并借助领先IT基础设施技术的

支持,实现了高性能数据强一致、分布式事务支持、动态在线扩展

以及高度兼容MySQL语法四大领先优势,来提升其对于金融行业

用户的吸引力。

保持数据一致性是金融行业的核心需求,TDSQL采用腾讯强同步

技术(MAR)来执行数据强一致,这一技术令主备数据库做强同

步复制,确保每一个在主数据库上确认提交成功的事务日志,至

少被一个备数据库接收。这样一来,一旦主数据库发生故障,备数

据库就能马上根据事务日志执行完事务并自动成为主数据库,而

多余的已提交事务则会被闪回,由此确保主备数据库上的数据能

保持一致性。

3

案例研究 | 铸就智慧金融的“芯”动力

Page 4: CRP CaseStudy Tecent FinCloud CN · 的一致性、高性能、安全性、可用性、兼容性等方面有着远比其他行业更为严苛且独特的 需求,需要对传统数据库进行优化和革新,才能更好地满足这些需求。

分布式事务是指一个事务在多个数据库实例上执行。由于使用分布

式事务会导致系统TPS降低,事务提交延时增大,分布式事务处理

开销通常会比单数据库实例更大一些,但TDSQL通过技术创新,将

分布式事务完全工程化,在确保数据一致性的情况下能跨物理节点

承载分布式事务,不仅性能得以显著提高,而且还在业界率先实现

了分布式事务在金融级业务中的大规模应用。来自腾讯云的测试数

据表明,相较于MySQL开源XA(一种分布式事务协议),腾讯分布

式事务平均性能提高了58%。

图五 高性能的分布式事务处理机制

动态在线扩展可为用户提供不停服扩容的能力,帮助用户轻松支

持PB级数据应用。例如当数据库节点不足以支撑业务需要时,用

户可直接在控制台点击弹性扩展。扩容期间业务无需停服,系统

会自动迁移数据,保证每个节点数据实现均衡分布,以提高大型业

务维护效率,减少运营风险事件发生。

在兼容性方面,TDSQL高度兼容MySQL语法,支持SQL92/99/2008

等标准,即使是对于兼容性稍弱的分布式架构,也兼容MySQL的全

部语言结构、字符集、时区、数据类型,常用的DML、DDL、DCL,并

经验:

与传统关系型数据库相比,分布式数据库在海量数据处理、

超大表、大并发等方面有着更强的处理性能,且TCO更低,因

此基于分布式云数据库的TDSQL可以帮助腾讯金融云有效

应对互联网场景下金融行业爆发式增长的需求。

英特尔® 至强® 可扩展处理器、英特尔® 傲腾™ 固态盘等一系

列领先产品与技术在腾讯金融云的部署和应用中体现出了出

色的应用价值,可有效帮助其提升系统性能,优化用户体验。

提供了二级分区(对应MySQL分区表)、自增ID、分布式事务、分布式

JOIN、常用函数等众多高级特性。

现在,基于TDSQL的腾讯金融云已在众多金融领域关键业务场景

中获得广泛应用,其十余条产品线、上百个产品模块构成的业务

体系,已经实现了对金融全行业的覆盖,成为国内金融科技服务

领域举足轻重的平台之一。它不仅为微众银行*、华通银行*、金谷

农商行* 等众多重量级金融用户提供了值得信赖的金融云服务,也

支撑着腾讯旗下互联网金融服务的扩展和运营,例如腾讯的数字

业务支付平台——米大师(Midas)*,就肩负着为腾讯旗下移动应

用、PC客户端等不同场景提供一站式计费解决方案的重任,其托

管账户量已达280亿个,日流水超过150亿元人民币。该平台近10

年来都是运行在腾讯金融云上,这让它经受了海量互联网交易场

景的考验,未曾出现任何因数据库而导致的事故,帮助腾讯针对亿

万用户的互联网增值服务赢得了良好的口碑。

着眼未来,腾讯金融云还将与英特尔继续开展更为深入的技术合

作,计划将更多先进产品与技术融入到各项创新服务中去,为金融

行业用户提供更高效、更安全的金融科技保障,帮助他们为社会

大众和各行业企业提供更为优质的金融服务。

案例研究 | 铸就智慧金融的“芯”动力

英特尔技术特性和优势取决于系统配置,并可能需要支持的硬件、软件或服务才能激活。没有计算机系统是绝对安全的。更多信息,请见Intel.com,或从原始设备制造商或零售商处获得更多信息。描述

的成本降低情景均旨在在特定情况和配置中举例说明特定英特尔产品如何影响未来成本并提供成本节约。情况均不同。英特尔不保证任何成本或成本降低。

英特尔、Intel、至强、傲腾是英特尔公司在美国和或其他国家的商标。英特尔商标或商标及品牌名称资料库的全部名单请见intel.com上的商标。

*其他的名称和品牌可能是其他所有者的资产。 0118/SHA/PMG/XX/PDF 337022-001CN