富德生命人寿大数据案例分享 -传统企业转型大数据分析

2

议程

富德生命人寿简介 数据平台项目背景 POC内容和结果 Exadata效益分析

3

富德生命人寿公司介绍 富德生命人寿保险股份有限公司是一家全国性的专业寿险公司，成立于2002年3

月4日，总部现位于深圳。股东由深圳市富德金融投资控股有限公司、深圳市华 信投资控股有限公司等资金雄厚的企业构成。公司现注册资本117.52亿元，总资产已超2000亿元，是国内资本实力较强的寿险公司之一。 富德生命人寿建立了覆盖全国重点省市区域的营销网络和多元化服务平台，目前

共拥有35家分公司，1000多个分支机构和服务网点，超过13万人的管理和销售人员。 人寿保险、意外险、健康险和养老保险和投资理财计划。特色产品有保额分 红

产品，兼具保障与理财功能。目前，公司在售寿险产品有100多款，通过个人营销、银邮代理、电话销售、团险销售、电子商务等多个渠道，面向社会各个年龄、群体的不同客户提供全面专业的人身保障产品。

4

2014人寿公司保费收入排名 排名 公司 原保险保费收入 保户投资款新增交费 投连险独立账户新增交费

1 国寿股份 33124220.12 2513567.75 2 平安寿 17399483.13 7575198.39 252917.8 3 新华 10986826.05 156102.38 87.84 4 太保寿 9869172.92 435979.53 5 人保寿险 7871756.28 267501.75 6 泰康 6790439.35 2371020.2 52655.07 7 太平人寿 6512849.47 177061.42 1081.8 8 安邦人寿 5288755.52 901626.22 9 生命人寿 3671070.28 3237869.89 42512.52

10 中邮人寿 2195281.98 11 阳光人寿 1749357.93 866396.25 6926.71 12 建信人寿 1588916.04 194391.1 2394.79 13 人保健康 1579546.89 214553.16 14 国寿存续 1198961.06 15 合众人寿 1177607.88 744262.41 16 农银人寿 1050609.79 80125.46

保监会网站：2014年人身保险公司原保险保费收入情况表

单位：万元

5

互联网保险的典型模式

互联网渠道（主流） 以客户体验为中心的服务

互联网产品创新 互联网特征的创新产品，碎片化

产业链整合 保险不可或缺

• 交互式保险 • 移动销售 • 客户分类、精准营销，客

户个性化服务 • 社会化坐席，渠道整合 • O2O

• 运费险、众乐宝、天猫医药险

• 航班延误险、加班险 • 保险创意众筹 • UBI(Usage based

Insurance • 阳光重疾险“健康随心保” • 垂直市场个性化产品

• 养老社区 • 二手车销售平台 • 用于健康管理的

可穿戴设备 • 场景化保险

6

产品创新依赖于数据分析 保险行业正在积极探索、尝试，新产品不断出现

序号 名称 费率因素

1 赏月险 费率依赖于天气，各地天气状况出现几率不同，需要细分

2 爱情险 费率不仅仅取决社会平均离婚率，强烈依赖于客户主观因素

3 摇号险 依赖于政策，需要实时收集政府公开数据

4 运费险 依赖于淘宝分电商析的退换货频率的精确统计

5 信贷险 小额信贷依赖于客户交易行为，在淘宝上比较可控

6 农业险 依赖于天气预报的分析

7 自助共保 依赖于行业内部或者区域内的风险测算，并依赖于企业历史数据

8 医疗健康 依赖于当地医疗数据，疾病，费用，医院，社保等多种因素

7

互联网保险的IT能力

交互式营销

IT平台

基础设施

数据分析平台 数据服务平台

云计算平台

客户行为、偏好分析、实时推荐 精准营销和绩效分析

客户数据整合

产业链上下游整合

客户分类

实时推荐

风险控制 结构化和非结构化数据整合

高性能、高可靠、靠可用 端到端监控管理 资源分配、共享

客户交互平台

社会化、互联网、移动互联 客户体验指标

8

客户项目背景 IT部希望通过IT驱动业务创新，改变传统的业务需求驱动IT方式。 已招聘数学统计学专业研究生，尝试做利用R做大数据分析。 R分析人员精通统计学，对IT了解不多，更不了解Hadoop技术。 目前存在R性能问题：单机性能比较差，无法对大数据量进行挖掘，正

在考虑Hadoop平台可行性。 受限于没有第三方数据来源，停留在探索阶段 认为一体机是方向，不想继续尝试传统架构的基础设施。 生命人寿于2014年6月份，由于核心系统切换，EDW数据量翻倍，

EDW批作业时间窗口过长。

9

大数据战略 技术考虑

•首先面向企业内部数据，未来

支持非结构化数据

•数学统计学人才，精通数学，

熟悉开源R，基本不熟悉IT技术

•兼容现有Oracle数据库环境

•重用现有数据分析类软件资产

•优化现有数据架构

IT驱动业务创新

• 业务员业绩实时排名

• 客户360度视图

• 客户标签，精准营销

• 客户忠诚度分析

• 实时分析

10

大数据实施策略 渐进实施大数据分析，保留现有资产

– 兼容现有EDW技术 – 优先应用现有企业数据（结构化数据） – 兼容现有Oracle技术 – 未来支持非结构化数据分析 – 明确R作为分析工具 – 优化现有数据架构 – 多种数据挖掘算法并进

IT驱动业务创新 – 场景驱动，先做业务员评级 – 数据驱动，数据探索，客户细分

11

数据集成平台

当前的数据架构现状

操作型业务系统

核心系统

渠道应用

分析型应用平台

操作数据存储 ODS

数据仓库 EDW

报表平台

绩效考核

客户分析

数据挖掘

。。。

ETL

OGG

12

POC目标 测试目标：兼容性、高性能、高可用性、数据分析 测试内容：

– 兼容性：GoldenGate, MSTR – 性能测试：top SQL、批作业、MSTR并发、压缩率和压缩查询性能 – 高可用：节点故障、磁盘故障和网络故障 – R测试：各种算法、性能、并行

测试方式：以客户为主，亲自体验，厂家辅助

13

POC机器配置

In-D

atab

ase

Ana

lyti

cs

EDW

Oracle Advanced Analytics

Oracle Database

14

POC内容-不仅仅是性能

分类 内容 备注

兼容性 • 对现有平台对象类型、数据类型的兼容性 • 选择典型oracle 语法进行测试

性能 • 测试5个top SQL • MSTR并发查询性能测试 • 测试新数据仓库平台对存储的使用和管理能力，

以及对数据访问所带来的影响。压缩率测试 • 批次的支持（考虑异步处理，异常处理）

• Top SQL不做任何修改 • MSTR用于测试并发性能 • 压缩率和压缩后的性能 • 测试批作业性能和兼容性

高可用 • 同步工具golden gate的支持及加载效率 • 故障恢复和数据安全 • 数据同步和数据一致性

• 测试队GoldenGate兼容性和实时性 • 测试节点、网络、存储故障时，系统

可用性和恢复过程 • 测试Flashback技术，事务一致性

ORE测试

• 测试对R语言性能上的支持（内存和速度） • ORE并行处理性能测试 • 测试宽表最多字段个数

• 从Exadata获取数据 • 在Exadata上运行R，测试内容根据

ORE特性调整 • 在数据库端并发执行R • 对各种算法支持的测试

15

不仅仅关注模型、性能… 完备的软硬件生态环境

混合负载

数据备份/双活实时灾备/闪回

敏捷数据挖掘

大数据支持能力

统一技术技能，人员储备

数据安全，用户控制，数据漂白

端到端的一体化管理

快速升级

数据模型 高性能

云计算，资源功能和横向扩展

16

测试-TOP SQL

SQL类型(查询) 当前系统（s） Exadata(s) 提升倍数

SQL1 99 2 50

SQL2 761 10 76

SQL3 333 8 41

SQL4 597 4 159

SQL5 3250 3 1083

17

TOP SQL资源监控(1/3) – 全方位资源管理

18

TOP SQL资源监控(2/3)

19

TOP SQL资源监控(3/3)

20

批作业

序号 批次名称 原系统时间(s) Exadata(s) 提升倍数

1 sp_fetl_uw_apply_underwriting 8880

144 61

2 sp_fetl_policy_surr 2700 6.3 429

3 sp_fetl_product_analysis 1440

10.5 137

4 sp_fetl_vf_policyfee 840 80 10.5

5 sp_fetl_survival_due 600 5 120

21

压缩测试(1/2)-多种压缩类型选择

表名 行数 未压缩(M) 压缩类型 压缩后(M) 压缩比

F_PLYGPYPREM 320236089 32673

For oltp (支持update) 14970

2.2

For query 4725 6.9

For archive 2773 11.8

I_FIN_INTERNAL_CARRYOVER_COST 98854350 18689

For oltp (支持update) 11780

1.6

For query 2058 9.1

For archive 1818 10.3

I_UW_APPLY_INFO 33034212 8834

For oltp (支持update) 5245

1.7

For query 1202 7.3 For archive 1292 6.8

22

序号 压缩类型 SQL 压缩前（s） 压缩后(s) 提升比例

1 For oltp SELECT COUNT(*) FROM SINODWH.F_PLYGPYPREM

8 3 2.7

2 For query SELECT COUNT(*) FROM SINODWH.F_PLYGPYPREM

8 1 8

3 For archive SELECT COUNT(*) FROM SINODWH.F_PLYGPYPREM

8 1 8

压缩测试(2/2)-压缩能提高性能

23

R测试

将R请求转为SQL请求数据库执行

R引擎 R包

ORE包

R客户端

1 User tables

Oracle Database

SQL请求

结果

数据库端的计算引擎

2 R 引擎 R包

ORE包

服务器端的R执行

R

Results

3

?x R

系统部署

Exadata包含企业版Oracle Database+OAA

24

R测试 测试项目 测试结果 备注

三台服务R客户端并发的从Exadata获取数据，并在R上进行分析

支持并发数据访问 这是传统R的做法，通过JDBC,ODBC，ROracle等获取数据，和OAA无关

单个R客户端并发请求Exadata进行分析，利用Exadata机器内存进行分析

支持，分析过程发生在数据库服务器上

这是OAA的特性， 充分利用Exadata的硬件资源

R客户端并发请求服务器基于表数据进行分析

验证Oracle挖掘算法，数据库来源于库表，全部通过

这是OAA的特性，完全基于Oracle表进行分析，避免数据抽取和转移

广义线性回归/glm算法测试 支持，自带两种算法，基于数据表

Oracle提供个性化算法，基于数据库表进行分析

决策树/ 随机森林

支持，自带算法，基于数据表

Oracle提供个性化算法，基于数据库表进行分析

25

全面的大数据平台

核心系统

客户洞察 精准营销 交叉销售 风险预测 舆情监控 理赔反欺诈

利用OAA建设大数据分析平台

数据源 社交媒体

资金系统

销售管理

财务系统 ECIF 人力

资源 流程引擎

投资系统

电销系统

费率测算

存储平台

业务场景

网销系统

大数据分析平台 （结构化、半结构化、文本、语音分析等）

分析平台

26

测试OAA多种算法 数据探查和可视化

– Summary & Descriptive Statistics – Histograms, scatter plots, box plots, bar charts – R graphics: 3-D plots, link plots, special R graph types – Cross tabulations – Tests for Correlations (t-test, Pearson’s, ANOVA) – Selected Base SAS equivalents

数据选择，贮备和转换 – Joins, Tables, Views, Data Selection, Data Filter, SQL time windows,

Multiple schemas – Sampling techniques – Re-coding, Missing values – Aggregations – Spatial data – SQL Patterns – R to SQL transparency and push down

分类模型 – Logistic Regression (GLM) – Naive Bayes – Decision Trees – Support Vector Machines (SVM) – Neural Networks (NNs)

回归模型 – Multiple Regression (GLM) – Support Vector Machines

-丰富的数据库数据挖掘算法和统计功能 • 聚集

– Hierarchical K-means – Orthogonal Partitioning – Expectation Maximization

• 异常值监测 – Special case Support Vector Machine (1-Class SVM)

• 关联分析 – A Priori algorithm

• 属性选择和降维技术 – Attribute Importance (Minimum Description Length) – Principal Components Analysis (PCA) – Non-negative Matrix Factorization – Singular Vector Decomposition

• 文本挖局 – Most OAA algorithms support unstructured data (i.e. customer

comments, email, abstracts, etc.)

• 交易数据挖掘 – Most OAA algorithms support transactional data (i.e. purchase

transactions, repeated measures over time)

• 支持R开源包 – Broad range of R CRAN packages can be run as part of

database process via R to SQL transparency and/or via Embedded R mode

* included in every Oracle Database

27

模型类别 常用算法 应用于

分类

Logistic Regression (GLM) Decision Trees Naïve Bayes Support Vector Machine

经典统计技术 应用于各种数据和文本

回归 Multiple Regression (GLM) Support Vector Machine

经典统计技术 应用于各种数据和文本

异常检测 One Class SVM 反欺诈

属性重要性 Minimum Description Length (MDL) 属性规约 / 识别有用的数据 / 减少数据噪音

关联规则 Apriori 购物篮分析 / 关联分析

聚类 Hierarchical K-Means Hierarchical O-Cluster

产品分类 / 文本挖掘 / 基因和蛋白分析

特征抽取 NMF

文本分析 / 特性过滤

数据挖掘中常用的数学模型及算法

28

Oracle 企业版

尝试多种访问工具

Oracle高级分析工具 原生SQL挖掘/分析功能 + 高性能

集成R支持可伸缩，分布式，并发执行

OBIEE

SQL Developer

Applications

R Client

29

内嵌在数据库中挖掘算法和开源R算法 多种语言：R,SQL, PL/SQL，BIEE(展现结

果) 可伸缩的并发挖掘 和数据库集成，避免数据抽取和转换 运行在数据库服务器之上，充分利用数据库

硬件能力，实现R并发执行，性能更高 简化分析过程，使得分析人员专注于挖掘算

法，忽略技术细节

关键特性

OAA的优势 更快支持企业数据挖掘和预测

30

OAA最佳实践

1. 从业务场景开始

2. 不移动数据

3. 组织正确数据

4. 逐渐增加变量 5. 多算法综合应用

6. 快速应用于生产

7. 企业自动部署

31

Exadata附加服务

• 安排ORACLE 一体机安装、使用和管理的培训 • 安排一体机性能调优的培训 • 安排OAA软件的开发培训、新功能培训、性能调优培训 • 安排数据仓库的新功能培训 • 数据迁移过程中的现场技术支持（包含OGG） • 数据迁移完成后的性能调优（包含OGG） • Oracle Linux系统管理、调优、故障处理培训 • EM监控的培训、安装、配置 • 一体机的备份/恢复培训

完善的服务支持：操作系统、数据库、备份、硬件、监控管理、数据挖掘

32

选择Exadata原因和收益 原因 收益

• Infiniband交换机、智能存储、大容量flash card能

够有效解决I/O瓶颈，但不仅仅是性能

• OAA使得可以基于Oracle表进行数据分析和挖掘，

提高分析挖掘开发效率，并重用硬件资源

• 保护现有投资，现有大量Oracle存储过程用于数据

抽取，能够完全重用，避免重复开发或者迁移

• 对Oracle数据库比较熟悉，希望新平台应该具有

Oracle所具有特性，例如Oracle语法，备份和恢复，

GoldenGate实时同步，闪回技术等。

• OEM提供便利的性能监控、优化和云管理平台

• Oracle提供大量培训和实时支持服务，能够帮助公

司在技术和管理方面再上一个台阶

• 未来有OLAP和OLTP的混合负载需求，基于ODS做

实时分析，Exadata是唯一能够支持混合负载的平台

• 业务部门认可：实时业绩排名、客户分类和标签

• 高性能

• 重用现有批作业，支持GoldenGate和MSTR，保护现有投资

• 实施周期短，快速支持创新业务投入使用

• OAA降低数据分析的技术门槛，支持用户快速进行数据挖掘，

实现业务创新，避免数据抽取和转移，重用了硬件平台

• 建立完善的软硬件生态环境，重用现有资产

• 简化管理，提升Exadata/Oracle/Linux运维能力

• 优化企业内部数据架构

• 未来进一步拓宽数据来源，从非结构化数据提中取有价值信

息，转移到Exadata中做深度分析

• 未来进一步实时报表分析

33

数据集成平台

优化的数据架构

大数据系统

操作型业务系统

核心系统

渠道应用

分析型应用平台

操作数据存储 ODS

数据仓库 EDW

报表平台

绩效考核

客户分析

数据挖掘

Hadoop

NoSQL Database

。。。

大数据 来源

ETL

外部表 外部表 外部表

OAA

34

总结 分析工具选择尽可能简单易用，不引入过多技术复杂性，而数据平台选

用必须能够大大简化分析技能 大数据分析不是纯粹IT，更多是统计学，技术选择应尽可能降低门槛 寻找适合自己的大数据切入点，非必需非结构化数据 大数据强调分析，而非数据存储平台 不是只有数据量大才是大数据分析 大数据平台建设应兼容现有环境 深度挖掘还是需要结构化分析 场景驱动和数据驱动并存 大数据分析是长期积累的过程，不断试错过程

35