Download - Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

Transcript
Page 1: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

Data Eco와연결의 힘

SK Telecom 종합기술원

Data Biz. Platform 개발팀

김성우 Lab장

Page 2: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

Big Data Landscape Expansion

2012

2017

Page 3: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

Data의 폭발적 증가

Source: Dave Evans (April, 2011) “The Internet of Things : How the Next Evolution if the Internet is Channing Everything” Source: Cisco IBSG (April, 2011)

1GB HDD: $ 1M (`80) ���� $0.1 (`10)iPad2 Power: $100M (`80) ���� $100(`10)

Connected Device 수 > 인구수50B Connected Device, 2020

Page 4: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

인공지능뿐만 아니라, 심지어 옷장사 잘하기 위해서도 데이터가 필요

망해 가는 동네 옷가게도 살리는 데이터

Page 5: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

진화의 방향

Big Data

1.0

Big Data

2.0

Big Data

3.0

Big Data

???

Birth

(HDFS, MapReduce,Hive, etc.)

Growth inStorage/Computing

(Hbase, Spark, Yarn, etc.)

Integration Era ofInfra & Intelligence

(SparkML, Mahout, H2O, TensorFlow, etc.)

???Connection?

Page 6: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

금융 데이터

유통 데이터

통신 데이터

공공 데이터

Data is everywhere

Page 7: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

데이터는 모래와 같은 것.

데이터는 어디에나 있지만,

흩어진 데이터의 가치는 낮다.

흩어진 데이터를 연결하면,

그 가치는 커진다.

Data is everywhere, but should be connected!

Page 8: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

Value Progression of Data

IndividualData

IntegratedData

Mashed-upData

Value Created

Individual Integrated Mashed-up

Cross-Domain Data 분석 방법

• Multimodal Data Fusion

• Canonical Correlation Analysis

• Ensemble Model 응용

Example. CCTV에서 서로 다른 성격의 영상데이터, 소리데이터를 동일 시간대의 relationshi분석, 동영상 분석의 고도화 가능

Explain. 서로 다른 data set의 correlation값이 커지는 방향으로 모델링하는 분석 방법

Explain. 여러 모델로 가장 최적화된 모델 하나를 만들어주는 Ensemble기법을 응용하여 서로 다른 set으로 목표하는 동일한 output을 내는 각각의modeling을 한 후 하나의 최적화모델 생성

Page 9: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

데이터 연결의 효과

Page 10: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

사용자 데이터 연결의 효과

나의 데이터만으로알 수 있는 영역

Page 11: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

사물 데이터 – 개인 데이터의 연결

Page 12: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

기업 데이터 – 공공 데이터 연결의 효과: ‘따복버스’

As-Is

교통복지 사각지대 해소

사업자 의견, 민원 등 의견수렴에 따른 노선 설정

통신데이터 기반 유동인구 데이터 분석으로 과학적 노선 설정

• 맞춤형 복지 버스로, 경기도 벽오지나 산업단지, 관광지 등을 대상으로 운행• 특정 요일이나 시간대에만 운송 수요가 발생하는 지역적 특성으로 운송업체

의 정규 편성 기피• 이용자 동선을 분석, 출퇴근형, 관광형 등 패턴별 버스 운행 서비스

버스노선결정 방법

To-Be

Page 13: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

미국의 사례 1: Infomediary(정보중개사업) 발달

풍부한 mobile 통신 데이터

• Usage(음성통화, 기지국 위치, 메시지, …)

• Service(App/Web, 다운로드, 쇼핑, …)

• Payment(빈도, 변동성, 미납, …)

고객 이해와 insight 분석

• 라이프스타일(사회적 활동, 여행, …)

• 취향/관심사(관심 채널, 상품, …)

• 재무 상황(지출 패턴, 소비 능력…)

…이를 통해 정보구매사는 그들의 고

객 각각의 패턴에 맞추어 관리하고

서비스를 제공할 수 있다.

또한 다시 Telco에 새로운 서비스나

가치를 제안할 수도 있다.

Telco Infomediary

Raw Data

Revenue share

보험사

방송사

은행

Analyzed Data

Revenue share

더 정확한 증권 인수와 적합한 보험상품 개발,

고객 세분화를 통한 타겟 광고

신용 예측, 사기 위험 고객 감지 등

Page 14: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

미국의 사례 2: Tealium의 Universal Data Hub

Page 15: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

일본의 사례: SoftBank의 익명화 Data 활용 비즈니스

Page 16: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

한국 정부의 노력: 공공 데이터 포털

Page 17: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

국가별 Data Regulation

산업별 규정(규제, 제도)개별 법령에서 제한하지 않는 한

자유로운 활용

GDPR (`18.05)

개인정보보호법 개정 (`17년 예정)비식별데이터의 명확한 정의

개인정보보호법가이드라인

Page 18: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

SK의 공유 인프라와대한민국 데이터 생태계

Page 19: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

웹의 발전

유럽입자물리연구소실험의 결과 데이터를 공유 …

대중에게 제공되는 브라우저

데이터 통합/연결 개발

3차 산업 혁명 4차 산업 혁명

Page 20: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

SK Big Data Hub, 기업 데이터 개방, 활용의 시도

Big Data Hub Geovision Data

Page 21: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

SK Big Data Hub, 기업 데이터 개방, 활용의 시작

Hub를 방문한Data 수요자들의 실망

Hot Data의 Open

우리 Data도 중요하지만, 같이 Open이 되어야 …

Page 22: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

대한민국 데이터 생태계 형성

데이터 에코,

상생

학교

기업공공기관

사물

개인

Page 23: Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub, 기업데이터개방, ... Microsoft PowerPoint - Data Magic Week Grand Conference Key

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF

END