Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub,...
Embed Size (px)
Transcript of Data Magic Week Grand Conference Key Note(2017.11.07, R3) · 2017-11-23 · SK Big Data Hub,...

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
Data Eco와연결의 힘
SK Telecom 종합기술원
Data Biz. Platform 개발팀
김성우 Lab장

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
Big Data Landscape Expansion
2012
2017

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
Data의 폭발적 증가
Source: Dave Evans (April, 2011) “The Internet of Things : How the Next Evolution if the Internet is Channing Everything” Source: Cisco IBSG (April, 2011)
1GB HDD: $ 1M (`80) ���� $0.1 (`10)iPad2 Power: $100M (`80) ���� $100(`10)
Connected Device 수 > 인구수50B Connected Device, 2020

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
인공지능뿐만 아니라, 심지어 옷장사 잘하기 위해서도 데이터가 필요
망해 가는 동네 옷가게도 살리는 데이터

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
진화의 방향
Big Data
1.0
Big Data
2.0
Big Data
3.0
Big Data
???
Birth
(HDFS, MapReduce,Hive, etc.)
Growth inStorage/Computing
(Hbase, Spark, Yarn, etc.)
Integration Era ofInfra & Intelligence
(SparkML, Mahout, H2O, TensorFlow, etc.)
???Connection?

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
금융 데이터
유통 데이터
통신 데이터
공공 데이터
Data is everywhere

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
데이터는 모래와 같은 것.
데이터는 어디에나 있지만,
흩어진 데이터의 가치는 낮다.
흩어진 데이터를 연결하면,
그 가치는 커진다.
Data is everywhere, but should be connected!

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
Value Progression of Data
IndividualData
IntegratedData
Mashed-upData
Value Created
Individual Integrated Mashed-up
Cross-Domain Data 분석 방법
• Multimodal Data Fusion
• Canonical Correlation Analysis
• Ensemble Model 응용
Example. CCTV에서 서로 다른 성격의 영상데이터, 소리데이터를 동일 시간대의 relationshi분석, 동영상 분석의 고도화 가능
Explain. 서로 다른 data set의 correlation값이 커지는 방향으로 모델링하는 분석 방법
Explain. 여러 모델로 가장 최적화된 모델 하나를 만들어주는 Ensemble기법을 응용하여 서로 다른 set으로 목표하는 동일한 output을 내는 각각의modeling을 한 후 하나의 최적화모델 생성

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
데이터 연결의 효과

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
사용자 데이터 연결의 효과
나의 데이터만으로알 수 있는 영역

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
사물 데이터 – 개인 데이터의 연결

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
기업 데이터 – 공공 데이터 연결의 효과: ‘따복버스’
As-Is
교통복지 사각지대 해소
사업자 의견, 민원 등 의견수렴에 따른 노선 설정
통신데이터 기반 유동인구 데이터 분석으로 과학적 노선 설정
• 맞춤형 복지 버스로, 경기도 벽오지나 산업단지, 관광지 등을 대상으로 운행• 특정 요일이나 시간대에만 운송 수요가 발생하는 지역적 특성으로 운송업체
의 정규 편성 기피• 이용자 동선을 분석, 출퇴근형, 관광형 등 패턴별 버스 운행 서비스
버스노선결정 방법
To-Be

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
미국의 사례 1: Infomediary(정보중개사업) 발달
풍부한 mobile 통신 데이터
• Usage(음성통화, 기지국 위치, 메시지, …)
• Service(App/Web, 다운로드, 쇼핑, …)
• Payment(빈도, 변동성, 미납, …)
고객 이해와 insight 분석
• 라이프스타일(사회적 활동, 여행, …)
• 취향/관심사(관심 채널, 상품, …)
• 재무 상황(지출 패턴, 소비 능력…)
…이를 통해 정보구매사는 그들의 고
객 각각의 패턴에 맞추어 관리하고
서비스를 제공할 수 있다.
또한 다시 Telco에 새로운 서비스나
가치를 제안할 수도 있다.
Telco Infomediary
Raw Data
Revenue share
보험사
방송사
은행
Analyzed Data
Revenue share
더 정확한 증권 인수와 적합한 보험상품 개발,
고객 세분화를 통한 타겟 광고
신용 예측, 사기 위험 고객 감지 등

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
미국의 사례 2: Tealium의 Universal Data Hub

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
일본의 사례: SoftBank의 익명화 Data 활용 비즈니스

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
한국 정부의 노력: 공공 데이터 포털

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
국가별 Data Regulation
산업별 규정(규제, 제도)개별 법령에서 제한하지 않는 한
자유로운 활용
GDPR (`18.05)
개인정보보호법 개정 (`17년 예정)비식별데이터의 명확한 정의
개인정보보호법가이드라인

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
SK의 공유 인프라와대한민국 데이터 생태계

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
웹의 발전
유럽입자물리연구소실험의 결과 데이터를 공유 …
대중에게 제공되는 브라우저
데이터 통합/연결 개발
3차 산업 혁명 4차 산업 혁명

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
SK Big Data Hub, 기업 데이터 개방, 활용의 시도
Big Data Hub Geovision Data

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
SK Big Data Hub, 기업 데이터 개방, 활용의 시작
Hub를 방문한Data 수요자들의 실망
Hot Data의 Open
우리 Data도 중요하지만, 같이 Open이 되어야 …

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
대한민국 데이터 생태계 형성
데이터 에코,
상생
학교
기업공공기관
사물
개인

APCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PFAPCPCWM_4828539:WP_GLOBAL_PFWP_GLOBAL_PF
END