빅 데이터 시대, 성공 Biz를 위한 실효적 대안
Big Data Solution Forum
/ ㈜와이즈넛 강용성 상무
Content
1. Understanding Big Data
2. Big Data Analytics ?
3. 세계적 기업 현황
4. 성공 Biz를 위한 실효적 대안
1.1 Big Data 배경
데이터의 폭발적인 증가는 산업전분야에 걸쳐 새로운 경영전략의 수립을 필요하게 하고 있습니다. 이런 데이
터를 기반으로 현재에 대한 인사이트와 미래에 대한 예측을 경영에 반영하고자 하는 시도가 생기고 있습니다.
User Generated
Content
BIG DATA
Social Network
Mobile Web
Sentiment
User Click Stream
External
Web logs
WEB
Offer history
CRM
Segmentation
Offer details
ERP
Puchase detail
Puchase record
Payment record
Customer Touches
Support Contacts
A/B testing
Demographics
Dynamic pricing
Business Data Feeds
Affiliate Networks
HD Video
Search marketing
Speech to Text
Behavioral Targeting
Product/Service Logs
Dynamic Funnels
SMS / MMS
Increasing data variety and complexity
Copyright ⓒ WISEnut, Inc., All rights Reserved.
Source : Teradata
1.2 Big Data Characteristics
컴퓨터 한 대로 처리하기에는 너무 큰 데이터 – 존 루서, 2012
조직의 IT 역량을 초과하는 고해상, 고빈도의 다양한 데이터 – SAS, 2012
일반적인 DB SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 – Mckinsey, 2011
5 million
12 terabytes
trade events
per second
of Tweets
create daily
100’s
Of video feeds from
surveillance cameras
Documents
Transactional Data
Smart Gride
Images
Audio
Text
Video
Source : Gartner Group, March 2011
Copyright ⓒ WISEnut, Inc., All rights Reserved.
1.3 Big Data is ..
“Big Data has arrived at Seton
“At the World Economic
Health Care Family, fortunately
accompanied by an
analytics tool that will help
deal with the complexity of
more than two million
patient contacts a year…”
Forum last month in Davos,
Switzerland, Big Data was a
marquee topic. A report by the
forum, “Big Data, Big Impact,”
declared data a new class of
economic asset, like
currency or gold.
“Increasingly, businesses are
applying analytics to social
media such as Facebook and
Twitter, as well as to product
review websites, to try to
“understand where customers are,
what makes them tick and what
they want”, says Deepak Advani,
who heads IBM’s predictive
analytics group.”
“Companies are being
inundated with data—from
information on customer-buying
habits to supply-chain efficiency.
But many managers struggle to
make sense of the numbers.”
“Data is the new oil.”
Clive Humby
“…now Watson is being put to
work digesting millions of
pages of research,
incorporating the best clinical
practices and monitoring the
outcomes to assist physicians in
treating cancer patients.”
The Oscar Senti-meter — a tool
developed by the L.A. Times, IBM
and the USC Annenberg
Innovation Lab — analyzes
opinions about the Academy
Awards race shared in millions
of public messages on Twitter.”
1.4 Big Data, Big Challenges!
▼ Source : 빅데이터 시대의 데이터 자원 확보와 품질 관리 방안 (한국정보화진흥원)
생성
주체별
유형별
저장
방식별
컴퓨터
사람
서버로그(웹사이트, 게임 등)
센서 데이터(날씨), 이미지, 비디오
정형
DB에 저장된 구조적 데이터
관계
트위터, 블로그, 이메일,
사진, 게시판 글 등
반정형
비정형
웹문서, 메타데이터, 센서데이터,
공정상세데이터, CDR
3V 데이터
기업 데이터
관계형 DB에 저장하기 어려
운 3V 특성을 갖는 데이터
CRM, ERP, DW, MDM 등 관
계형 DB
페이스북,
링크드인
소셜데이터, 문서,
이미지, 오디오, 비디오
이산 데이터
파일데이터베이스, 이메일,
JSON/XML 등
1.5 Big Data 활용 성공확률 15%? 그렇다면..
Gatner는 Fortune 500대 기업 중 85%가 빅데이터 활용에 실패할 것이라는 비관적 전망 제시. 빅데이터를
기술자체로만 보는 것이 아닌 빅데이터를 통해 무엇을 얻을 것인지에 대한 지속가능한 전략적 판단 필요
• 데이터 자원 확보
- 모바일, 스마트 기기,
SNS, M2M센서,
로그데이터 통합 등
• 서비스/BM발굴
- 방송통신,금융,교육 등
전문인력
•
•
•
•
Analytic Strategist
Data Scientist
Analyst
IT Engineer
데이터
자원
생산
/ 축적
기업경쟁력
핵심요소
기업의
지속가능한
성장
기술
(툴/플랫폼)
•
•
•
•
활용
클라우드 컴퓨팅
데이터 저장, 관리 기술
분산 데이터 처리
지능화 처리 기술
(예측 모델링 등)
Copyright ⓒ WISEnut, Inc., All rights Reserved.
자원화
2.1 Big Data Analytics
본 품목의 개념은 빅데이터의 분석을 위해서 정형데이터와 비정형데이터를 처리할 수 있는 프레임 워크를
의미합니다.
소스
수집
저장
정형 데이터 (15%)
처리
분석
레포트
비정형 데이터 (85%)
SAS
SPSS
레볼류션R
Data
Mining
DW
Text
Mining
검색
빅데이터 분석
[ IDC, About 85% of Enterprise Data is unstructured ]
Copyright ⓒ WISEnut, Inc., All rights Reserved.
2.2 THE COMPLETE ‘Big Data’ VALUE CHAIN (빅데이터 처리 과정)
영역
레포트
진행과정
• Visualization
• Acquisition
• 데이터 도표 및 그래프
• 데이터 재해석 및 구현
• NLP
• Machine Learning
• Serialization
• 자연어 처리
• 기계학습을 통한 데이터 패턴발견
• 데이터간의 순서화
처리
• MapReduce
• Processing
• 데이터의 추출
• 다중업무 처리
저장
• NoSQL DB
• Storage
• Servers
• 비정형 데이터 관리
• 빅데이터 저장
• 초경량 서버
수집
• 크롤링
• ETL
• 검색엔진 로봇을 이용 데이터 수집
• 소스데이터의 추출,전송,변환,적재
소스
• 내부 데이터
• 외부 데이터
• Database
• File Management
• File, Multimend
분석
2.3 빅데이터 분석 사례(1)_월마트 소비자 행동 패턴분석
월마트, 소셜미디어 회사 코스믹스(Kosmix) 인수
트위터의 트윗, 페이스북의 Feed 등을 해석하여 인물, 사건, 장소, 제품, 조직 등의 관계 분석
source : www.walmartlabs.com/social-genome
효과
변화하는 소비자의 패턴을 분석하여 적재적소에 필요한 물품을 빠르게 제공함으로써, 불필요한 재고
낭비 방지, 고객이 원하는 물품을 충분히 공급할 수 있기 때문에 점포당 고객 만족도 향상
Copyright ⓒ WISEnut, Inc., All rights Reserved.
2.4 빅데이터 분석 사례(2)_미국 신시내티 동물원
공공 보조금이 줄면서 관람객을 늘리고, 식음료 유통 판매 향상 모색으로 6개월에 걸쳐 관람객을 대상 조사
6개월 동안 동물원을 방문한 13,000명 이상의 관람객이 입장료 외에는 돈을 쓰지 않음을 발견
효과
입장객과 식음료 판매 데이터를 분석하여 여름 기간동안 하루가 끝날 무렵 아이스크림 가판대를 추가
로 몇 시간 더 열어둠으로써 아이스크림을 하루에 2,000달러 이상 판매. (3개월 뒤 ROI 100% 수익)
Copyright ⓒ WISEnut, Inc., All rights Reserved.
3.1 Big Data Market
Big Data 시장은 2015년 $170억 시장 (연평균 40%) 서앙할 것으로 예상됩니다.
source : IDC, world wide Big Data Technology and services 2012-2015 Forecast
서비스 시장
기술시장
$Mn
10417
10,000
7795
8,000
5857
6,000
6501
4161
5146
4,000
2,000
2773
3871
2681
1982
1993
1235
2010
2011
2012(E)
2013(E)
Copyright ⓒ WISEnut, Inc., All rights Reserved.
2014(E)
2015(E)
3.2 Big Data - Global Vendor
3.3 세계적 기업의 현황
빅데이터는 경영전략의 중요이슈로 부각되고 있고, 각 IT 업체들은 이러한 경영환경을 지원하기 위한 기술적
기반확보에 총력을 기울이고 있습니다.
빅데이터 선도기업들은
테이터, 솔루션을 장악하고
주도권을 더욱 공고히하고 있음
경영에 빅데이터 활용
빅데이터 비즈니스 전개
(IT 산업 중심)
페이스북 구글
애플
아마존
빅데이터 솔루션 기업
다른 거대 IT기업들도 속속
빅데이터 비즈니스에
진입 중
Copyright ⓒ WISEnut, Inc., All rights Reserved.
빅데이터 활용 선진기업들은
각 영역의 빅데이터를 축적하고
활용 방안을 다양화 하고 있음
3.4 지원의 필요성
Oracle, SAS, IBM, HP 등 세계적인 기업들은 빅데이터의 환경에 대응하기 위하여 적극적인 M&A를 통하
여 HW, SW 기술확보를 진행하고 있습니다. 국내에서 이런 세계적인 투자에 대응하기 위한 지원이 필요함
•전세계 시장의 70% 점유율을 가진 검색엔진 최대업체
•제품라인업을 Power, Promote, Protect 로 나누어 검색,분석기술분야 뿐
아니라 40여종의 소프트웨어를 유통하는 종합소프트웨어회사로 성장
•매출규모 2011년 기준 1.1조원
USD $12 B
Search
Technology
USD $1.07 B
USD $1.2 B
•Fast Search 노르웨이 오슬로 본사
•미국의 베스트바이에 검색엔진을 공급하면서 미
국 내 입지를 확보하여 세계 2위 검색엔진 업체로
성장.
•인수전 2006년 1억 6천만 달러 매출 (2003년
대비 4배 성장)
•인수후 : Share Point 의 검색엔진으로 적용.
•엔데카는 SAP, 인텔 등으로부터 약 6천500만달러의 투자금을 유치해 2007년 영업.
•이후 매년 1억800만달러의 매출 실현
•제품군 : 검색엔진(Guided Search) , 비정형 데이터를 관리(MDEX엔진), e커머스 플랫폼(인프론트), 분석 서비스(엔데카 래티튜
드)
Copyright ⓒ WISEnut, Inc., All rights Reserved.
4.1 성공 Biz를 위한 실효적 대안 “CyValue” for Big Data Alliance
Marketing
• Cross-selling
• Customer
micro
segmentation
• Sentiment
Merchandising
• Assortment
optimization
• pricing
optimization
• placement
analysis
and design
• In-store
optimization
behavior
analysis
Operations
• Performance
transparency
Supply chain
• Inventory
management
Innovation
• Refine and
package data
• Protect &
anonymize
data
• Labor inputs
• Distribution
optimization
and logistics
experimentatio
optimization
n through
regulator and
enablers
user policies
• Informing
supplier
negotiations
• Enable
Governance
• Enforce
• Build trust
basis
4.2
1-1
Big Data Solution Forum (
)
빅데이터 솔루션 포럼은 2012년 3월, 와이즈넛 , 투비소프트, 야인소프트가 최근 이슈가 되고 있는 빅데이터
분야에 대응하기 위한 한국 기술업체의 연합체 입니다. 최초 6개사로 포럼을 운영하였으나 2012.10 기준,
정회원 8개사로 확대 되었고, 앞으로 1~2개의 업체가 참여예정으로 있습니다.
비정형 데이터 검색, 수집 및
Text Mining
와이즈넛
BUX기반의
Visualization
RIA 기반의
UX Components
데이터품질관리
& DB 성능튜닝
투비소프트
야인소프트
한국
키스코
In-Memory 기반
의 OLAP
큐브리드
비투엔
컨설팅
클라우다인
하둡 개발 및 컨설팅
이노룰스
BRMS (Business Rule
Management System) & R
Copyright ⓒ WISEnut, Inc., All rights Reserved.
오픈소스 기반의
DBMS, 서비스 제공
4.3 Big Data Market 접근 방안
본 품목은 전세계적인 이슈가 되고 있는 빅데이터 환경에 대응하기 위한 프레임워크를 개발하는 것을 목적으
로 합니다.
소비자 산업
금융 서비스
Business Intelligent
Market
Data Layer
Collection Layer
제조
빅데이터 통합검색
전자상거래
빅 로그 분석
Unified Searcher LAE
UX Layer
Analysis Layer
공공부문
의료
통신
감성분석
Analysis Result Visualization
Wise Query
LAE
Indexer
Index Data
DB
Bridge
Web
Bridge
Text Mining
Data Mining
Analysis Data
Document Data
SNS
Bridge
E-mail
Bridge
File
Bridge
Manager
System
Log
Bridge
HDFS
Source
Layer
Big Data
Database
WebPage
SNS
E-mail
File & Folder
Copyright ⓒ WISEnut, Inc., All rights Reserved.
Log
Document
Data
4.4
1-1
Powered by CyValue
CyValue Alliance는 기술 네트워크 연합체 입니다. Alliance 내부에 속해 있는 각 업체의 기술들의 다양한 조
합에 따라서 다양한 형태의 빅데이터 수요에 대응할 수 있습니다.
WISEnut MIF
Marketing
Intelligence
M2M
Intelligence
와이즈넛
투비소프트
야인소프트
큐브리드
연구소
비투앤
이노룰스
한국키스코
클라우다인
대학교
Copyright ⓒ WISEnut, Inc., All rights Reserved.
Create Your Value!
Thank You.
㈜와이즈넛