钱卫宁 华东师范⼤大学 数据科学与⼯工程学院 wnqian@dase.ecnu.edu.cn 背景 三个案例例 数据科学与⼯工程：思考与讨论 2018/10/25 2 2012.6 云计算与⼤大数据研究中⼼心 • 学术伙伴、企业赞助、访问学者 • 研究⽣生培养 2013.9 数据科学与⼯工程研究院 • 全国⾼高校第⼀一个⼤大数据研究院 • 学科交叉，应⽤用驱动创新 • 2014：完善“数据科学与⼯工程”⼆二级学科 • 着⼿手“数据科学与⼯工程”本科专业建设 2016.9 数据科学与⼯工程学院 • 2017：招收“数据科学与⼤大数据技术”专业本科⽣生 2018/10/25 3 • 1981 年年由 7 名⼯工程师在印度成⽴立 • 2014 ⾸首次由⾮非创始⼈人担任 CEO • 1999 年年纳斯达克上市 • 强调 Design Thinking • 印度第⼆二⼤大 IT 服务企业 • 强调 Open Architecture • 21 世纪⼀一度有 74% 员⼯工怠⼯工 • 强调与 Start-up 企业合作 2018/10/25 4 传统 IT 企业 IT 产业萧条 § IBMORACLEEMC 为代表 § 2007-2008 经济危机? § 卖硬件 (HARDWARE) § 斯诺登事件? § 卖软件 (SOFTWARE) § 去 IOE? § 卖服务 (SERVICE) § “甲⽅方⼄乙⽅方” ⽅方式的变⾰革 § 效率低 § 沟通成本⾼高 互联⽹网产业 AI? § 云计算 e.g. Salesforce § 开源系统 e.g. MySQL, Hadoop, ... § 免费服务 “⽺羊⽑毛出在猪身上狗来买单” § “垂直型”应⽤用 2018/10/25 5 2018/10/25 6 2018/10/25 7 2018/10/25 8 2009 年年普林林斯顿的学者在 CVPR 国际会议上发布 ImageNet 数据集 2016 年年 AlphaGo 击败李李世乭 2012 年年 Google AI “发现”猫 (ICML 2012) 2018/10/25 9 共性 • 硬件 => 软件 => 应⽤用/AI • 感知，计算，认知 • 与应⽤用紧密关联：One size fits a bunch 区别 • 数据驱动 (如果没有 ImageNet，如果没有互联⽹网...) • 垂直应⽤用 (e.g. AlphaGo + TPU) • 近 20 年年硬件发展红利利 (CPU+GPU+⼤大内存+SSD+⾼高速⽹网络) 未来 • 深度定制，“全栈” 研发 2018/10/25 10 数据爬取 热 点 分 析 传播分析 营销和⽔水军分析 2018/10/25 11 在线集群⾏行行为资源库 社交媒体⽤用户画像 企业知识图谱 Talent Network 2018/10/25 12 关键任务应⽤用互联⽹网化带来新的系统需求 • 国家信息系统“⾃自主可控、安全可靠”发展战略略要求 • 终端互联⽹网化要求系统架构从“纵向扩展”向“横向扩展”转变 • 对系统性能、可⽤用性提出较⾼高要求 内存技术发展为数据管理理系统研发创造了了条件也提出了了挑战 • 条件：内存从⼆二级存储cache变为存储的主要载体；NVM 为优化提供了了可能 • 挑战：全新的数据访问路路径；颠覆性的代价模型改变；原有硬件假设改变 华东师⼤大和交通银⾏行行的先期充分交流为研究合作提供了了保障 • ⾃自2013年年即开始合作，形成了了稳定、有效的合作机制 2018/10/25 13 2018/10/25 14 历史库应⽤用 A级应⽤用 ⼈人⺠民币冠字号应⽤用 海海量量数据 供应链⾦金金融应⽤用 全⾯面替换 IBM DB2 ⽹网联应⽤用 贷授应⽤用 互联⽹网级应⽤用 ⾼高可⽤用保障 2018/10/25 15 项目 负责人 经费来源 基于内存计算的数据管理系统研究与开发 周傲英 科技部863 集群环境下基于内存的高性能数据管理与分析 周傲英 NSFC重点项 目 大数据管理系统评测基准的理论与方法 钱卫宁 NSFC重点项 目 国家科研项⽬目⽀支持 教育部科技进步⼀一等奖 ⼈人⺠民银⾏行行“银⾏行行科技发展”⼀一等奖 2018/10/25 16 新时代“⽹网信事业” • ⽹网：互联⽹网化，互联⽹网+ • 信：信息化，信息化倒逼业务改造/业务升级 数据：新能源 • 蒸汽能 (蒸汽机) => 电能 (“电机”) => 数据能 (???) 做什什么，怎么做 • 数据科学与⼯工程：科学与⼯工程缺⼀一不不可 • “弯道超⻋车/变道超⻋车”机遇：新的“卡脖⼦子”⼯工程 • “应⽤用驱动创新”：垂直应⽤用，⼀一体多⽤用 • 开放，融合：Open Problem, Open Architecture, Open Source, Open Minded 2018/10/25 17 2018/10/25 18