美团技术沙龙第三期:O2O实时数据仓库应用和数据治理实践
收起
区别于非电商行业对大数据的需求,O2O行业数据/数据仓库的规模、复杂度、对商业决策的重要性都高若干个量级,其中数据质量、数据安全、商业智能尤为重要。
如何在业务快速增长、新业务快速涌现的条件下,紧跟业务需求、保证数据质量、快速迭代架构是一个极大的挑战。虽然都是基于开源组件搭建,但是由于业务的场景不同,发展阶段不同,各家都会面临不一样的问题,见仁见智有不同的解决方案。
本期美团技术沙龙,我们邀请到的在美团-点评、小米从业的资深技术专家,不但具备丰富的实践经验和技术功底,也乐于与大家一起探讨领域前沿技术及未来发展趋势。
美团技术沙龙由美团-点评技术团队主办,我们在
O2O 与电商专业领域,用高效的技术推动业务发展,用开放的心态使 O2O
及电商生态圈和互联网行业共同受益。每期沙龙会由美团-点评及其他互联网公司的资深技术专家来为大家做分享交流。
欢迎大家报名参加美团技术沙龙!
日程安排
时间 | 内容 |
---|---|
13:30-14:00 |
来宾签到 |
14:00-14:10 |
主持人开场 |
14:10-15:00 |
实时数据仓库解决方案 美团高级技术专家 鞠大升 |
15:00-15:50 |
小米数据工场建设实践 小米数据平台负责人 王刚 |
15:50-16:00 |
自由交流 |
16:00-16:50 |
数据平台治理实践 美团技术专家 徐章 |
16:50-17:40 |
数据权限管理方案 美团商业智能平台负责人 曹娜 |
议题简介
主题一:实时数据仓库解决方案
美团网是为消费者提供本地生活服务的O2O公司。业务发展速度快,模式复杂,有大量的实时数据运营和分析需求。为了提高运营的效率,我们基于开源的Storm,提供了美团实时数据仓库解决方案。本次分享,将会介绍美团基于实时计算平台的"RtDW直播间"产品,以及在构建实时数据仓库过程中的经验总结。
分享者:鞠大升,美团网高级技术专家。负责日志收集系统和实时计算平台的建设和优化,专注于大数据平台相关技术,在分布式系统,流式计算等领域积累了丰富的实践经验。
主题二:小米数据工场建设实践
随着业务的发展,小米各个业务产生了越来越多的数据,每个业务都面临着一系列共性的问题,包括数据的采集和存储、数据的计算和分析,可视化展现,数据ETL和挖掘、数据资源共享等。我们建设了小米数据工场,尝试打造一站式的数据平台产品,来降低各个业务数据使用的门槛,提高数据获取和处理的效率,快速实现大数据应用的各种想法。
分享者:王刚,香港科技大学计算机科学系博士,Stanford统计系访问学者,从事数据挖掘和机器学习方向的研究。1997年加入微软亚洲研究院,在搜索和计算广告领域从事用户行为数据的研究和分析,2000年加入腾讯搜搜,承担搜索排序的相关工作,2013年加入小米,任小米数据平台负责人。
主题三:数据平台治理实践
美团数据仓库从单一团队统一维护的模式,逐步演化成为各业务组自治管理的模式。在这种模式下,如何定义数据生产的可用性,如何有效提升数据的质量,如何保证数据安全,如何提升资源使用的有效性等等,都是数据平台面临的重要问题。本次分享主要介绍数据平台治理相关的若干关注点,以及美团数据平台在这些问题上的思考与实践。
分享者:徐章,美团网技术专家,负责美团网数据仓库体系建设所需的框架、工具、通用服务等的开发。专注于数据生产、查询、ETL开发、数据治理相关领域,在数据仓库领域积累了丰富经验。
主题四:数据权限管理方案
美团崇尚用数据说话,也非常重视数据的安全性,从数据生产到应用都需要对数据从数据库到字段值域粒度的权限管理。在此过程中,如何管理各个粒度数据的权限,并在安全保障机制与数据使用效率间的平衡,是我们面临的主要问题。本次分享将会介绍美团数据权限管理的整体方案,以及目前已落地实现的功能和将来规划。
分享者:曹娜,2014年加入美团,负责美团的商业智能平台的技术管理。之前先后在阿里、百度工作,一直从事数据仓库和商业智能相关工作,在元数据管理及应用、数据仓库建模、数据应用建设方面积累了丰富经验。
往期回顾