您查看的活动已结束

1、Hadoop社区与技术RoadMap 10:00-10:20

分享嘉宾：腾讯- 堵俊平，Cloudera-谭望达

内容简介：自2006年诞生时起，Hadoop技术与社区已走过了13个年头，经历了大数据技术高速发展的，Hadoop也迎来了3.x的时代。在这个新的时期，有哪些方向值得关注，Hadoop技术社区又走向何方。本次分享将为你揭晓大数据Hadoop技术与社区发展的Roadmap.

2、Ozone： Hadoop原生对象存储探秘 10:20-10:50

分享嘉宾：腾讯-陈怡

内容简介：Ozone是由Hadoop社区新发起的一个强一致性分布式对象存储服务。Ozone 拥有和HDFS一样的可靠性，一致性和可用性，支持S3 接口，不仅适用于on-premise 大数据环境，同时也是大数据上云，云端存储的一个很好的选择。本次分享介绍Ozone的构架，和将要发布的0.5版本的新特性。

3、YARN3.x in Alibaba 10:55-11:25

分享嘉宾：阿里—杨弢

内容简介：阿里集团内部Hadoop生态的基本情况和YARN3.x上线新特性的应用场景与效果，分享阿里在调度、抢占、资源超卖、作业诊断、在离线混部等方面做出的一些改进和探索，介绍Flink基于YARN特性实现的功能及其应用场景

4、滴滴-HDFS的实践经验 11:30-12:00

分享嘉宾：滴滴-费辉

内容简介：滴滴出行作为一家卓越的一站式的移动出行平台，随着滴滴的业务迅猛发展，滴滴的数据规模也是飞快的增长，这对大数据的存储提出了很高的挑战，本次分享内容主要介绍在面对诸多挑战的背景下，我们是如何思考和解决的，HDFS的架构是如何演进的

5、Hadoop Submarine: 跨平台的一站式机器学习平台 13:30-14:10

分享嘉宾：Cloudera—汤占坤

内容简介：机器学习系统是一个涵盖了数据处理、特征工程、交互式算法开发和调试、模型训练、在线服务、模型管理等的复杂软件。

Hadoop社区发起的Submarine 项目的目标是围绕Notebook 的交互式方式完成上述主要过程，让开发者无需关心复杂的底层基础设施（Docker、YARN、K8s或者混合部署环境），像在本地一样方便的使用。且在这个过程中提供极简易用的用户体验。在该演讲中，我们会介绍Submarine这个项目的现状，并通过演示来加深你的了解。

6、Hadoop 在小米的演进及优化

分享嘉宾：小米—张晨、周康

内容简介： Hadoop 在小米的使用现状， HDFS 扩展性优化和性能优化，Yarn 在平台化过程中遇到的一些问题及解决思路

7、YARN关键定制@Bytedance 14:50-15:20

分享嘉宾：字节跳动-李亚坤

内容简介：主要介绍在字节跳动的大规模集群场景下对YARN进行的定制优化, 包括利用率提升/稳定性及用户体验提升/流式场景优化/模型训练场景优化等一系列关键定制工作。

8、YuniKorn - 可适配YARN和Kubernetes的新一代轻量级资源调度器 15:40-16:10

分享嘉宾：Cloudera-杨巍威

内容简介：YuniKorn是一个经过全新设计的轻量级的分布式系统资源调度器，能够比较容易的集成到YARN或者Kubernetes里面，以承担资源调度的职责。为了讲调度器本身与资源管理平台(如YARN和Kubernetes)解耦，YuniKorn抽象了一层通用的调度器协议接口；而调度核心算法封装在yunikorn-core组件中，实现了经典的层级调度队列，公平调度，弹性的容量管控以及细粒度的强占等特性；yunikorn-core通过寄宿在资源管理平台上的shim层来获得请求的更新，派发调度的决策，而所有的沟通都是使用scheduler-interface。这样，yunikorn-core中没有任何与特定平台相关的语言，可以轻松的与各类平台集成。YuniKorn的诞生是为了解决通用的调度问题，其中既包含离线批处理任务，也包含在线长运行的任务。通过将各类型任务调度到同一平台，以解决资源利用率不足以及管理低效等问题。除此以外，YuniKorn还提供了用于显示集群资源信息，作业信息以及队列信息的统一视图web UI。

9、美团点评HDFS集群演进和性能优化 16:15-16:45

分享嘉宾：美团-贺小桥

内容简介：美团点评HDFS集群的演进过程，美团点评HDFS集群性能优化；

10、YARN在京东的脱变 - 兼顾性能与成本的资源管家 16:50-17:20

分享嘉宾：京东-季万强

内容简介：揭秘京东YARN集群规模、对YARN的改进、自研调度器、超分与驱逐、强化版的资源隔离、APM管家（志民系统）、未来规划

11、腾讯大规模YARN集群实践 17:25-17:55

分享嘉宾：腾讯—龚军、陈东东

内容简介：腾讯的Hadoop集群在2014年就已经支持单集群8800台上的规模规模，每日调度上亿container。本次主要介绍我们对YARN的定制和优化.

- YARN调度器性能优化

- YARN多资源纬度管理，包括cpu、内存、网络io、磁盘io，介绍如何使用cgroup对底层资源进行弹性控制，确保业务的请求资源可以得到保障，同时在有空闲资源的情况下，可以临时借用更多的资源，以此来提高底层资源利用率

12、让Hadoop和Spark跑在ARM上 18:00-18:30

分享嘉宾：华为-陈锐，刘胜，黄填华

内容简介：OpenLab开源项目致力于推动更多的开源软件运行在ARM平台，介绍OpenLab当前在Apache大数据项目ARM支持方面的最新进展，号召开源开发者共同建设鲲鹏和ARM软件生态，并介绍OpenLab项目愿景、发展以及社区治理模式和OpenLab 2.0规划

‌‌‌