南京大数据技术Meetup第六次活动
Hide
活动时间
2016年7月30日下午13:30-17:30
活动地点
南京市栖霞区仙林大道163号南京大学(仙林校区)计算机科学技术楼221多功能报告厅
南京地铁2号线 南大仙林校区站
下车直达 (百度地图: http://j.map.baidu.com/3gzAb)
活动内容
1.
李浩源(Alluxio公司创始人&CEO,UC Berkeley AMPLab博士研究生)、
范斌(Alluxio公司的软件工程师, Alluxio PMC以及Maintainer成员):
part1:
大数据存储系统Alluxio(前Tachyon)的历史、现状、未来发展方向
part2: Alluxio统一文件名称空间与层级存储管理
2. 孙杰(天泽信息产业股份有限公司,研发总监):天泽信息物联网大数据平台的技术架构解析
3. 中场茶歇 & 参展海报交流(30分钟,请有意参展的单位与我们联系,联系邮箱gurongwalker@gmail.com)
4. 王宗(南京拾柴信息科技有限公司,联合创始人&技术总监):电信行业运营商大数据的跨界融合
5.
欧锐(苏宁云商IT总部云事业部大数据平台研发中心,技术经理):Spark在苏宁云商的实践及经验分享
活动注意事项
1. 本活动免费参加。请提前在线报名并后台审核,活动采用扫码入场,因此请您携带电子入场券/门票(最好是下载手机app),凭票入场。;
2. 根据会场要求, 请务必认真填写报名问题,主办方有权取消恶意填写者的报名资格;
3.已报名的同学如果无法出席,请在网站上进行退票处理。不要出现no
show的情况,以免影响后续参加的诚信度;
5. 如果希望分享相关话题(讲师有精美礼品哦~)或赞助后续活动, 请发送邮件到 gurongwalker@gmail.com
南京大数据技术Meetup的主办方:
南京大学PASA大数据实验室
本次活动承办方与主赞助单位:
天泽信息产业股份有限公司
本次活动参展赞助单位:
星环信息科技(上海)有限公司
南京杰世欣计算机科技有限公司
南京商数信息技术有限公司
北京瀚思安信科技有限公司
支持机构:
江苏省计算机学会大数据专家委员会
江苏省软件新技术与产业化协同创新中心
本次活动合作媒体:CSDN
附录:本次活动讲者和技术分享简介
题目1-part1:大数据存储系统Alluxio(前Tachyon)的历史、现状与未来发展方向
讲者简介:李浩源是Alluxio公司(前称Tachyon
Nexus公司)的创始人和CEO。李浩源在加州大学伯克利分校AMPLab读博期间,联合创建开源内存级虚拟分布式存储系统Alluxio;此外,他还是Apache
Spark的Founding
Committer。在进入AMPLab之前,他曾经在Conviva和Google公司工作,并已获得了北京大学、康奈尔大学的学士和硕士学位。
内容摘要:Alluxio,前称Tachyon,是一个开源内存级虚拟大数据存储系统。在其开源的三年的时间里,Alluxio社区已汇集全世界100多家公司的超过300名贡献者, 成为大数据领域内历史上成长最快的项目之一。Alluxio系统已经被部署使用在例如百度、巴克莱银行、去哪儿网等公司的生产环境中,Alluxio已经其中一些部署应用中运行了一年多,管理着PB级别的数据。在过去一年的活跃社区开发中,Alluxio在读写性能、可扩展性以及用户体验方面都得到了极大的提升。此外,功能方面,Alluxio还增加了一系列新功能,比如可扩展的分层存储、透明的UFS数据读写、统一命名空间等。这些功能为Alluxio用户带来更多的价值和更高效便捷的集群存储管理。与此同时,Alluxio生态系统还扩展了对不同的存储系统和计算框架的支持。现在Alluxio支持多种存储系统包括Amazon S3、谷歌云存储、Gluster、Ceph、HDFS、NFS和OpenStack Swift等;支持多种主流大数据处理框架,包括Spark,MapReduce,Flink等。这些生态系统的发展使Alluxio可以与更多大数据生态系统组件配合起来为用户带来更多的价值。未来,为了更广泛的用户人群可以使用Alluxio,我们会着重提高Alluxio的安全性、支持新语言以及进一步增加稳定性和对资源的有效使用。此外,我们还会探索新的API,让应用程序能够更有效地访问和管理数据。
题目1-part2:Alluxio 统一文件名称空间与层级存储管理
讲者简介:范斌是Alluxio公司的软件工程师,
Alluxio PMC以及Maintainer成员。加入Alluxio项目之前曾在Microsoft
Research,Google任职并研发分布式存储系统,并获Google Technical
Infrastructure奖。范斌博士毕业自卡内基梅隆大学计算机系,博士期间主攻分布式系统方向,并有多篇论文发表于SOSP,SIGCOMM,NSDI等顶级学术会议。
内容摘要:在大数据应用场景中,针对不同的计算框架与任务特点,分别配置数据源和存储资源,以及在不同的计算框架间高速有效地实现数据共享和管理是一件困难且有挑战性的任务。Alluxio(前Tachyon)是开源内存级虚拟大数据存储系统。它为不同的计算框架提供统一的接口来访问来自不同数据源的数据,并实现了层级存储机制,从而有效地解决数据存储的管理与配置问题:
1.
Alluxio为上层计算框架和底层存储系统构建了桥梁。应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据,比如阿里巴巴OSS/亚马逊S3/谷歌GCS等云存储、OpenStack
Swift、Ceph、HDFS、GlusterFS等。并且Alluxio提供统一命名空间以及挂载API,可以使得用户在Alluxio中同时访问管理多个数据源中的数据。并且在Alluxio上进行的如创建、删除、重命名等操作会直接无缝的映射到底层存储上的操作。
2.
针对集群内存容量有限的情况,Alluxio提供的分层存储机制,不仅可以管理内存,也可以同时管理SSD和HDD。这不但能够扩大Alluxio管理资源的容量,使得计算框架可以处理更大规模的数据,同时还可以自动的把更经常访问的热数据迁移到更快的存储层上,使得数据的访问速度能比现有常规方案快几个数量级。而这一切过程都对计算框架完全透明.
====================================================
题目2:天泽信息物联网大数据平台的技术架构解析
讲者简介:孙杰,毕业于南京航空航天大学计算机系,曾先后就职于阿里巴巴和烽火科技,目前担任天泽信息的研发总监,负责物联网大数据平台的研发和管理,同时担任江苏省互联网协会理事。他在搜索和大数据领域以及大型系统的架构方面有丰富的经验,有6项大数据领域的发明专利。
内容摘要:随着传感技术、通信技术、计算机技术的发展,物联网逐渐进入了大数据的时代。随着数据量的急剧增加,以前传统的解决物联网问题的诸多技术已经逐渐不能满足要求。针对物联网的各种场景,天泽信息研发的物联网大数据平台--TIZA STAR,解决了物联网海量数据的接入、存储、计算和访问的问题,今天要跟大家分享的是天泽信息的物联网大数据平台的技术架构。
====================================================
题目3:电信行业运营商大数据的跨界融合
讲者简介:王宗,南京拾柴信息科技有限公司联合创始人,技术总监。该是一家专注于运营商大数据、互联网大数据等采集、数据挖掘、分析应用的公司。王宗历任世纪鼎利通信科技股份有限公司(SZ:300050)华东专区CTO、海外业务总监、研发总监,北电网络(Nortel)中国有限公司Core RF团队资深无线工程师18年移动通信行业经验,对通信技术及数据处理有深刻的理解。
内容摘要:中国移动通信行业经过多年高速发展,已成为人人生活必备的通信工具。移动通信运营商多年精心积累,已具备了对移动通信网络中的海量数据采集、存储及分析能力。运营商的大数据中所包含的全量用户信息、真实而连贯的位置变化信息、体现用户个人行为习惯信息,都是可以为众多行业提供极为丰富且有价值的市场洞察信息。拾柴信息已经在交通、零售、房产等多个行业进行广泛拓展,在把运营商的大数据能力推广到其他行业应用的过程中,成功地在运营商与其他行业之间搭建起了一座桥梁。本次报告将介绍运营商大数据在交通规划行业中OD分析方面的实际应用,介绍在零售行业的客流行为分析方面的实际应用,介绍在房产行业的潜在购房者关注等方面的实际应用。通过实际的案例,描绘运营商大数据在各行业中应用落地的现状与发展前景。
====================================================
题目4:Spark在苏宁云商的实践及经验分享
讲者简介:欧锐,苏宁云商IT总部云事业部大数据平台研发中心技术经理,毕业于南京邮电大学。从事大数据行业5年,南京大数据技术meetup发起者之一,先后从事Spark、HBase、Cassandra、HDFS和MooseFS平台研究和二次开发。2014年-2015年曾负责苏宁KV
平台维护和推广,2016年至今负责苏宁Spark服务平台的维护和推广。
内容摘要:大数据平台已经逐渐成为互联网企业基础架构的标配,苏宁云商作为O2O的标杆型企业,我们拥越来越多和越来越全面的数据资源。Spark技术栈在处理这些数据方面发挥了巨大作用。在本次分享中会介绍目前苏宁Spark
平台建设情况,接着描述几个典型的使用案例,最后会讨论使用过程中遇到一些问题。
南京大数据技术Meetup的历次赞助单位(持续添加中):
金牌赞助商:
华泰证券股份有限公司
烽火通信科技股份有限公司
天泽信息产业股份有限公司
苏宁云商
银牌赞助商:
南京杰世欣计算机科技有限公司
星环信息科技(上海)有限公司
南京商数信息技术有限公司
北京瀚思安信科技有限公司
(6年前)
(6年前)
(8年前)
(8年前)
(8年前)
(8年前)