Quantcast
Channel: 英特尔开发人员专区文章
Viewing all articles
Browse latest Browse all 583

Shanghai Big Data Streaming Meetup

$
0
0

上海 Big Data Streaming Meetup 首次线下活动开讲了! 本次活动由 Intel 主办,汇聚了来自 Intel,阿里巴巴,华为,eBay 等众多业界伙伴的实时流处理的专家和工程师们,本着开源精神以大数据实时流为主题,将实时流技术的前沿动态和实践经验分享出来。届时,阿里巴巴的工程师将分享在国内有广泛用户的 JStorm 和 Apache Storm 的合作项目; 华为的工程师将介绍其产品级的流处理 SQL 语言;Intel 的工程师将介绍基于 Akka 的新一代流处理引擎以及 akka 的各种 design pattern;eBay 的工程师将介绍其内部使用的复杂事务处理(CEP)平台……本次活动只聊技术! 只有干货!只走实用技术路线!欢迎大家踊跃注册参加并奔走相告! 真诚的期待您的到来!

活动时间:8 月 22 日下午 1 点到 4 点 30
活动地点:长泰广场 C 座 12 层,太库上海(地铁 2 号线金科路站)
活动报名链接请参见 http://www.meetup.com/Shanghai-Big-Data-Streaming-Meetup/
如有其他问题请联系 weihua.jiang@intel.comliangying.lv@intel.com

 

日程:
12:45 – 13:00 签到
13:00 – 13:15 开场白 (Intel + 太库介绍)
13:15 – 14:00 JStorm/Storm 在阿里的实践和社区进展 (阿里巴巴)
14:00 – 14:30 StreamingCQL - 构建在分布式流处理平台上的查询语言 (华为)
14:30 – 14:50 茶歇
14:50 – 15:35 Pulsar–Real-time analytics at Scale (eBay)
15:35 – 16:15 基于 Akka 的开源流处理引擎 Gearpump (Intel)
16:20 – 17:00 继续讨论


Speaker 1:

封仲淹 (淘宝花名: 纪君祥)  阿里巴巴阿里中间件团队高级技术专家

阿里巴巴 JStorm 核心作者之一,流式计算权威人士之一,曾从事分布式计算,分布式存储多年, 专利颇多,目前专注于实时计算和流式计算。 梦想有朝一日能实现类似 Hadoop 的系统。曾就职于 EMC,VIA。

分享主题: JStorm/Storm 在阿里的实践和社区进展 (45分钟)

随时业务对数据的实时性要求越来越严格, 越来越多的应用开始使用 JStorm、Storm 进行实时计算, 本次演讲将介绍 jstorm 在阿里的现状,和 jstorm 正在开发的特性,以及Jstorm 并入storm 后的计划与安排 (STORM-717)。

返回 ↑

Speaker 2: 

汪兴朗 eBay 资深架构师

毕业于上海交通大学计算机系,于2013年4月加入 eBay, 目前是 ebay Cloud Service 的资深架构师,eBay CCOE technical board 主席。加入 ebay 之前,在 HP 专注于电信行业的实时系统平台,  曾担任 HP 电信业务实时平台的首席架构师。具有丰富的分布式实时系统的经验,在eBay 成功的将实时系统和用户行为数据结合起来,搭建了一个实时的用户行为数据的处理的平台,大大缩短了业务部门的决策时间,推动了 eBay 用户行为数据分析从 hadoop 批处理转向实时处理

演讲主题: Pulsar – Real-time analytics at Scale. (45分钟)

Pulsar – 来自 eBay 的一个分布式复杂事件流处理平台,在 eBay 内部用于对于用户行为数据的数据分析。通过对用户行为数据流的实时分析,给客户带来更好的个性化体验,帮助客户监控实时业务信息并定制实时营销策路,及时监测网络欺诈行为并减少机器人干预。并且Pulsar 是基于标准的分布式云架构部署并跨越多个数据中心,从而保证了在系统升级和拓扑更新时没有集群停机时间。

返回 ↑

Speaker 3:

何志强华为实时分析团队高级技术专家

StreamingCQL 核心作者之一,实时处理资深架构师。2011年4月加入华为,目前在华为进行实时分析开发。一直从事大数据分析、分布式计算、流式处理等方面的研究及开发。

分享主题: StreamingCQL——构建在分布式流处理平台上的查询语言 (30分钟)

StreamingCQL(Streaming Continuous Query Language) 是建立在分布式流处理平台基础上的类 SQL 查询语言,架构支持构建在多种流处理引擎之上,目前主要适配 Storm。当前多数流处理平台仅提供分布式处理能力,业务逻辑开发复杂,流计算业务功能较弱,存在业务逻辑重用性不高、重复开发、开发效率低下等问题。StreamingCQL 提供了较丰富的分布式流计算功能,除了具有过滤、转换等传统的 SQL 基本能力之外,StreamingCQL 引入基于窗口的计算,提供窗口数据的统计、关联等能力,以及流数据的拆分、合并等功能。本次演讲将介绍CQL 功能,目前现状和后期发展计划。

返回 ↑

Speaker 4:

钟翔 Intel 大数据技术部工程师

2011年加入 Intel,2014年前是 Intel 大数据发行版开发 (IDH) 的核心力量,开发了 IDH 的几个核心功能,比如 MapReduce NativeTask,HBase 大对象存储等。现在主要关注实时流处理,创立了基于 Akka 的新型流处理引擎 Gearpump(http://www.gearpump.io/)。

分享主题:  基于 Akka 的开源流处理引擎 Gearpump (40分钟)

Akka 是一个分布式软件开发的中间件,基于 Actor 模型提供了通信、并发、隔离、容错等基础设施。本次演讲将介绍 Intel 怎样使用 Akka Actor 抽象,解决流处理的各种问题,实现一个每秒钟处理千万消息的流处理引擎 Gearpump。解决的问题包括:
1)实时性,毫秒级延时。
2)一致性,Exactly once 的消息处理,数据不丢不重。
3)吞吐量,每秒能处理百万甚至千万条消息。
4)可用性,  没有单点失效。
5)灵活性,支持计算图的动态升级替换,支持弹性扩展,支持时间乱序的消息。

返回 ↑


Viewing all articles
Browse latest Browse all 583

Trending Articles



<script src="https://jsc.adskeeper.com/r/s/rssing.com.1596347.js" async> </script>