开源大数据周刊-第31期

阿里云E-MapReduce实践

专注年轻一代，基于E-MapReduce梨视频推荐系统在2016杭州云栖大会的“开源大数据技术专场”上，梨视频大数据负责人杨智带来了《基于E-MapReduce梨视频推荐系统》的精彩分享。分享中，他重点介绍了梨视频中基于阿里云的数据处理系统和梨视频推荐系统，精彩不容错过。

资讯

上海社科院惠志斌：数据生态治理要啃硬骨头数据生态治理面临一场艰巨的战役，长期来看，这场战役的成败将决定移动互联网时代下公民的权利、企业的利益和社会的信任，更关系到数据时代国家的命运和前途 数据科学与火箭科学如何将人类送上火星？ 在最近的CNN专栏中，奥巴马总统再次证实，美国将不遗余力地实行将载人航天器送上火星的任务。如果你觉得自己面临的数据科学难题太有挑战性，那你应该想一想，用挖掘数据的方式来探究火星远征对健康的影响，是多难的一件事 一点资讯大数据揭露：《我不是潘金莲》争议背后的故事根据刘震云的同名小说改编的电影《我不是潘金莲》，由冯小刚执导、范冰冰主演，凭借冯、范二人的人气、影片技术和原作影响力，影片自开拍便备受瞩目，近日，一点资讯基于平台海量用户数据推出“《我不是潘金莲》电影大数据报告”[（技术）大数据框架对比：Hadoop、Storm、Samza、Spark和Flink](http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global)

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。

（技术）大数据时代快速SQL引擎-Impala在Dremel论文发表之后，开源社区涌现出了一批基于MPP架构的SQL-on-Hadoop(HDFS)查询引擎，典型代表有Apache Impala、Presto、Apache Drill、Apache HAWQ等，看上去这些查询引擎提供的功能和实现方式也都大同小异，本文将基于Impala的使用和实现介绍日益发展的基于HDFS的MPP数据查询引擎。 Apache 基金会宣布 Geode 升级为顶级项目Apache Geode 是一个数据管理平台，提供实时的、一致的、贯穿整个云架构地访问数据关键型应用，最初由 GemStone Systems 公司开发(位于美国俄勒冈州的比弗顿市)，商标为 GemFire™。 此项技术初期被广泛应用在金融领域, 用于华尔街交易平台,作为事务性, 低延时的数据引擎。2015年4月将 代码提交给 Apache 孵化器作为孵化项目。 （技术）主流大数据SQL引擎技术博弈，谁为王？近日，AtScale公布了第四季度主流大数据SQL引擎的测试结果，主要针对Spark、Impala、Hive/Tez以及Presto。

欢迎加入阿里云开源大数据交流钉钉群

国内大数据相关会议

| 会议 | 地点 | 时间 | 费用 || CBIS 2016中国（上海）大数据产业创新峰会 | 上海 | 2016.12.1 | 2080元起 |

版权声明

信息都是来自互联网，都给出了原文的链接，如果侵权，请联系我们，我们负责删除。

阿里云E-Mapreduce团队 出品

相关资源：python入门教程(PDF版)