开源大数据周刊-第56期

阿里云E-Mapreduce实践:

使用hadoop restful api实现对集群信息的统计本文根据hadoop/spark的RESTful API，实现了对集群基本信息的统计功能，包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据，具体的统计与分析，还需要基于这些基础数据做一些简单的开发。

---

资讯

全球因Hadoop服务器配置不当导致的数据泄露或达5120TB

网络犯罪分子近期开始针对配置不当的 Hadoop Clusters 与 CouchDB 服务器展开攻击活动。目前全球因Hadoop分布式文件系统（HDFS）配置不当导致的数据泄露或达 5,120 TB。

数梦工场7.5亿A轮融资 三个维度构建「新型互联网」

6月8日，数梦工场战略暨A轮发布会在杭州举行。数梦工场已获得来自光大实业资本、阿里巴巴等机构的7.5亿元投资，目前公司估值超过10亿美元。

---

技术

比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro，Apache Parquet，Apache HBase和Apache Kudu空间效率，提取性能，分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。

Apache Flink 1.3.0正式发布及其新功能介绍

2017年06月01日儿童节 Apache Flink 社区正式发布了 1.3.0 版本。此版本经历了四个月的开发，共解决了680个issues。Apache Flink 1.3.0 是 1.x.y 版本线上的第四个主要版本，其 API 和其他 1.x.y 使用 @Public 注释的API是兼容的。

拥有数据不再重要，懂得利用才是王道

大数据时代，手握海量数据已是企业常态。如何充分利用数据并对加以挖掘和利用才是赢在未来的王道。在与数百家企业协作的过程中，英特尔总结了如何通过人工智能、机器学习以及数据挖掘帮助企业通过数据获得真正回报的最佳实践。

Spark Shuffle过程分析：Map阶段处理流程

本文结合具体代码，详细分析了Spark Shuffle过程中Map阶段处理流程。

---

欢迎入群技术交流！

云HBase微信交流群请加：g418615

---

版权声明：

信息都是来自互联网，如果侵权，请联系我们，我们负责删除。

阿里云E-Mapreduce团队出品

相关资源：七夕情人节表白HTML源码(两款)