MapReduce

    xiaoxiao2022-07-02  119

            MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。

    主要技术特征

    1.向"外"横向扩展,而非向"上"纵向扩展

    2.失效被认为是常态

    3.把处理向数据迁移

    4.顺序处理数据,避免随机访问数据

    5.为应用开发者隐藏系统层细节

    6.平滑无缝的可扩展性

    案例

    如果想统计下过去10年计算机论文出现最多的几个单词,看看大家都在研究些什么,那收集好论文后,该怎么办呢?

    方法一:我可以写一个小程序,把所有论文按顺序遍历一遍,统计每一个遇到的单词的出现次数,最后就可以知道哪几个单词最热门了。这种方法在数据集比较耗时,是非常有效的,而且实现最简单,用来解决这个问题很合适。

    方法二:写一个多线程程序,并发遍历论文。

    这个问题理论上是可以高度并发的,因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器,方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了,我们必须自己同步共享数据,比如要防止两个线程重复统计文件。

    方法三:把作业交给多个计算机去完成。

    我们可以使用方法一的程序,部署到N台机器上去,然后把论文集分成N份,一台机器跑一个作业。这个方法跑得足够快,但是部署起来很麻烦,我们要人工把程序copy到别的机器,要人工把论文集分开,最痛苦的是还要把N个运行结果进行整合(当然我们也可以再写一个程序)。

    方法四:让MapReduce来帮帮我们吧!

    MapReduce本质上就是方法三,但是如何拆分文件集,如何copy程序,如何整合结果这些都是框架定义好的。我们只要定义好这个任务,其它都交给MapReduce。

    MapReduce执行流程

    最新回复(0)