开发漫谈:S4不是F4 分布式流计算应用广

    xiaoxiao2021-04-15  150

    S4是什么鬼?不是F4才风靡全国吗?

    殊不知,这S4在IT圈早已经是炙手可热的存在,受欢迎程度绝不亚于当年的F4。好吧,其实不能这么比。

    S4的出现还要归功于互联网的快速发展,从最初的web1.0时代,到后来的web2.0时代,再到ego net,可以说数据量在呈指数级不断上升。因为数据量不断提升,导致服务器引擎压力不断增大,如何解决服务请求峰值过高,负载过重问题呢?

    首先我们需要了解一下什么是S4。

    S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受Map-Reduce模式启发的分布式流处理引擎。

    S4

    从S4目前的应用情况来看,谷歌、必应、雅虎都有应用,他们典型的做法是在用户查询响应中提供结构化的Web结果的同时插入基于流量的点击付费模式的文本广告。

    从技术的角度讲,S4与Storm等流计算框架一样,都是分布式流数据实时与持续计算的基础。而分布式流数据实时与持续计算除了S4之外,还需要MapReduce、Dryad等全量/增量计算平台、CEP以及EDA模型、还有Pregel等图计算模型。

    在大数据环境下,企业生产环境的主要需求是图最小的代价通过增加更多的机器来提高推土量的能力和在存在系统故障情况下,能够实现自动灾备同时不影响持续提供服务的能力。通过负载分流,我们可以实现系统处理速度赶上事件流量,或者通过降级,实现关键业务顺利运转。这种降级的方式也在微信红包高峰期曾被采用。

    实际上,S4的存在就是为大数据而服务。而无论是分布式流计算平台,还是分布式架构都随着大数据的快速成长,随着数据请求和数据量的增长,得到了越来越多的应用。

    本文转自d1net(转载)


    最新回复(0)