分布式流处理的高效甩负荷技术.doc

在分布式流处理环境中，大量的连续查询被分发到多个server上。数据流突发性的到达对结果的质量有负面影响(如吞吐量，延时等)。为系统设置最坏情况负载的方法一般不是经济合理的。另一方面，突发数据率可能会在server链的某个点上产生瓶颈。瓶颈的产生可能是由于在这个server上对于处理能力的过量需求，或者在连接各个server的物理网络上的带宽缺陷。瓶颈延缓了处理和网络传输，并且导致了延迟输出。
当一个或多个server由于大爆发量数据的到来而变得超负荷时，为了保持这些查询结果的低延时，超出的负载需要被甩掉。由于server之间的负载依赖，在这些server之间的甩负荷决策必须被很好的协调来达到对输出质量的端对端控制。
本文模拟分布式甩负荷问题为一个线性优化问题，提出了两种可选的解决方法：一个基于求解器(solver-based)的集中式方法，一个基于元数据集合和传播的分布式方法，该方法的集中实施也是有效的。这两种方法都是基于事先生成一系列甩负荷计划，用于特定输入负载条件。我们已经把这个技术用于北欧化工分布式流处理引擎软件。