基于禁忌搜索的流式计算平台负载均衡策略

打开文本图片集

摘 要：针对大数据流式计算平台原生调度机制存在计算负载分配不均衡、资源利用率低的问题，提出异构环境下基于禁忌搜索算法的负载均衡策略，并将其应用于Apache Flink平台。首先，通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图（directed acyclic graph，DAG），并将每个任务槽（task slot）抽象为节点，为计算节点的性能评估奠定基础;其次，通过建立性能评估模型，将有向无环图中带性能权值的节点导入性能评估模型进行归一化处理，得到节点性能的优劣；再将评估参数传入禁忌调度算法（tabu search for schedule，TBS）进行作业路径优化，从而得出最优作业路径;最后，使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中，完成计算负载的均衡分配，从而提升Flink平台的整体性能。（剩余14040字）