一种优化的Hadoop数据放置策略

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：Hadoop分布式文件系统（HDFS）的默认数据块放置策略均衡了数据存储的可靠性和读写速度，却没有考虑发挥集群的最佳性能。针对该问题提出了一种优化后的数据块放置算法。该算法为数据块设计2个指标，即被查询率与平均读取时间，用于评估集群执行任务对数据块的需求量。在符合HDFS默认数据放置算法基本规则的前提下，通过对数据块的需求量进行分析，然后重新计算数据块的放置位置，将需求量最多的数据转移到能够最快处理它们的节点上。（剩余5961字）

试读结束

目录
monitor
客服机器人