基于Ring All-Reduce的高扩展性分布式机器学习架构

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：如今，机器学习广泛应用于各个行业，然而随着当下各种应用场景的数据量的增大，分布式机器学习几乎成为唯一的选择。因此，各个设备之间的数据通讯的优化十分重要。在参数服务器架构中，参数同步通信量大，参数服务器节点的带宽会成为瓶颈;而在基于Ring All-Reduce的框架下，通信时间受限于环上最慢的连接，当环中GPU节点数变多的时候，会导致延迟变大。（剩余7420字）

试读结束

目录
monitor