基于多线程技术的ONNX音频分离模型并发推理的设计与优化

  • 打印
  • 收藏
收藏成功


打开文本图片集

摘  要:文章探讨了一种音频分离模型推理加速的一种使用多线程的设计方法,这个方法可以有效地提高模型端侧部署推理速度,有效节省用户使用等待时间。对于一段10 s的音频,使用文章中提出的方法可以仅使用0.48 s就完成推理,以此推算,文中算法在处理器为Inteli7时,处理一个时长2分钟的视频时间不超过10秒。(剩余6210字)

目录
monitor