开发者社区 > ModelScope模型即服务 > 语音 > 正文

GPU相比CPU并没有明显提高uniasr语音识别和语音合成的推理速度

经测试发现,相同配置条件下(便宜云服务器线上notebook),同样的识别和合成代码,在cpu配置下,运行语音识别耗时平均在400ms ~ 500ms,语音合成的耗时平均在700ms-900ms,切换成gpu配置环境,相比cpu并没有明显提升,识别相差不超过100ms,合成相差不超过200ms,是gpu只在模型训练方面有比较大的速度提升,而不能有效提高推理速度吗?如果可以,是要做额外的操作来使gpu有效提升速度吗

展开
收起
1030541127660846 2022-11-28 16:06:56 1658 0
2 条回答
写回答
取消 提交回答
  • 请问在利用pipeline做推理的时候,怎么设置用GPU推理啊,是需要额外写什么参数吗?

    2023-01-11 21:22:43
    赞同 展开评论 打赏
  • 是的,gpu对训练有较好的提升效果,对目前代码的推理来说加速有限,目前代码的推理纯粹实现在pytorch或tf上,建议使用其他推理框架(比如tensorrt)来针对一些模型进行加速。

    2022-11-28 17:30:27
    赞同 1 展开评论 打赏

包括语音识别、语音合成、语音唤醒、声学设计及信号处理、声纹识别、音频事件检测等多个领域

相关电子书

更多
复杂声学环境下的语音交互:技术与实践 立即下载
AI赋能的语音交互解决方案 Link Voice 立即下载
数据智能时代,语音交互将是第一爆发领域 立即下载
http://www.vxiaotou.com