毕业论文
您现在的位置: 框架 >> 框架介绍 >> 正文 >> 正文

腾讯优图开源深度学习推理框架TNN,助力

来源:框架 时间:2022/5/7
太原治疗白癜风医院 http://m.39.net/pf/a_4603783.html

从学界到工业界,“开源”已经成为AI领域的一个关键词。一方面,它以“授人以渔”的方式为AI构建了一个开放共进的生态环境,帮助行业加速AI应用落地;另一方面,在解决行业实际问题时持续更新和迭代,源源不断地给AI领域输送重要的技术养料和创造力,可以说开源是AI落地和繁荣不可或缺的源动力。

6月10日,腾讯优图实验室宣布正式开源新一代移动端深度学习推理框架TNN,通过底层技术优化实现在多个不同平台的轻量部署落地,性能优异、简单易用。基于TNN,开发者能够轻松将深度学习算法移植到手机端高效的执行,开发出人工智能APP,真正将AI带到指尖。

01

轻量级部署,TNN助力深度学习提速增效

深度学习对算力的巨大需求一直制约着其更广泛的落地,尤其是在移动端,由于手机处理器性能弱、算力无法多机拓展、运算耗时长等因素常常导致发热和高功耗,直接影响到app等应用的用户体验。腾讯优图基于自身在深度学习方面的技术积累,并借鉴业内主流框架优点,推出了针对手机端的高性能、轻量级移动端推理框架TNN。

TNN在设计之初便将移动端高性能融入核心理念,对年开源的ncnn框架进行了重构升级。通过GPU深度调优、ARMSIMD深入汇编指令调优、低精度计算等技术手段,在性能上取得了进一步提升。以下是MNN,ncnn,TNN框架在多款主流平台的实测性能:

TNN在麒麟、骁龙、骁龙,骁龙平台实测性能数据

注:纵轴单位:ms测试分支:MNN:1.0.0(.05.07),ncnn:0413,TNN:master(.06.10)

测试模型:

转载请注明:http://www.0431gb208.com/sjszlfa/176.html