03-12
2024
ai推理框架软件onnx runtime正式支持龙架构
近日,知名ai推理框架开源社区onnx runtime正式发布支持龙架构的版本1.17.0。今后,用户可以直接使用onnx runtime开源社区发布的版本在龙芯平台完成ai推理类应用的开发和部署,标志着龙架构软件生态得到进一步完善。
onnx runtime(ort)是近年来兴起的ai推理框架软件,被大量ai应用作为基础ai推理引擎。ort可支持pytorch、tensorflow、tflite等多种格式的模型输入,以及cpu、gpu、iot、npu、fpga等多样化算力后端。
在onnx runtime 社区1.17.0版本的研制过程中,龙芯中科技术团队与社区保持紧密合作,期间向onnx runtime社区代码仓库提交了7697行代码,对矩阵乘法、卷积、转置等核心算子进行深度向量优化。在社区支持下,龙架构优化代码通过了检视、测试验证等质量保证流程,onnx runtime社区自1.17.0版本起正式实现对龙架构的原生支持。
未来,龙芯中科将继续与ai领域的国际开源软件社区携手合作,助力ai领域的生态发展和技术创新,为用户带来更优产品,实现更大价值。