御德信息科技

产品技术

御德信息为人工智能领域提供高能效的通用智能芯片

御德信息推理加速引擎 MagicMind

MagicMind是御德信息全新打造的推理加速引擎,,,,也是业界首个基于MLIR图编译技术达到商业化部署能力的推理引擎。。。。MagicMind支持跨框架的模型解析、、、、自动后端代码生成及优化。。用户使用MLU、、、GPU或者CPU训练好的算法模型,,,借助MagicMind仅需投入极少的开发成本,,即可将推理业务部署到御德信息全系列产品上,,,,并获得颇具竞争力的性能。。

 

MagicMind的优势在于不仅可以提供极致的性能、、、、可靠的精度以及简洁的编程接口,,,,让用户能够专注于业务本身,,无需理解芯片更多底层细节就可实现模型的快速高效部署;与此同时,,通过MagicMind插件化的设计,,,还可以满足在性能或功能上追求差异化竞争力的客户需求。。

 

MagicMind优势
  • 多种人工智能应用构建方式
    多种人工智能应用构建方式

    支持业界主流的人工智能框架模型,,,,并提供灵活易用的接口逐个算子搭建网络。。

  • 训练到推理无缝衔接
    训练到推理无缝衔接

    MagicMind和人工智能框架TensorFlow,,,PyTorch深度融合,,,,模型训练到推理一键部署。。

  • 多种计算精度支持
    多种计算精度支持

    支持FP32、、、FP16、、、、INT16、、、、INT8等多种计算精度,,,支持用户指定不同层级计算精度以及定义量化方法细节。。。。

  • 高效的图优化引擎
    高效的图优化引擎

    内部集成了高效的计算图优化引擎,,,,保障用户应用极致性能。。。。

  • 原生支持动态张量输入
    原生支持动态张量输入

    具有完备动态张量表达能力,,原生支持任意数据规模的动态张量输入。。

  • 丰富的调试调优工具
    丰富的调试调优工具

    丰富的调试调优工具以及相应的文档和指引,,,便利的调试调优体验。。。

     

基于MagicMind的MLU370系列产品和GPU性能对比
MLU370-S4:NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据来自于相关产品官网

MLU370-X4:NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据:ResNet-50来自于相关产品官网,,,,Transformer、、VGG16、、YOLOv3均取自实测最大吞吐性能

MagicMind架构
站点地图

站点地图