ONNX Runtime 1.10支持Xamarin,供开发者构建AI移动应用程序

机器学习推理引擎ONNX Runtime从1.10版本开始,支持使用Xamarin以C#构建移动应用程序。ONNX Runtime 1.10版本的NuGet组件中,包含了对Android和iOS的支持,这使得开发人员可以于存在ONNX Runtime的移动设备上执行ONNX模型,也就是说,赋给开发人员构建跨移动设备人工智能应用程序的能力。

ONNX Runtime为一个机器学习开源项目,能够加速各种框架、操作系统和硬件平台的机器学习模型运算,而ONNX Runtime Mobile则是针对Android和iOS设备的轻量级推理引擎版本,开发人员可以构建占用较小磁盘容量,经过优化的智慧移动应用程序。

在这个新发布的1.10版本中,官方支持开发者使用Xamarin.Forms,构建Android和iOS跨平台应用程序,其包括使用默认CPU Execution Provider,在设备CPU上执行ONNX模型,而对于部分移动设备所使用的专用硬件,ONNX Runtime Mobile组件提供Execution Provider,让开发者能够在Android使用NNAPI,在iOS上使用CoreML。

Xamarin是一个开源应用程序平台,供开发者以C#和.NET,构建现代且高性能的iOS和Android应用程序,由于NuGet组件中加入对Android和iOS的支持,开发人员便可以利用ONNX Runtime,在应用程序中加入人工智能功能。

除了对Android和iOS的支持之外,ONNX Runtime 1.10的新功能还包括加入X64和ARM64上的新量化核心,提升运算性能。在硬件的灵活度方面,新版本更新了TensorRT、DirectML、OpenVINO和DNNL Execution Providers,在Nvidia GPU上,Python GPU组件同时支持CUDA和TensorRT Provider,让用户能够更易于测试和使用。

新版本也简化对Mac的部署,Rosetta允许单个二进制文件跨Apple Silicon和英特尔芯片运行。另外,ONNX Runtime Web则支持WebAssembly SIMD,改进量化模型(Quantized Model)的性能。