Google Developers Blog·· 19 小时前精选AI 评分70
Google 发布 LiteRT Tensor API 支持端侧原生模型编写
Native Model Authoring for Edge with LiteRT Tensor API
AI 导读
Google 推出 LiteRT Tensor API，允许开发者使用 C++ 逐算子构建计算图，并在 CPU、GPU 和 NPU 上直接运行而无需重写代码。该 API 支持从 Hugging Face .safetensors 文件直接加载权重，并通过共享加速器缓冲区实现预处理、推理和后处理的零拷贝流水线。
推荐理由
原文展示了通过原生 C++ 编写计算图实现跨平台零拷贝推理的方法，为开发者提供了在端侧部署复杂模型时兼顾底层控制与硬件兼容性的新路径。
来源：Google Developers Blog · developers.googleblog.com