微软升级 Win11 Windows ML 框架！实验原生支持 GGUF 与 ONNX 本地 AI 推理

　　系统之家 10 月 9 日最新消息，微软给 Win11 的 AI 底层框架 Windows ML 更新了！新增实验性 Runtime API，在 Win11 系统内原生同时支持 GGUF 与 ONNX 两种模型格式本地推理。此外新接口提供文本生成、语音识别配套 API，可自动调度 NPU、GPU、CPU 硬件加速。

　　在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。

　　微软表示通过社区合作，开发者现可通过 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司，向 llama.cpp 及相关性能优化贡献代码。

　　Windows ML 新增实验性 Windows 原生推理路径，可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API，微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。

　　系统之家注：GGUF 是一种常用于本地运行大语言模型的模型文件格式。开发者可从 Hugging Face 等平台获取 GGUF 模型，并通过 llama.cpp 等工具在个人电脑上加载与推理。

　　而 ONNX 是开放神经网络交换格式，用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境，可支持模型在 Windows 设备上的推理部署。

　　在 Windows ML Runtime API 支持下，微软同时推出 Text Generation API 与 Speech Recognition API，开发者可使用这两组接口构建文本生成与语音识别功能。

　　相关阅读

　　以上是系统之家提供的最新资讯，感谢您的阅读，更多精彩内容请关注系统之家官网。