Gufo

Gufo 是什么？

Gufo 是一个垂直优化的本地推理引擎，专门针对 AMD Strix Halo 硬件（Ryzen AI MAX+ 395 + Radeon 8060S，gfx1151，最高支持 128GB 统一内存）深度打磨。它不是泛用的推理框架，而是把“在这台机器上跑得最快、最稳”作为核心目标。

Gufo 网站截图

目前支持的模型包括：

• 文本大模型：Qwen3.8 27B、Qwen3.8 Flash-Next、DeepSeek V4 Flash
• 多模态能力：图像理解/生成（Qwen-Image-2.1）、语音识别（Qwen3-ASR）、语音合成与克隆（Qwen3-TTS）、文本转视频（MiniMax H3）

性能表现相当亮眼。以 Qwen3.8 Flash-Next Q4_K_XL 为例，prompt processing 可到 1700+ tok/s，单用户生成约 65 tok/s，8 并发聚合可达 184 tok/s。Qwen 27B 配合 DFlash2 投机解码也能跑出 70+ tok/s 的单用户生成速度。

核心特色

1. 硬件深度绑定
   只聚焦 Strix Halo 的 128GB 统一内存优势，针对该平台做内核与调度优化，小内存配置也能受益于速度提升。
2. 精选模型 + 质量优先
   只支持当前硬件上表现最好的模型，减少维护成本，同时坚持“优化不牺牲质量”。每个模型都有独立的质量报告和数值一致性检查。
3. 生产级特性
   把并发请求、请求取消、对话缓存当作一等公民；提供完整的 OpenAI 兼容 API（Chat Completions、Responses、Anthropic Messages），支持流式输出、工具调用、结构化输出、图像输入等。
4. 一站式体验
   文本、音频、图像、视频模型都能跑，目标是成为 Strix Halo 本地 AI 爱好者的“一站式商店”。

快速部署（推荐 Podman 容器方式）

最简单的方式是用官方提供的容器镜像，无需自己编译。

1. 下载模型权重（以 Qwen3.8 27B + DFlash2 为例）

hf download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-UD-Q8_K_XL.gguf \
  --revision 4ca720788d1e01f1bff70c033e0d0028fd02e502 \
  --repo-type model \
  --local-dir models/Qwen3.8-27B-GGUF

hf download z-lab/Qwen3.8-27B-DFlash2-GGUF \
  Qwen3.8-27B-DFlash2-Q4_K_M.gguf \
  --revision 2d9571f8ce46e151f61c6499c99dee6079e1d610 \
  --repo-type model \
  --local-dir models/Qwen3.8-27B-DFlash2-GGUF

2. 拉取并启动容器

podman pull ghcr.io/gufo-org/toolboxes/gufo-runtime:latest

podman run --rm \
  --userns=keep-id:uid=1000,gid=1000 \
  --device /dev/kfd \
  --device /dev/dri \
  --group-add keep-groups \
  --ulimit memlock=-1 \
  -p 8080:8080 \
  -v ./models:/models:ro \
  ghcr.io/gufo-org/toolboxes/gufo-runtime:latest \
  gufo serve --host 0.0.0.0 --port 8080 llm \
  --model /models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q8_K_XL.gguf \
  --speculative dflash2 \
  --dflash-model /models/Qwen3.8-27B-DFlash2-GGUF/Qwen3.8-27B-DFlash2-Q4_K_M.gguf

注意：主机用户需要加入 render 和 video 组才能访问 GPU 设备，改完后需重新登录。Rootless Podman 建议使用 crun 运行时。

3. 测试 API

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.8-27B-UD-Q8_K_XL",
    "messages": [{"role": "user", "content": "你好，介绍一下你自己"}]
  }'

之后就可以把 http://localhost:8080/v1 填入 Open WebUI、VS Code、OpenAI SDK 等客户端正常使用了。

写在最后

Gufo 不是“什么都能跑”的万能工具，而是“在这台机器上把能跑的跑到极致”的专业引擎。如果你手里刚好有一台 Strix Halo 设备，想要高吞吐、低延迟的本地大模型体验，它值得一试。

项目仍在快速迭代，欢迎社区贡献。更多模型细节、质量报告和高级用法，可直接查看 GitHub 仓库的 docs 目录。