Corbenic 让 Galahad AI 记忆层对单块 GPU 免费

Galahad 是面向自托管 LLM 的 KV 缓存记忆层，现可通过 pip install galahad-kv 在一张 NVIDIA GPU 上免费用于非商业用途。

2026年10月12日凌晨2:08 · Corbenic AI

[新闻](/news?tag=news)

Corbenic AI 的 Galahad 是面向自托管 LLM 的 KV 缓存记忆层，现已推出免费许可，涵盖一张 NVIDIA GPU 的非商业用途。

Galahad 会保留模型已经读过的内容，并以字节级精确方式重放，而不是重新计算；它可接入 vLLM、SGLang 和 llama.cpp。
免费许可：先运行 pip install galahad-kv，然后运行 galahad free --org <key> --email <email> --accept-non-commercial。该许可绑定单张 NVIDIA GPU，需要 Linux x86-64 和 Python 3.10–3.14。
项目数据：99.6% 的 token 由内存提供，在 vLLM 上快 14 倍，并且在读取最长 5000 万 token 的文本时 GPU 显存稳定在 34.1 GB。
付费许可按服务器计价，价目表上从每月 59.22 美元（RTX 4080 SUPER）到每月 1,423.50 美元（B300 SXM）。链接：Corbenic Galahad on GitHub

来源：Corbenic AI · 更多信息