KoboldCpp

KoboldCpp 是一个基于 C++ 的轻量级推理框架，专为在本地运行大型语言模型（如 GGUF 格式模型）设计，支持无 GPU 的 CPU 推理，适用于低资源环境，提供类似 KoboldAI 的功能，便于离线文本生成与模型部署。