AnythingLLM

学完能做什么 / 解决什么问题

• 在本地计算机上运行一个完全私密的 AI 助手，无需联网、无需注册账户、无需 API 密钥。
• 支持多种大语言模型（LLM）后端，如 OpenAI、Anthropic、Ollama、LM Studio 等，可自由切换。
• 可上传文档（PDF、Word、TXT、CSV 等）并让 AI 基于文档内容回答。
• 所有对话和文档数据仅存储在本地，不会上传到任何第三方服务器。
• 无使用次数限制、无令牌配额、无付费墙。

前置条件

分步操作

方法一：桌面版安装（推荐）

1. 访问 https://anythingllm.com/，点击页面中央的 Download for Desktop 按钮。
2. 根据操作系统选择对应安装包（Windows 选 .exe，macOS 选 .dmg，Linux 选 .AppImage）。
3. 运行安装程序，按默认选项完成安装。
4. 启动 AnythingLLM，首次运行会自动进入设置向导。

方法二：Docker 部署（高级用户）

1. 确保已安装 Docker Desktop 或 Docker Engine。
2. 打开终端，执行以下命令：

   docker pull mintplexlabs/anythingllm

3. 创建本地数据目录（例如 ~/anythingllm-data）：

   mkdir -p ~/anythingllm-data

4. 运行容器：

   docker run -d -p 3001:3001 -v ~/anythingllm-data:/app/server/storage mintplexlabs/anythingllm

5. 打开浏览器访问 http://localhost:3001。

配置 LLM 后端（首次启动必做）

1. 在设置向导中，选择 LLM Provider。

• 如果使用本地模型（如 Ollama、LM Studio），选择对应选项并填写本地地址（例如 http://localhost:11434）。
• 如果使用远程 API（如 OpenAI），需提供 API Key（但此 Key 仅用于调用远程模型，对话数据仍存本地）。

2. 点击 Test Connection 确认连接成功。
3. 点击 Save 完成设置。

使用 AI 助手

1. 在主界面左侧点击 + New Workspace，输入名称（例如“工作助手”）。
2. 点击右侧 Upload Document，选择本地文件（支持 PDF、DOCX、TXT、CSV 等）。
3. 等待文件处理完成（处理时间取决于文件大小，通常 1-10 秒）。
4. 在输入框输入问题，例如“总结这份文档的要点”。
5. 观察 AI 回答，回答内容会引用文档中的具体段落（如果使用了文档）。

预期结果

• 启动后，界面显示一个聊天窗口，左侧为工作区列表，右侧为对话区域。
• 上传文档后，AI 能准确回答文档内容相关问题，且回答中会标注引用来源。
• 所有对话记录保存在本地 storage 目录下，关闭应用后重新打开，历史记录依然存在。
• 离线状态下，只要本地模型可用，AI 仍可正常工作。

常见问题

问题：启动后显示“无法连接 LLM 后端”

• 原因：未配置 LLM Provider 或配置地址错误。
• 解决：进入设置，重新选择 LLM Provider，检查地址和端口是否正确。如果使用本地模型，确保模型服务已启动。

问题：上传文档后 AI 回答与文档无关

• 原因：文档未正确索引或工作区未关联该文档。
• 解决：在左侧工作区右键点击文档，选择 Re-index。确保在提问时，当前工作区包含该文档。

问题：如何完全离线使用？

• 步骤：

1. 安装 Ollama 或 LM Studio 并下载一个本地模型（如 Llama 3.1 8B）。
2. 在 AnythingLLM 设置中，LLM Provider 选择 Ollama，地址填写 http://localhost:11434。
3. 断开网络，重启 AnythingLLM，确认仍可正常对话。

问题：数据存储在哪里？

• Windows：%APPDATA%/anythingllm-desktop/
• macOS：~/Library/Application Support/anythingllm-desktop/
• Linux：~/.local/share/anythingllm-desktop/
• Docker 部署：映射的宿主机目录（如 ~/anythingllm-data）

问题：支持多用户吗？

• 当前桌面版仅支持单用户本地使用。Docker 版可通过反向代理实现多用户访问，但数据仍共享同一存储目录。