学完能做什么 / 解决什么问题
- 在本地计算机上运行一个完全私密的 AI 助手,无需联网、无需注册账户、无需 API 密钥。
- 支持多种大语言模型(LLM)后端,如 OpenAI、Anthropic、Ollama、LM Studio 等,可自由切换。
- 可上传文档(PDF、Word、TXT、CSV 等)并让 AI 基于文档内容回答。
- 所有对话和文档数据仅存储在本地,不会上传到任何第三方服务器。
- 无使用次数限制、无令牌配额、无付费墙。
前置条件
| 项目 |
要求 |
| 操作系统 |
Windows 10+ / macOS 11+ / Linux(Ubuntu 20.04+ 或等效) |
| 内存 |
至少 4GB(推荐 8GB 以上,使用本地模型时需更多) |
| 磁盘空间 |
至少 1GB 可用空间(文档和模型占用另计) |
| 网络 |
仅首次安装及下载模型时需要,运行后可选离线 |
| 软件依赖 |
Docker(可选,用于容器化部署)或 Node.js 18+(用于源码运行) |
分步操作
方法一:桌面版安装(推荐)
- 访问 https://anythingllm.com/,点击页面中央的 Download for Desktop 按钮。
- 根据操作系统选择对应安装包(Windows 选
.exe,macOS 选 .dmg,Linux 选 .AppImage)。
- 运行安装程序,按默认选项完成安装。
- 启动 AnythingLLM,首次运行会自动进入设置向导。
方法二:Docker 部署(高级用户)
- 确保已安装 Docker Desktop 或 Docker Engine。
- 打开终端,执行以下命令:
docker pull mintplexlabs/anythingllm
- 创建本地数据目录(例如
~/anythingllm-data):
mkdir -p ~/anythingllm-data
- 运行容器:
docker run -d -p 3001:3001 -v ~/anythingllm-data:/app/server/storage mintplexlabs/anythingllm
- 打开浏览器访问
http://localhost:3001。
配置 LLM 后端(首次启动必做)
- 在设置向导中,选择 LLM Provider。
- 如果使用本地模型(如 Ollama、LM Studio),选择对应选项并填写本地地址(例如
http://localhost:11434)。
- 如果使用远程 API(如 OpenAI),需提供 API Key(但此 Key 仅用于调用远程模型,对话数据仍存本地)。
- 点击 Test Connection 确认连接成功。
- 点击 Save 完成设置。
使用 AI 助手
- 在主界面左侧点击 + New Workspace,输入名称(例如“工作助手”)。
- 点击右侧 Upload Document,选择本地文件(支持 PDF、DOCX、TXT、CSV 等)。
- 等待文件处理完成(处理时间取决于文件大小,通常 1-10 秒)。
- 在输入框输入问题,例如“总结这份文档的要点”。
- 观察 AI 回答,回答内容会引用文档中的具体段落(如果使用了文档)。
预期结果
- 启动后,界面显示一个聊天窗口,左侧为工作区列表,右侧为对话区域。
- 上传文档后,AI 能准确回答文档内容相关问题,且回答中会标注引用来源。
- 所有对话记录保存在本地
storage 目录下,关闭应用后重新打开,历史记录依然存在。
- 离线状态下,只要本地模型可用,AI 仍可正常工作。
常见问题
问题:启动后显示“无法连接 LLM 后端”
- 原因:未配置 LLM Provider 或配置地址错误。
- 解决:进入设置,重新选择 LLM Provider,检查地址和端口是否正确。如果使用本地模型,确保模型服务已启动。
问题:上传文档后 AI 回答与文档无关
- 原因:文档未正确索引或工作区未关联该文档。
- 解决:在左侧工作区右键点击文档,选择 Re-index。确保在提问时,当前工作区包含该文档。
问题:如何完全离线使用?
- 安装 Ollama 或 LM Studio 并下载一个本地模型(如 Llama 3.1 8B)。
- 在 AnythingLLM 设置中,LLM Provider 选择 Ollama,地址填写
http://localhost:11434。
- 断开网络,重启 AnythingLLM,确认仍可正常对话。
问题:数据存储在哪里?
- Windows:
%APPDATA%/anythingllm-desktop/
- macOS:
~/Library/Application Support/anythingllm-desktop/
- Linux:
~/.local/share/anythingllm-desktop/
- Docker 部署:映射的宿主机目录(如
~/anythingllm-data)
问题:支持多用户吗?
- 当前桌面版仅支持单用户本地使用。Docker 版可通过反向代理实现多用户访问,但数据仍共享同一存储目录。