AnythingLLM怎麼用 本地AI知識庫聊天工具教程

AnythingLLM是一個本地執行的AI知識庫聊天工具，把文件拖進去就能和自己的資料對話，支援多種大模型和向量資料庫。它會將文件拆分、檢索，再把相關內容交給模型回答；你可以選本地模型，也可以接入雲端API。下面按安裝、配置和提問三步來操作，第一次使用也能快速搭起自己的資料庫。

第一步：安裝AnythingLLM

先按電腦系統選擇安裝方式：個人使用可下載AnythingLLM桌面版，按提示安裝並開啟；需要多人共用或部署在伺服器上，可選擇Docker版。下載時儘量從專案官方渠道進入，安裝包版本和系統要對應。桌面版開啟後會進入初始設定頁面，跟著介面提示完成基礎配置即可。

首次啟動時，先設定工作區名稱，例如“產品資料”或“學習筆記”，方便把不同主題的檔案分開放。接著檢查語言、儲存位置和服務狀態；如果系統詢問模型提供方，可以暫時選擇稍後配置。建議預留足夠磁碟空間，因為原始檔案、處理後的文字和向量資料都可能佔用儲存。

第二步：配置大模型和向量庫

進入設定頁面配置聊天模型與嵌入模型。聊天模型負責理解問題並組織答案，嵌入模型負責把文件和問題轉換成便於檢索的向量，兩者用途不同，不要把模型名稱填錯。向量資料庫則用來儲存文件片段及其向量。初學者先使用預設的LanceDB即可，通常不必額外安裝資料庫服務。

如果確實需要連線其他向量資料庫，可在全域性設定中選擇支援的提供方，再填寫服務地址、憑據或資料庫資訊，並確認服務已啟動、網路可訪問。向量庫屬於系統級配置，換庫不會自動搬遷舊向量；更換後通常要重新嵌入各工作區裡的文件。因此剛開始先用預設選項，確定規模和需求後再調整會更省事。

接入本地或API模型

想在電腦本機執行模型，可先安裝並啟動Ollama或LM Studio，再到AnythingLLM的模型設定裡選擇對應提供方，填寫服務地址並選一個已經準備好的模型。模型名稱、地址和埠要與本機服務一致；如果連線失敗，先確認模型服務正在執行，再檢查地址是否能從AnythingLLM所在環境訪問。

使用雲端API時，在模型提供方中選擇對應服務，填入API金鑰、介面地址和模型名稱，儲存後通常可以測試連線。金鑰要按服務商要求配置，別把示例文字當成真實金鑰。聊天模型與嵌入模型可能需要分別設定；配置完成後回到工作區，確認該工作區選用了正確的聊天模型和嵌入模型，再開始匯入資料。

第三步：上傳文件並對話

開啟目標工作區，在文件區上傳檔案，或按介面提示把檔案拖入；檔案進入工作區後，選擇嵌入或同步操作，讓系統提取文字並建立檢索索引。支援的格式依版本和解析器而異，常見的PDF、DOCX、TXT和Markdown通常可作為起點。掃描版PDF若識別不到文字，先做OCR再上傳，效果會更好。

嵌入完成後進入聊天視窗，直接問具體問題，例如“這份資料對退款期限怎麼規定？”問題越明確，檢索越容易找到對應內容。回答不理想時，檢查檔案是否處理完成、提問是否包含關鍵詞，也可以嘗試調整工作區的檢索設定。重要結論最好點開引用片段回看原文，確認語境、數字和條件沒有被遺漏。

記住，臨時把檔案附加到聊天和把檔案嵌入工作區不是一回事：臨時附件可能只對當前對話執行緒可用；嵌入工作區後，資料才方便在該工作區的不同聊天中檢索。檔案較多時，按主題分工作區、用清楚的檔名，並定期刪除重複版本，能減少檢索到舊資料的情況。

若本機效能有限，或想要開箱即用的中文資料問答體驗，也可以瞭解國內替代工具沁言學術，官網：qinyanai.cgref.cn。無論選擇哪種工具，先拿幾份格式清晰、內容熟悉的檔案試問，再根據回答質量調整模型和檢索設定；網站“潤滅”也可作為記錄工具體驗和操作心得的欄目名稱。