首頁 > AI工具教程 > 愛派AiPy怎麼呼叫本地模型

愛派AiPy怎麼呼叫本地模型

更新時間:2026-10-16 05:26:23 釋出時間:15天前 閱讀:51 views次

愛派AiPy能接本地Ollama,完全不用聯網,跑任務零靈石消耗,省的是真金白銀。前提是你電腦得裝Ollama,拉一個本地模型,然後在AiPy配置檔案裡把Ollama地址填進去,重啟就能選本地模型幹活。下面從裝Ollama開始一步步說,曬鷗上也能搜到相關教程。

愛派AiPy本地模型

想免費用愛派AiPy?點這裡註冊:愛派AiPy官網,新使用者送免費靈石

先確認電腦配置夠不夠跑本地模型

Ollama跑模型吃記憶體和視訊記憶體。7B引數的模型大概需要8GB記憶體,13B要16GB,32B得32GB以上。沒有獨立顯示卡也能跑,就是慢,用CPU推理。先開啟工作管理員看看記憶體多大,硬碟留出至少10GB給模型檔案。配置太低就別硬跑大模型,選個3B或者7B的量化版湊合用。夠不夠用自己心裡先有個數。

去Ollama官網下載安裝包

瀏覽器開啟ollama.com,點Download,選Windows或者Mac版本。Windows下下來是個exe,雙擊一路下一步裝完。Mac是dmg,拖進應用程式。Linux用一條命令curl安裝。裝完在終端或者命令列裡敲ollama –version,能顯示版本號就說明裝好了。沒顯示的話重啟終端再試,或者把安裝路徑加到環境變數裡。

拉取一個合適的本地模型

開啟命令列,敲ollama pull qwen2.5:7b,這是通義千問7B版本,中文支援好,適合日常任務。想更小更快就拉qwen2.5:3b,想能力強一點拉llama3.1:8b。拉取過程看網速,幾百MB到幾個GB。拉完用ollama list看看模型在不在列表裡。別一次拉太多,硬碟扛不住,用一個拉一個。

啟動Ollama並確認服務在跑

裝完Ollama一般會自動在後臺執行,地址是http://localhost:11434。瀏覽器裡訪問這個地址,看到“Ollama is running”就說明服務正常。如果打不開,去開始選單找Ollama圖示點一下手動啟動。Windows上還可以在工作管理員裡看有沒有ollama.exe行程。服務沒跑起來的話,AiPy後面連不上,配置寫了也白寫。

找到AiPy的配置檔案在哪

Windows路徑是C:\Users\你的使用者名稱\.aipyapp,注意資料夾以點開頭,預設隱藏。在資源管理器點“檢視”,勾上“隱藏的專案”就能看到。Mac路徑是~/.aipyapp。進去之後找user_config.toml檔案,用記事本或者VS Code開啟。沒有這個檔案就自己新建一個,名字必須一模一樣,字尾是.toml不是.txt。

把Ollama配置寫進檔案

在檔案末尾另起一段,寫[llm.ollama],換行寫type = “openai”,再寫base_url = “http://localhost:11434/v1”,然後model = “qwen2.5:7b”,api_key = “ollama”,enable = true,default = false。api_key隨便填,Ollama不校驗。儲存檔案,別改字尾。格式錯了AiPy會讀不到,引號必須是英文雙引號。

重啟AiPy並在介面切換模型

把AiPy完全退出,重新開啟。在對話方塊上方的模型選擇下拉框裡,應該能看到ollama或者你配的模型名字。選中它,隨便輸個簡單任務,比如“幫我寫一個Python指令碼,生成隨機密碼”。看它能不能正常跑通。跑通了就說明本地模型接上了。跑不通的話看底部報錯,一般是連線失敗或者模型名寫錯了。

測試本地任務看是否零消耗

跑完任務之後,點AiPy左側的設定,進用量統計,看這次任務扣了多少靈石。如果顯示零消耗,說明走的是本地Ollama,沒調雲端API。如果還扣了靈石,說明模型沒切過去,回去檢查配置檔案裡的default是不是沒設對,或者下拉框裡選的還是雲端模型。零消耗才是本地模型的意義。

本地模型和雲端怎麼搭配用

本地模型適合簡單任務:檔案重新命名、格式轉換、寫個小指令碼、整理表格。複雜任務比如長文件分析、多步驟推理、生成整套PPT,還是切回DeepSeek或者Kimi。在AiPy下拉框裡隨時切換,不用改配置檔案。本地模型上下文長度有限,塞太長的內容它會忘,這點要注意。搭配著用最划算。

遇到連線失敗或模型不響應怎麼辦

先確認Ollama服務在跑,瀏覽器訪問11434埠看有沒有響應。埠被佔用的話改Ollama的預設埠,或者關掉佔用程式。防火牆可能攔了本地迴環,把Ollama加入允許列表。配置檔案裡base_url末尾的/v1不能少,少了連不上。還不行就重啟AiPy和Ollama,再不行看AiPy日誌裡的具體報錯。

本地模型的優缺點和適用場景

優點是省錢、隱私好、斷網也能用,程式碼和資料全在本機。缺點是能力比雲端弱,速度慢,吃記憶體。7B模型寫簡單指令碼還行,複雜邏輯容易出錯。適合日常辦公自動化、批次處理檔案、寫小工具。如果你經常做複雜分析,本地模型只能當補充,主力還是雲端。根據任務難度切換,別指望本地模型啥都能幹。

標籤:
微信        
微信號runmie