首页 > AI > 爱派AiPy怎么调用本地模型

爱派AiPy怎么调用本地模型

更新时间:2026-10-02 18:19:24 发布时间:22小时前 阅读:11次

爱派AiPy能接本地Ollama,完全不用联网,跑任务零灵石消耗,省的是真金白银。前提是你电脑得装Ollama,拉一个本地模型,然后在AiPy配置文件里把Ollama地址填进去,重启就能选本地模型干活。下面从装Ollama开始一步步说,晒鸥上也能搜到相关教程。

爱派AiPy本地模型

想免费用爱派AiPy?点这里注册:爱派AiPy官网,新用户送免费灵石

先确认电脑配置够不够跑本地模型

Ollama跑模型吃内存和显存。7B参数的模型大概需要8GB内存,13B要16GB,32B得32GB以上。没有独立显卡也能跑,就是慢,用CPU推理。先打开任务管理器看看内存多大,硬盘留出至少10GB给模型文件。配置太低就别硬跑大模型,选个3B或者7B的量化版凑合用。够不够用自己心里先有个数。

去Ollama官网下载安装包

浏览器打开ollama.com,点Download,选Windows或者Mac版本。Windows下下来是个exe,双击一路下一步装完。Mac是dmg,拖进应用程序。Linux用一条命令curl安装。装完在终端或者命令行里敲ollama –version,能显示版本号就说明装好了。没显示的话重启终端再试,或者把安装路径加到环境变量里。

拉取一个合适的本地模型

打开命令行,敲ollama pull qwen2.5:7b,这是通义千问7B版本,中文支持好,适合日常任务。想更小更快就拉qwen2.5:3b,想能力强一点拉llama3.1:8b。拉取过程看网速,几百MB到几个GB。拉完用ollama list看看模型在不在列表里。别一次拉太多,硬盘扛不住,用一个拉一个。

启动Ollama并确认服务在跑

装完Ollama一般会自动在后台运行,地址是http://localhost:11434。浏览器里访问这个地址,看到“Ollama is running”就说明服务正常。如果打不开,去开始菜单找Ollama图标点一下手动启动。Windows上还可以在任务管理器里看有没有ollama.exe进程。服务没跑起来的话,AiPy后面连不上,配置写了也白写。

找到AiPy的配置文件在哪

Windows路径是C:\Users\你的用户名\.aipyapp,注意文件夹以点开头,默认隐藏。在资源管理器点“查看”,勾上“隐藏的项目”就能看到。Mac路径是~/.aipyapp。进去之后找user_config.toml文件,用记事本或者VS Code打开。没有这个文件就自己新建一个,名字必须一模一样,后缀是.toml不是.txt。

把Ollama配置写进文件

在文件末尾另起一段,写[llm.ollama],换行写type = “openai”,再写base_url = “http://localhost:11434/v1”,然后model = “qwen2.5:7b”,api_key = “ollama”,enable = true,default = false。api_key随便填,Ollama不校验。保存文件,别改后缀。格式错了AiPy会读不到,引号必须是英文双引号。

重启AiPy并在界面切换模型

把AiPy完全退出,重新打开。在对话框上方的模型选择下拉框里,应该能看到ollama或者你配的模型名字。选中它,随便输个简单任务,比如“帮我写一个Python脚本,生成随机密码”。看它能不能正常跑通。跑通了就说明本地模型接上了。跑不通的话看底部报错,一般是连接失败或者模型名写错了。

测试本地任务看是否零消耗

跑完任务之后,点AiPy左侧的设置,进用量统计,看这次任务扣了多少灵石。如果显示零消耗,说明走的是本地Ollama,没调云端API。如果还扣了灵石,说明模型没切过去,回去检查配置文件里的default是不是没设对,或者下拉框里选的还是云端模型。零消耗才是本地模型的意义。

本地模型和云端怎么搭配用

本地模型适合简单任务:文件重命名、格式转换、写个小脚本、整理表格。复杂任务比如长文档分析、多步骤推理、生成整套PPT,还是切回DeepSeek或者Kimi。在AiPy下拉框里随时切换,不用改配置文件。本地模型上下文长度有限,塞太长的内容它会忘,这点要注意。搭配着用最划算。

遇到连接失败或模型不响应怎么办

先确认Ollama服务在跑,浏览器访问11434端口看有没有响应。端口被占用的话改Ollama的默认端口,或者关掉占用程序。防火墙可能拦了本地回环,把Ollama加入允许列表。配置文件里base_url末尾的/v1不能少,少了连不上。还不行就重启AiPy和Ollama,再不行看AiPy日志里的具体报错。

本地模型的优缺点和适用场景

优点是省钱、隐私好、断网也能用,代码和数据全在本机。缺点是能力比云端弱,速度慢,吃内存。7B模型写简单脚本还行,复杂逻辑容易出错。适合日常办公自动化、批量处理文件、写小工具。如果你经常做复杂分析,本地模型只能当补充,主力还是云端。根据任务难度切换,别指望本地模型啥都能干。

标签:
微信        
微信号runmie