vLLM是一个大模型推理加速引擎，适合高吞吐量地运行Llama、Qwen等模型。用它搭建API服务，可以提高并发处理能力和GPU利用率；实际速度仍取决于模型、显卡、上下文长度和请求量。下面从安装、离...

LM Studio是一个图形化的本地大模型运行工具，在界面里搜索下载模型就能聊天，适合不想用命令行的用户。它支持在电脑上加载模型并进行对话，基本流程就是安装软件、选模型、等待下载、加载后提...

Ollama是一个本地运行大模型的工具，可以用一行命令在电脑上运行Llama、Qwen等开源模型。模型下载完成后，通常可在本机离线对话，不必持续联网；但首次安装、下载模型和更新时需要网络。下面从...

Open WebUI是一个开源的自托管ChatGPT界面，可以本地部署，连接各种大模型，拥有类似ChatGPT的网页聊天体验。它本身不附带模型：你可以接入云端模型API，也可以连接Ollama等本地服务。下面用Do...

AnythingLLM是一个可以本地运行的AI知识库聊天工具，连接你的文档和大模型API，在电脑上私有部署问答系统。它本身不是大模型，而是负责管理模型、文档和聊天工作区的界面：你把资料放进去，系...

FastGPT是一个开源的知识库问答系统，可以上传文档构建自己的AI知识库，让大模型基于你的资料回答问题。它适合用来整理产品手册、内部制度、课程资料等内容，再通过应用或工作流提供问答服务。...

Coze扣子是字节跳动推出的AI智能体搭建平台，不用写代码就能做聊天机器人和AI应用，还能发布到豆包和飞书。你可以把它理解成一个可视化工作台：先说明智能体要扮演什么角色，再按需配置插件、...

Dify是一个开源的可视化AI应用搭建平台，可以通过拖拽组件来制作聊天机器人、知识库问答和AI工作流，入门时不必先写代码。你可以在同一个工作区配置模型、整理资料、测试效果，再把应用发布成...

OpenAI Agents SDK是OpenAI官方推出的AI代理开发框架，用来构建能调用工具、执行任务的AI代理应用。它提供代理、工具函数、任务移交和运行追踪等能力，适合把模型回答扩展成多步骤工作流。下面...

AutoGen是微软开源的多AI代理对话框架，让多个AI角色互相讨论协作，自动完成写代码、做研究等复杂任务。你可以把它想成一个可编排的虚拟小组：有人负责拆解问题，有人执行，有人检查结果。下面...