Milvus是一个开源的向量数据库，专门用来存储和搜索向量数据，是做AI知识库和推荐系统的核心组件。文本、图片等内容先经模型转换成向量，再交给Milvus存储和检索；它也能保存文本、类别等字段...

vLLM是一个大模型推理加速引擎，适合高吞吐量地运行Llama、Qwen等模型。它通过PagedAttention和连续批处理等机制提升显存利用率与请求处理能力；部署成API服务后，通常能提高整体吞吐量和并发...

LM Studio是一个图形化的本地大模型运行工具，在界面里搜索下载模型就能聊天，适合不想用命令行的用户。它支持在电脑上加载模型、管理模型并进行对话；模型文件下载到本机后，就能由电脑本地运...

Ollama是一个本地运行大模型的工具，安装后用一行命令就能在电脑上运行Llama、Qwen、DeepSeek等开源模型。模型文件下载完成后，日常对话可以离线进行；首次安装和下载模型需要联网。下面从安装...

Open WebUI是一个自托管的ChatGPT风格网页界面，可以用Docker快速部署，再连接Ollama本地模型或兼容OpenAI格式的云端大模型API。它提供熟悉的聊天操作方式，也支持模型切换和保存对话。下面按“...

AnythingLLM是一个本地运行的AI知识库聊天工具，把文档拖进去就能和自己的资料对话，支持多种大模型和向量数据库。它会将文档拆分、检索，再把相关内容交给模型回答；你可以选本地模型，也可以...

FastGPT是一个开源的知识库问答系统，用Docker一键部署就能给企业搭建私有AI客服，支持文档导入、语义搜索和大模型回答。它会先从资料中检索相关内容，再交给模型组织答案，适合内部制度查询、...

Coze扣子是字节跳动推出的AI智能体搭建平台，不用写代码就能创建各种AI机器人，还能发布到飞书、微信等渠道。你可以把它理解成一个可视化工作台：先告诉智能体要扮演什么角色、解决什么问题，...

Dify是一个可视化的AI应用搭建平台，不用写代码就能拖拽搭建聊天机器人、知识库问答、工作流，还能接入各种大模型。你可以先从一个简单问答助手开始，边配置边预览，再逐步加上自己的资料和工...

AutoGen是微软开源的多AI代理对话框架，能让多个AI角色通过对话协作完成任务，还能接入人类参与讨论。你可以把它想成一个由不同岗位组成的小团队：研究员负责整理资料，写作者负责起草，审核员...