AI 部署指南

Appearance

Docker 部署 AI Agent（镜像加速版） ​

一句话 ​

在中国大陆用 Docker 部署 AI Agent，先配置镜像加速器（推荐 DaoCloud 或阿里云），再拉取 ollama、PyTorch 等镜像，最后用容器跑你的 Agent 代码。

AI Agent 快速入口

bash
curl -H "Accept: text/markdown" https://doc.k4b.cn/deployment/docker-ai-agent.md

快速部署（AI 版） ​

前置条件 ​

  • ✅ Docker 已安装（docker --version）
  • ✅ 确保 systemctl 或 service 可用（Linux）或 Docker Desktop 已启动（Windows/Mac）

步骤 ​

1. 配置 Docker Hub 镜像加速（中国大陆必须） ​

bash
# 使用 DaoCloud 公共加速器（无需注册）
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://docker.m.daocloud.io"]
}
EOF
sudo systemctl daemon-reload && sudo systemctl restart docker

2. 拉取并启动 AI Agent（基于 ollama + llama3.2） ​

bash
docker run -d --name ai-agent -p 11434:11434 \
  docker.m.daocloud.io/ollama/ollama

# 等待几秒后，拉取默认模型
docker exec ai-agent ollama pull llama3.2

3. 验证 Agent 是否就绪 ​

bash
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "你好，你是谁？",
  "stream": false
}'

返回 JSON 中包含 "response": "我是 Llama 3.2..." 即为成功。

详细教程（人类版） ​

背景 ​

Docker Hub 是全球最大容器镜像仓库，但中国大陆用户直接拉取极慢（常超时）。解决方案是配置 镜像加速器——Docker 会在你拉取镜像时，先尝试从镜像加速器下载，只有加速器没有时才回源到 Hub。

常见可用加速器（截止2026年7月）：

  • 🔹 DaoCloud：https://docker.m.daocloud.io（公共，免注册）
  • 🔹 阿里云：每位用户有独立加速地址，登录 容器镜像服务 获取
  • 🔹 中科大：https://docker.mirrors.ustc.edu.cn（建议先测试连通性）

注意：不要使用 registry.docker-cn.com，该服务已下线。

第一步：配置 Docker 镜像加速 ​

Linux（systemd）：

bash
# 编辑 daemon.json
sudo mkdir -p /etc/docker
sudo nano /etc/docker/daemon.json
# 填入（以 DaoCloud 为例）：
# {"registry-mirrors": ["https://docker.m.daocloud.io"]}

sudo systemctl daemon-reload
sudo systemctl restart docker

Windows / Mac（Docker Desktop）：
打开 Docker Desktop → Settings → Docker Engine → 修改 JSON 加入上述 registry-mirrors 字段 → Apply & Restart。

验证配置生效：

bash
# 查看 Docker 信息，Registry Mirrors 字段应包含你的加速器地址
docker info | grep -A 2 "Registry Mirrors"

第二步：部署常见 AI 框架（带镜像加速） ​

示例 1：PyTorch（CPU 版） ​

bash
# 拉取时自动走 DaoCloud 加速器
docker pull pytorch/pytorch:2.5.1-cpu
docker run --rm -it pytorch/pytorch:2.5.1-cpu python -c "import torch; print(torch.__version__)"

示例 2：TensorFlow（CPU 版） ​

bash
docker pull tensorflow/tensorflow:2.17.0
docker run --rm -it tensorflow/tensorflow:2.17.0 python -c "import tensorflow as tf; print(tf.__version__)"

示例 3：Ollama（本地 LLM 服务） ​

bash
# 拉取并使用镜像加速后的 ollama
docker pull docker.m.daocloud.io/ollama/ollama  # 也可直接用 ollama/ollama（已自动走加速器）
docker run -d --name my-ollama -p 11434:11434 ollama/ollama
docker exec my-ollama ollama pull llama3.2  # 下载模型（约4.7GB，耐心等待）

如需 GPU 支持，添加 --gpus all 并安装 NVIDIA Container Toolkit。

第三步：部署一个完整的 AI Agent（LangChain + Ollama） ​

假设你已经运行了 my-ollama 容器（上一步完成）。现在创建一个容器化 Agent，通过 HTTP 调用 Ollama 的 API。

创建项目目录 ​

bash
mkdir ai-agent-app && cd ai-agent-app

编写 Dockerfile ​

dockerfile
FROM python:3.11-slim

WORKDIR /app

RUN pip install --no-cache-dir langchain langchain-ollama uvicorn fastapi

COPY app.py .

EXPOSE 8000

CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]

编写 app.py ​

python
from fastapi import FastAPI
from langchain_ollama import ChatOllama

app = FastAPI()

llm = ChatOllama(model="llama3.2", base_url="http://host.docker.internal:11434")

@app.get("/chat")
async def chat(prompt: str):
    result = llm.invoke(prompt)
    return {"response": result.content}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

注意：host.docker.internal 可以访问宿主机上的 Ollama 服务。
如果你的 Ollama 也运行在容器中（如 my-ollama），可用 Docker 网络连接：docker network create agent-net 然后将两个容器都加入同一网络。

构建与运行 ​

bash
# 构建镜像（走镜像加速器更快）
docker build -t ai-agent-app .

# 运行容器（连接宿主机的 Ollama）
docker run -d --name my-agent -p 8000:8000 ai-agent-app

验证 Agent ​

bash
curl "http://localhost:8000/chat?prompt=用一句话介绍你自己"

返回类似 {"response":"我是基于 Llama 3.2 的 AI Agent，可以回答各种问题。"}。

常见问题 ​

Q1：配置镜像加速后拉取还是慢？

  • 检查加速器地址是否拼写正确，建议先 docker pull docker.m.daocloud.io/library/hello-world 测试。
  • 部分镜像（如 NVIDIA 相关）托管在 NGC 或 GitHub Container Registry，需单独配置（如 nvidia-docker）。

Q2：如何同时使用多个镜像加速器？
在 registry-mirrors 数组中填写多个地址，Docker 会按顺序尝试：

json
{"registry-mirrors": ["https://docker.m.daocloud.io", "https://xxxx.mirror.aliyuncs.com"]}

Q3：Ollama 容器杀掉了重新运行需要重新下载模型吗？
不需要。Ollama 将模型存储在 /root/.ollama，用 -v ./ollama_data:/root/.ollama 挂载即可持久化。

Q4：AI Agent 容器如何访问网络？
默认容器可访问外网，如需调用 OpenAI 等外部 API，建议将 API Key 通过 -e OPENAI_API_KEY=sk-xxx 传入环境变量（不写在代码里）。

相关教程 ​

最后更新：2026-07-24 · 如遇链接失效或镜像加速地址变更，请查阅 doc.k4b.cn 镜像加速器清单