本地部署大模型 Ollama

通过 Docker 部署 Ollama

1. 安装 Docker Desktop 桌面端（不熟悉的话可自行搜索安装教程）。
2. 在 Docker Hub 中搜索 ollama，下载并运行镜像。
   
3. 运行后，通过终端执行以下命令拉取模型（模型可自行选择开源模型）：

   # qwen2.5:1.5b 是模型名，你可以自行搜索并替换为其他模型
   docker exec -it ollama ollama run qwen2.5:1.5b
   

   
   
4. 等待模型下载完成。为了允许插件跨域访问，需要重新运行以下命令：

   docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
   

   如果提示"模型已存在"，请先删除已有容器，再重新运行上面的命令。
5. 回到插件设置中，测试 Ollama 连接是否成功。