[Docker][DevOps][AI]
2025年7月28日

Docker Compose 添加 LLM ‘models’ 支持和云卸载功能以支持智能应用

Compose 中的 LLM models 配置

Docker Compose 2.38.0 添加了一个新的顶级 models 元素,使开发者能够直接在 Compose 文件中定义大型语言模型。服务现在可以在容器旁边指定模型设置,例如模型名称、版本和资源需求,从而简化智能应用的本地开发和部署,无需单独的机器学习编排工具 (docs.docker.com)。

统一的 AI 代理工作流

开发者可以在 docker-compose.yml 中声明代理和与模型上下文协议(MCP)兼容的工具,然后通过单个 docker compose up 启动整个智能堆栈。Compose 与流行的 AI 框架(如 LangGraph、Embabel、Vercel AI SDK、Spring AI、CrewAI、Google 的 ADK 和 Agno)开箱即用集成,使得使用熟悉的 YAML 定义快速原型和迭代智能工作流变得简单 (sdtimes.com)。

云规模执行的 Docker 卸载

除了本地支持,Docker 卸载还允许团队将计算密集型 AI 工作负载卸载到云环境(例如 Google Cloud Run、Azure Container Apps),使用相同的 Compose CLI。这种混合模型实现了无缝扩展:开发者在本地构建和测试,然后利用托管的云资源进行生产推理,所有这些都无需更改 Compose 定义 (sdtimes.com)。

来源: Docker Compose 为构建和运行代理添加新功能 - SD Times

阅读更多

加入我们的社区