Docker：拥抱本地大模型

想象一下输入 docker run model mistral/mistral-small，然后立刻拥有一个强大的 AI 在你的指尖。很快，这将成为现实。

Docker 宣布了对本地大型语言模型（LLM）的原生支持，将 AI 能力直接引入数百万开发人员已经使用的熟悉容器生态系统中。

1、Docker 为何拥抱本地 LLM

Docker 的领导团队认识到本地 LLM 正以“极快的速度”发展，并认为世界需要这些模型出于多种原因：成本效率、隐私考虑、性能优势和灵活性。

通过将 LLM 直接集成到 Docker 生态系统中，他们使更广泛的开发者社区能够更容易地访问 AI。

这一公告特别令人印象深刻的是其实现的简单性。通过标准的 Docker 运行命令，开发人员现在可以在任何 Docker 运行的地方部署包括 Mistral、DeepSeek 和 Llama 在内的强大 AI 模型。

每个模型都带有与 OpenAI 兼容的 API，确保与现有工具和库如 LangChain、LlamaIndex 和 Spring AI 的无缝集成。

2、Mac 用户欢呼：你一直在等待的 GPU 加速来了

Docker 的公告中最令人兴奋的部分之一，尤其是对于 Mac 用户来说，是为 Apple Silicon 提供的 GPU 加速支持。这一功能代表了一个重要的进步，许多开发人员一直在热切期待。

Mac 用户对 macOS 中的新 GPU 加速支持感到非常兴奋，这让他们可以利用计算机的图形硬件来加速任务。这使得他们的 Mac 达到了与使用 NVIDIA GPU 的系统的同等水平，而且没有以前安装软件时遇到的麻烦，比如占用大量磁盘空间或难以让所有东西协同工作的问题。

简而言之，这是一种更简单、更干净的方式来提升性能。

Docker 采用了一种创新的方法来部署 LLM。而不是在容器内或 Docker Desktop VM 中运行模型，这些模型在主机上本机运行。

这种架构允许充分利用 GPU 能力，显著提高计算密集型 AI 工作负载的性能。

最初的发布目标是配备 Apple Silicon 的 Mac 计算机，而 Windows 支持将在“不久后”推出，根据 Docker 团队的说法。

这种分阶段的发布确保每个平台在发布前都能得到适当的优化。

对于那些在运行 AI 应用程序时一直在与 Python 依赖项和环境管理问题作斗争的开发人员来说，这种容器化方法有望极大地简化他们的工作流程。

3、技术实现：Docker 是如何做到的

幕后，Docker 正在设计模型运行器以支持多种后端，首先从 llama.cpp 开始，这是一个流行的高效推理引擎。

这种方法表明 Docker 正在计划一种灵活的架构，未来可以容纳各种模型框架。

在分发方面，Docker 选择了将模型打包为 OCI（开放容器倡议）工件。这一决定尤为重要，因为它允许开发人员使用他们已经用于容器管理的相同熟悉的工具和流程来分发和管理 AI 模型。

组织可以从 DockerHub 和其他容器注册表中推送和拉取模型，就像处理其他容器镜像一样。

Docker 还暗示了对 Mac 上容器更广泛 GPU 加速的实验性支持，尽管这不是当前公告的一部分。

高级用户可以通过启用 Docker VMM、使用带有修补 MESA 驱动程序的 Linux 映像并为容器传递适当的设备选项来探索此功能。

4、社区观点：包装器之争

Docker 进入 LLM 领域引发了开发人员社区关于更广泛的工具生态系统管理运行 AI 模型的讨论。

社区成员积极讨论了 Ollama 和 llama-swap 等包装器工具的作用，这些工具提供了简化界面来管理和运行 LLM。

批评者认为这些工具在 llama.cpp 等更直接的解决方案之上添加了不必要的抽象层，评论如“我只是使用 LM Studio，为什么我要选择在 Docker 中运行它？当然，我是 Windows 用户，不过，无论操作系统如何，我都看不到意义……就像直接使用 LlamaCPP。”

另一方面，这些包装器工具的支持者强调它们在民主化访问 AI 方面的价值。“实际上是有帮助的，”一位用户回应道。“例如，如果有人不想在磁盘空间上堆积 Python 依赖项，那么无法在具有 GPU 加速的容器中使用某些 AI 应用程序。”这些包装器提供了模块化和易于分发的优势，使在生产环境中托管和管理模型变得更加简单。

5、开源协作与独立开发

该公告也重新点燃了关于开源开发方法的争论。一些社区成员表达了对创建品牌包装器而非直接为 llama.cpp 等已建立项目做出贡献的担忧。

他们认为这种碎片化可能导致重复努力，并减缓整个生态系统的进展。

相反的观点集中在模块化方法和专门工具的重要性上，这些工具服务于不同的用户需求。支持这一观点的人认为，拥有多样化的解决方案，有些专注于简单性，另一些则注重功能性和灵活性，创造了一个更健康的生态系统，能够满足多样化的开发者需求，特别是在快速发展的 AI 模型托管领域。

6、为什么这很重要：转变 AI 开发

这一发展标志着 AI 模型部署和利用方式的重大转变。通过容器化 LLM，Docker 解决了几个关键挑战：

• 隐私问题：组织现在可以将敏感数据保留在其基础设施内。
• 成本优化：减少了对按令牌付费的云 API 的依赖。
• 性能改进：本机执行消除了开销。
• 灵活性：开发人员获得了更大的模型选择和定制控制。
• 简单性：熟悉的 Docker 命令降低了 AI 采用的学习曲线。

随着 AI 继续成为现代软件开发的重要组成部分，Docker 将 LLM 集成到其容器生态系统中的举措为开发人员提供了强大的新工具，这些工具保持了使 Docker 如此受欢迎的简单性和可移植性。

7、接下来：Docker 的 LLM 路线图

Docker 对开源社区的承诺显而易见。该公司强调他们“认为让模型更容易运行对未来的每位开发人员都很重要”，并计划尽可能多地回馈开源生态系统，无论是通过他们的项目还是通过上游贡献。

新的 LLM 功能将在即将发布的 Docker Desktop 4.40 版本中首次亮相，预计在未来几周内推出。

对于迫不及待的人来说，这些功能目前可以在 Docker Desktop Nightly 构建中使用，尽管这些前沿版本可能包含错误和其他问题。

Docker 的领导层已强调这仅仅是未来几个月计划推出的一系列创新的开端。

该公司将“发布很多东西”，重点放在开发人员生产力、安全性以及AI集成上。新的LLM相关功能计划每月发布，表明其未来的雄心勃勃的路线图。

对于渴望了解这些发展的开发人员，Docker在docker.com/llm上设置了一个通知系统。这一公告展示了Docker对未来愿景，一个AI能力与软件开发生命周期中的任何其他组件一样易于访问和管理的世界。

对于包括Java社区在内的各个生态系统中的开发人员来说，这些进步有望显著简化现有应用程序和工作流中AI的集成。

容器化AI开发的未来比以往任何时候都更加光明。

8、你的看法？

将开源LLM作为容器镜像拉取是否对你的工作流程产生了变革性影响，或者你更喜欢llama.cpp或Ollama等工具的直接方法？

对于生产用例，哪种方法对你更有意义？

• 容器化方法是否提供了更好的部署一致性和可扩展性？
• llama.cpp的直接集成是否更适合你的特定需求？
• Ollama等封装工具是否仍然提供了最佳的简单性和灵活性平衡？

对于企业部署而言，考虑因素可能与个人或小型团队的使用方式大不相同。

版本控制、治理和CI/CD管道集成等因素如何影响你的偏好？

请在下面的评论中分享你的经验和想法。

你是否对尝试Docker的新LLM集成感到兴奋，还是对当前的工具感到满意？

你的见解可以帮助其他人在这个快速发展的本地AI开发工具领域中导航。

原文链接：Docker Enters AI Arena: Run LLMs Like Standard Containers

汇智网翻译整理，转载请标明出处