Ollama v0.30.0集成llama.cpp引擎,形成双引擎架构,支持NVIDIA/AMD GPU及多种CPU。可直接加载Hugging Face的GGUF模型和自定义微调模型,NVIDIA推理性能显著提升。升级后自动适配硬件,模型数据不丢失。
🔥 这次更新了什么?
Ollama v0.30.0 是一次架构级的重大更新。核心变化是集成了 llama.cpp 引擎,与 Apple Silicon 上的 MLX 引擎形成双引擎架构。这意味着 Ollama 现在可以在更广泛的硬件上运行,包括 NVIDIA GPU、AMD GPU 以及各种 CPU 架构。
⚡ llama.cpp 引擎集成
这是本次更新的核心。llama.cpp 的集成让 Ollama 突破了 Apple Silicon 的限制,可以在 NVIDIA、AMD 等硬件上运行。对于开发者来说,这意味着你可以在服务器、工作站甚至树莓派上运行 Ollama,不再受限于特定平台。
🤗 Hugging Face GGUF 模型支持
现在可以直接加载 Hugging Face 上的 GGUF 格式模型了!这意味着你可以使用社区微调的各种模型,而不仅限于 Ollama 官方库中的模型。对于需要定制化模型的用户来说,这是一个巨大的便利。
🚀 NVIDIA 硬件性能提升
在 NVIDIA GPU 上的推理性能得到了显著提升。llama.cpp 对 CUDA 的优化让 Ollama 在 NVIDIA 硬件上的表现更加出色。如果你有 NVIDIA 显卡,升级后应该能感受到明显的速度提升。
🔧 自定义微调模型支持
除了 Hugging Face 模型,Ollama 现在也支持加载你自己的微调模型。只需要将模型转换为 GGUF 格式,就可以通过 Ollama 运行。这大大扩展了 Ollama 的应用场景。
✅ 适合哪些人?
✅ NVIDIA/AMD GPU 用户:llama.cpp 引擎让你们的硬件终于能被充分利用
✅ 模型开发者:可以直接加载 Hugging Face 上的 GGUF 模型和自己的微调模型
✅ 服务器部署者:不再局限于 Apple Silicon,可以在各种 Linux 服务器上运行
⚠️ Apple Silicon 用户:MLX 引擎仍然是默认,但可以切换到 llama.cpp 以获得更多模型支持
🛠️ 快速上手
升级 Ollama:
# macOS/Linux 升级
curl -fsSL https://ollama.com/install.sh | sh
# 或者下载最新版本
# https://ollama.com/download
# 运行模型
ollama run llama3.2
# 加载 Hugging Face 模型
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF
升级后,Ollama 会自动根据你的硬件选择最合适的引擎(MLX 或 llama.cpp)。
❓ 常见问题
Q: 升级后我的模型会丢失吗?
A: 不会。模型数据存储在独立目录,升级不会影响已下载的模型。
Q: 如何选择使用哪个引擎?
A: Ollama 会自动选择最合适的引擎。在 Apple Silicon 上默认使用 MLX,其他硬件使用 llama.cpp。你也可以通过环境变量强制指定。
Q: Hugging Face 模型需要转换格式吗?
A: 需要 GGUF 格式。大多数热门模型已经有 GGUF 版本,直接使用即可。如果是其他格式,需要先用 llama.cpp 的转换工具处理。
🙌 写在最后
Ollama v0.30.0 的发布标志着它从"Apple Silicon 专属"进化为"全平台本地 AI 运行时"。llama.cpp 的集成让它可以在几乎所有硬件上运行,Hugging Face 模型支持则让它接入了庞大的开源模型生态。
如果你一直在等 Ollama 支持你的 NVIDIA 显卡,现在就是升级的最佳时机。
#Ollama #本地AI #llama.cpp #HuggingFace #开源

暂无评论
要发表评论,您必须先 登录