本地电脑(Ubuntu)部署deepseek R1 1.5b 模型

下载Ollama

可以选择对应系统:Windows、Linux、macOs ,下载Ollama官网 ⬇️

Download Ollama on Linux

Download Ollama on Linux

Download Ollama for Linux

下载deepseek-r1

下载 deepseek-r1:1.5b ,因为电脑没独立显卡,只能下载1.5b,使用CPU;用CPU 速度还挺快;

CPU 是i3 12100 ,7b也能使用,开启联网功能,CPU占用80%左右,内存占用15G;

deepseek-r1 模型下载官网 ⬇️

deepseek-r1:1.5b

deepseek-r1:1.5b

DeepSeek's first-generation of reasoning models with comparable performance to OpenAI-o1, including six dense models distilled from DeepSeek-R1 based on Llama and Qwen.

下载和运行的命令行

ollama run deepseek-r1:1.5b

查看ollama 已经下载的模型

ollama list

删除ollama已下载的模型

ollama rm deepseek-r1:1.5b

效果

效果还行,不过不能联网使用(openwebui可以设置联网搜索),只能聊天;其他事情做不了;

退出命令行:/bye

root@My-System:/mnt/256G/docker# ollama run deepseek-r1:7b
>>> /bye

其他

没有GPU:1.5B Q8推理 或者 8B Q4推理

4G GPU:8B Q4推理

8G GPU:32B Q4推理 或者 8B Q4推理

16G GPU:32B Q4推理 或者 32B Q8推理

24G GPU: 32B Q8推理 或者 70B Q2推理

部署openwebui ⬇️

可以使用openwebui;通过浏览器访问本地的deepseek;

也可以内网穿透到外网使用;

https://www.saiita.com.cn/note/computer/ai/deepseek/ubuntu-%e5%ae%89%e8%a3%85openwebui.html



微信扫描下方的二维码阅读本文


知识共享许可协议本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可。

相关推荐

暂无评论

目录展开