Deepseek实践 并非最佳

官方

已接入的第三方平台


本地部署

模型仓库
https://huggingface.co/deepseek-ai
https://hf-mirror.com
https://www.modelscope.cn/organization/deepseek-ai
ollama官方文档
https://github.com/ollama/ollama/blob/main/docs/README.md

安装ollama

下载地址
https://ollama.com/download

导入模型(二选一)

使用ollama官网方式联网拉取模型(建议使用这个)

模型仓库
https://ollama.com/library/deepseek-r1
# 4070s占用2G显存,速度200tokps
ollama run deepseek-r1:1.5b

# 4070s占用8.5G显存,速度72tokps
ollama run deepseek-r1:8b

# 4070s占用10G显存5G内存,速度13tokps
ollama run deepseek-r1:14b

# 4070s占用10G显存16G内存,速度4tokps
ollama run deepseek-r1:32b

拉取缓慢可以先CTRL+C然后重新执行拉取指令,是接着上次中断的拉取

手动导入模型(不建议)

具体流程建议查看官方文档import部分(好像有点问题)
https://github.com/ollama/ollama/blob/main/docs/import.md#Importing-a-GGUF-based-model-or-adapter

(可选)添加ollama环境变量

# 允许他人网络访问
OLLAMA_HOST 0.0.0.0
# 增加并发请求
OLLAMA_NUM_PARALLEL 2
# 多模型同时加载
OLLAMA_MAX_LOADED_MODELS 2

运行(到这里就可以简单运行,复杂功能继续看)

ollama run my-model

安装AnythingLLM(这东西相当于前端)

官网
https://anythingllm.com/

docker拉取镜像

docker pull mintplexlabs/anythingllm

AnythingLLM 接入 Web Search

https://blog.51cto.com/u_16802720/13092314
赞(0) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《Deepseek实践 并非最佳》
文章链接:https://blog.78cat.cn/5164.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

觉得文章有用就打赏一下文章作者

感谢您的支持,我将持续输出干货满满的内容

支付宝扫一扫

微信扫一扫