本地部署DeepSeek大模型服务

之前的文章介绍了怎么对接DeepSeek的API实现自己的助手,但是依旧使用的DeepSeek官方服务器,在高峰期还是会出现超长延时的情况,本文介绍另一种思路,通过在本机上部署DeepSeek大模型服务来告别卡顿崩溃。

Ollama安装

Ollama是一个运行大模型的服务程序,我们要在自己的电脑上运行DeepSeek大模型的话,需要先安装Ollama,之后通过Ollama来加载对应的模型进行对话。

直接访问Ollama的官方网站,点击页面上的Download按钮进入下载页。

https://static.scung.cn/651b9c67-66b4-4e64-aa00-d0405ce0d819.png

使用的Windows电脑,默认按钮为Download for Windows,点击就可以下载,Ollama还支持在Windows,Linux,macOS上运行。

https://static.scung.cn/91acc609-21ca-4841-b585-fd946d93504b.png

下载之后直接点击OllamaSetup.exe,即可安装Ollama服务。

https://static.scung.cn/14573d5a-f8aa-4261-8e1d-b90b37453f7e.png

安装之后软件会默认关闭,我们使用控制台(cmd)或者终端来测试安装是否成功。

https://static.scung.cn/1738fa11-38fd-4f48-a9d8-71cf0521ceae.png

在控制台中输入ollama,如果出现ollama的参数列表就表示安装成功,还可以输入ollama -v查看安装的ollama版本。

加载大模型

回到ollama的官方网站,点击网站上的Models进入大模型列表页面,首当其冲的就是DeepSeek-r1大模型,

https://static.scung.cn/925a6f40-94c1-4c74-88f2-883621f93c84.png

点击deepseek-r1进入到详情页,点击红色框部分可以切换不同参数的大模型,复制蓝色框部分代码到ollama运行就可以加载对应的大模型。

https://static.scung.cn/e10e2e4e-a57e-4722-b72b-45ea7383b271.png

运行对应的大模型代码命令之后,ollama就开始下载大模型文件,下载大模型的过程中也会同步显示进度。如果网络环境不好可能会下载失败,重新运行命令就行。

https://static.scung.cn/f65c464a-9bd1-4a37-98d8-3dda6c0d64a2.png

下载完成后会提示success,然后进入到交流部分,这时候我们就可以打字问他问题了

https://static.scung.cn/ff7ba8cf-f324-4b87-be58-103710520318.png

到此我们就在本机完全部署了一个可以本地运行的DeepSeek大模型,如果想要其他参数版本,只要运行对应参数的命令即可。

如果想要接入DeepSeek的API,可以查看:使用C#接入DeepSeek API实现自己的AI助手

发布时间:2025-02-17
其他阅读

命令行打包.net项目

.net 日常开发中,我们接触最多的就是 Visual Studio ,它是微软为了 .net 平台专门打造的 IDE (集成开发环境),为整个 .net 平台开发带来了无与伦比的图形化体验,但是有时候,我们也会遇到需要通过命令行来生成 .net 项目的情况,本文会介绍几种命令行打包的姿势。

查看原文

使用表达式树来提高反射的性能

反射是C#中一种常用的技术,反射提供了动态创建和访问对象的基础,但是反射在带来了极强的灵活性的同时,也带了极大的性能损耗,本文就介绍通过表达式树来提高反射过程中的性能。

查看原文

记录一次Unity中的同步问题

在以前做的数字孪生应用中,使用的 socket 进行定制协议开发,服务和 Unity 客户端之间可以互相进行通信,在开发时代价太大,除了正常制定数据协议外,还需要针对粘包定制切包协议。在WEB化的过程中,准备把原有的数字孪生服务端进行迁移,使用全新的 asp.net core 进行开发,双方使用 signalR 进行数据交互。

查看原文

如何查看系统端口占用

在web开发中,时常会遇到开发的应用无法启动,这种情况一般是由于当前监听端口已经被别的应用先行占用监听了。本文就 Windows 和 Linux 介绍一下查看端口占用程序。

查看原文

使用C#接入DeepSeek API实现自己的AI助手

过年期间DeepSeek非常火爆,这段时间用着官方的客户端访问,总是会提示“服务器繁忙,请稍后再试。”,本文介绍怎么通过接入DeepSeek的API实现自己的客户端。

查看原文