本地部署DeepSeek大模型服务

之前的文章介绍了怎么对接DeepSeek的API实现自己的助手,但是依旧使用的DeepSeek官方服务器,在高峰期还是会出现超长延时的情况,本文介绍另一种思路,通过在本机上部署DeepSeek大模型服务来告别卡顿崩溃。

Ollama安装

Ollama是一个运行大模型的服务程序,我们要在自己的电脑上运行DeepSeek大模型的话,需要先安装Ollama,之后通过Ollama来加载对应的模型进行对话。

直接访问Ollama的官方网站,点击页面上的Download按钮进入下载页。

https://static.scung.cn/651b9c67-66b4-4e64-aa00-d0405ce0d819.png

使用的Windows电脑,默认按钮为Download for Windows,点击就可以下载,Ollama还支持在Windows,Linux,macOS上运行。

https://static.scung.cn/91acc609-21ca-4841-b585-fd946d93504b.png

下载之后直接点击OllamaSetup.exe,即可安装Ollama服务。

https://static.scung.cn/14573d5a-f8aa-4261-8e1d-b90b37453f7e.png

安装之后软件会默认关闭,我们使用控制台(cmd)或者终端来测试安装是否成功。

https://static.scung.cn/1738fa11-38fd-4f48-a9d8-71cf0521ceae.png

在控制台中输入ollama,如果出现ollama的参数列表就表示安装成功,还可以输入ollama -v查看安装的ollama版本。

加载大模型

回到ollama的官方网站,点击网站上的Models进入大模型列表页面,首当其冲的就是DeepSeek-r1大模型,

https://static.scung.cn/925a6f40-94c1-4c74-88f2-883621f93c84.png

点击deepseek-r1进入到详情页,点击红色框部分可以切换不同参数的大模型,复制蓝色框部分代码到ollama运行就可以加载对应的大模型。

https://static.scung.cn/e10e2e4e-a57e-4722-b72b-45ea7383b271.png

运行对应的大模型代码命令之后,ollama就开始下载大模型文件,下载大模型的过程中也会同步显示进度。如果网络环境不好可能会下载失败,重新运行命令就行。

https://static.scung.cn/f65c464a-9bd1-4a37-98d8-3dda6c0d64a2.png

下载完成后会提示success,然后进入到交流部分,这时候我们就可以打字问他问题了

https://static.scung.cn/ff7ba8cf-f324-4b87-be58-103710520318.png

到此我们就在本机完全部署了一个可以本地运行的DeepSeek大模型,如果想要其他参数版本,只要运行对应参数的命令即可。

如果想要接入DeepSeek的API,可以查看:使用C#接入DeepSeek API实现自己的AI助手

发布时间:2025-02-17
其他阅读

Open Graph优化SEO

Open Graph(OG)协议作为社交分享优化的核心技术,不仅决定了内容在社交媒体平台的展示效果,还间接影响搜索引擎优化(SEO)的表现。本文将从作用解析、核心标签配置到动态生成策略,全面介绍 Open Graph 的应用。

查看原文

Winform中设置控件边框

本文将会介绍在Winform中如何设置控件的边框,可应用于Form和Panel等。

查看原文

命令行打包.net项目

.net 日常开发中,我们接触最多的就是 Visual Studio ,它是微软为了 .net 平台专门打造的 IDE (集成开发环境),为整个 .net 平台开发带来了无与伦比的图形化体验,但是有时候,我们也会遇到需要通过命令行来生成 .net 项目的情况,本文会介绍几种命令行打包的姿势。

查看原文

Visual Studio 2022激活密钥

Visual Studio 2022 Pro 激活密钥:

查看原文

使用表达式树来提高反射的性能

反射是C#中一种常用的技术,反射提供了动态创建和访问对象的基础,但是反射在带来了极强的灵活性的同时,也带了极大的性能损耗,本文就介绍通过表达式树来提高反射过程中的性能。

查看原文