Deepseek-R1-8b模型本地部署-Ollama以及模型安装路径更改

前言

  最近deepseek r1新模型的推出火爆全网,赶紧跟上热点,本地部署一个残血版本把玩把玩。

  顺带记录一下Ollama以及模型安装路径更改。

1 Ollama的下载

  故事的开头总是很简单的,为了使用deepseek,我们需要先下载一个开源的 LLM(大型语言模型)服务工具Ollama。在bing搜索栏中搜索Ollama,点开即可进入羊头人官网。

image-20250215203852235

  点击Download,下载Windows版本,即可在电脑里面获得一只可爱羊驼图标。

2 Ollama安装路径修改

  不要着急点开这只人畜无害的羊驼,不知道出于什么恶趣味的原因,Ollama默认安装路径是安装到C盘,后续模型也是安装到C盘,且无法更改。为了避免C盘早早红温暴毙,下面介绍如何通过一些奇妙手段修改它的路径。

  首先,先将安装程序剪切到你所要安装的盘符,这里我以E盘为例,同时创建一个文件夹作为目标安装文件夹,这个文件夹可以创建在当前盘(例如这里就是E盘)的任意位置。

image-20250215205344425

然后打开控制命令栏cmd,将其定位到E盘,在命令行窗口中输入ollamasetup.exe /DIR=刚刚创建文件夹的路径,例如这里就是ollamasetup.exe /DIR=E:\Ollama此时点击回车,启动安装程序,此时Ollama的安装路径就是你所设定的目标文件夹路径。

image-20250215205950061

image-20250215210020519

  可以看到,Ollama成功安装在了指定文件夹。

3 Ollama模型安装路径修改

  但是令人气愤的是,Ollama模型的安装路径却并没有修改,它仍然在C:\Users\用户名\.ollama文件夹中。

image-20250215210438928

  倘若大大小小模型都往C盘下载,那C盘怕不是早早就喊“臣妾做不到啊”。接下来展示如何修改模型安装路径。

  在想要安装的盘符内创建一个新的文件夹(这里还是以下载到E盘为例),在E盘中创建一个文件夹命名为ollamaimagers

image-20250215211028414

  然后打开系统环境变量设置(右键windows启动按钮->系统->高级系统设置->环境变量),在下方系统变量一栏中选择新建,变量名填写OLLAMA_MODELS,变量值填写你刚刚所创建文件夹的路径,示例操作如下:image-20250215211821099

  一路点击确定和确定和确定之后,立即重启电脑,使其环境变量生效,此时Ollama模型安装路径就修改成功了。

4 下载模型

  重启电脑之后,我们就可以到官网去下载模型了。进入Ollama官网,点击左上角Models按钮,就可以进入模型选择界面。image-20250215215022060

  点击deepseek-r1,就可以选择不同大小的模型进行下载了,左边这一侧指的就是模型的大小,右边这一侧是所需要的显存。,满血版的deepseek-r1模型大小为671b,需要显存为404GB,这显然不是个体能在本地部署的规模大小,因此我们选择其蒸馏过后的残血版r1安装。残血版r1的模型大小亦分三六九等,如何选择一款适合自己电脑的模型大小呢,我们只要选择所需显存小于我们电脑显卡的显存即可。这里博主使用的显卡是RTX4060 Laptop 8G GPU,因此这里选择8b模型进行安装。如果大家要查看自己电脑的显卡情况,可以打开任务管理器,点击“性能”,可以查看GPU的具体信息。

image-20250215215149346

  复制模型选择界面右侧这串指令,打开cmd控制台,在任意盘符下直接粘贴回车,即可开始安装模型。

image-20250215220240028

image-20250215220810097

当命令框出现success时,即代表模型下载成功。其实模型此时就处于启动状态,我们已经可以在命令框内和他简易互动了。

image-20250215221331605

5 启动模型

  那么,平时我们该如何启动Deepseek-r1呢?重新打开cmd,输入ollama help,可以查看命令帮助,这些命令的具体使用方法都可上网查找获得。

image-20250215221703925

  这里介绍最主要的三个指令。

1
ollama list

  展示ollama在本地所拥有的模型。

image-20250215221912719

1
ollama run 模型名称

  运行调用对应模型,即进入刚刚下载模型好的那种可问答的状态。

1
ollama rm 模型名称

  删除对应的模型。

尾声

  在网上总有声音认为在本地部署deepseek残血版是没有意义的,本地费尽周折部署的模型跟市面上release版的AI无法比较。如果做什么事情都要有意义的话,那么这个世界上的大多事情你都做不了。