DeepSeek 本地化部署及大模型对接实战（原创）

在人工智能飞速发展的当下，大模型技术已经成为众多领域创新和发展的重要驱动力。DeepSeek 作为一款功能强大的国产人工智能模型，以其卓越的性能和广泛的应用场景，受到了各界的广泛关注。在开源的大环境下，许多技术爱好者都试图在本地部署一个属于个人的AI智能体。本文将深入探讨 DeepSeek 的本地化部署实战，以及用本地应用对接大模型，帮助读者掌握如何将这一强大的模型部署到本地环境。

一、DeepSeek 简介

DeepSeek 是由杭州深度求索人工智能基础技术研究有限公司开发的先进 AI 应用，集成了自然语言处理（NLP）、计算机视觉（CV）、语音识别等多领域先进技术，为用户提供高效、便捷的 AI 模型训练、部署和应用服务，涵盖从数据准备、模型训练到部署应用的全流程，是一个完善的生态系统。其主要代表产品 DeepSeek R1 和 DeepSeek V3 表现突出。DeepSeek R1 在科研、技术开发、教育等领域应用广泛，例如生成逻辑严谨的技术文档、提升智能客服复杂任务解决效率、助力内容创作者生成高质量技术文章等。DeepSeek V3 则在智能客服、代码生成、长文本处理等场景中发挥重要作用，为用户带来高效、优质的服务体验。

二、本地化部署的优势

1. 数据安全保障：数据存储在本地服务器，有效避免外部网络攻击，确保数据安全。

2. 高效响应速度：减少网络延迟，用户能随时随地享受极速搜索和模型响应体验。（注：这与本地算力密切相关）

3. 定制化服务支持：可根据特定业务场景和性能要求进行定制化配置，满足多样化需求。

三、部署步骤详解

（一）环境准备

1. 硬件方面：推荐配置为 NVIDIA GPU（RTX 3090 或更高）、32GB 内存以及 50GB 存储空间；最低配置要求是 CPU（支持 AVX2 指令集）、16GB 内存和 30GB 存储 。

2. 软件方面：创建操作系统环境并安装容器组件，如linux、windows、mac系统都可以，本文将以最常见的windows环境为例进行操作，建议版本在WindowsServer2022或Win10以上。

（二）安装相关工具

1. 安装 Ollama：

• 官网下载：https://ollama.com/ 。
  • 选择对应操作系统版本下载完成后，双击进行安装，安装完成软件运行后桌面右下角会显示 ollama 图标。

2. 安装 Docker：

• 准备linux子系统环境，命令为：wsl –install

• 官网下载：https://www.docker.com/ 。
  • 下载完成后双击安装，安装完成软件运行后桌面右下角会显示Docker Desktop图标。

（三）安装模型

1. 进入命令控制台，我们开始安装模型。只需要一条命令就可以开始下载安装，注意根据电脑配置选择不同版本，如 7b 版本。

• 执行命令ollama run deepseek-r1:7b安装模型，系统会自动下载模型并开始运行，不同版本的模型大小不同，这里根据网速不同需要耐心等待模型下载。
• 
• 当显示问答提示符后说明模型已经完成下载并成功运行。

• 我们也可以用ollama list命令查看已经下载的模型。

• 现在可以在模型加载的状态进行问答测试了。

Ok，我们刚刚部署的本地DeepSeek模型已经能对提问做出正确响应，到此本地模型加载完毕。

但是模型只是在后台运行，跟它对话只能在命令窗口进行，显然是很不方便的，而且除了本机，其他人也无法使用，因此我们需要利用一个前台工具来调用它，以获得更好的使用体验和更多功能。

（四）安装MaxKB

MaxKB是杭州飞致云信息科技有限公司旗下基于大语言模型和 RAG 的开源知识库问答系统。具有以下特点：

开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好。

无缝嵌入：支持零编码快速嵌入到第三方业务系统，让已有系统快速拥有智能问答能力。

模型中立：支持对接各种大语言模型，包括本地私有大模型（Llama 3 / Qwen 2 等）、国内公共大模型（通义千问 / 腾讯混元 / 字节豆包 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等）和国外公共大模型（OpenAI /Gemini 等）。

灵活编排：内置工作流引擎和函数库，支持编排 AI 工作过程，满足复杂业务场景下的需求。

我们的目的就是要用这个知识库问答系统去调用后台的DeepSeek大模型，首先要做的就是安装部署它，最简单的开箱即用方法就是通过容器部署。在准备阶段我们已经配置好了Docker环境，现在只需要在容器中下载并运行它。

1.打开docker desktop，进入主界面，点击最上方的搜索栏，在弹出的搜索框输入maxkb，下面会搜索出很多关于maxkb的容器，我们选择第一个：1panel/maxkb ，然后点击Pull，开始拉取容器。

当容器拉取完毕后，在images页面就会看到刚刚下载的容器。

2.启动maxkb，我们还是在命令窗口下输入命令行

docker run -d –name=maxkb -p 8080:8080 -v C:\\dockervolume\\maxkb:/var/lib/postgresql/data 1panel/maxkb

这里需要注意，因为这个maxkb镜像依赖postgresql数据库，它通过挂载文件卷的形式保存数据库文件，所以我们需要在执行这条命令前在windows某个位置创建需要挂载的文件目录，这里我是在C:\dockervolume\maxkb，如果你的C盘不够大，也可以在其他盘创建，只要在命令行中对应相应的目录就行。

下面执行以上启动命令：

运行结束后，查看C:\dockervolume\maxkb目录下是否生成了数据库文件。

同时在 docker 桌面客户端可查看到容器是否开始运行。

等待maxkb启动完成，我们就可以在浏览器地址栏输入http://127.0.0.1:8080 ，进入登录页面了。

输入默认账号和密码

用户名：admin 默认密码：MaxKB@123..

登录完成后会提示修改密码，我们修改一下密码就能进入管理主界面了。

（五）将本地大模型与maxkb关联

在maxkb管理界面中：系统设置-模型设置-添加模型，选择ollama

参考以上填写模型配置，其中 API 地址因为我本地电脑IP 是192.168.31.12  另外开启了远程ip  访问，所以容器是可以访问我本地ollama服务，这个地方稍微注意一下，api key随便填，其他地方都比较简单。配置好后点击添加按钮完成设置，完成模型添加。

在这个地方我们还可以添加很多模型，比如deepseek官方的模型，字节跳动的火山引擎等，也包括各种语音模型和图像模型等，方法类似，只要获取到相应参数都可以添加。

（六）创建应用

1. 接下来我们要创建一个应用。

选择应用类型并命名，一开始不熟悉可以先选择简单配置，然后点击创建，在AI模型下拉列表里选择之前添加的模型，点击保存并发布，我们就创建好了一个应用。再次进入应用，可以看见一个链接地址，在浏览器中打开这个链接就能访问了。

这样我们在浏览器里面就能轻松访问到本地部署的DeepSeek大模型了。

（七）添加知识库

本地模型已经基本部署完毕，由于是已经训练好的模型，已经具有了相当的知识储备，可以回答不少问题，也能帮我们推理计算等。但是它还无法回答一些比较私人的问题，因为这个AI还不具备相关的知识，我们可以通过让他学习来掌握，这是人工智能的核心能力。因此我们可以用添加知识库的方式让这个本地模型进一步学习，以实现我们想要的功能。

切换到知识库面板，点击创建知识库，创建后可以上传文档。

当文件状态显示成功，说明文档已经向量化完成。

我们回到应用设置里面，把刚刚创建的知识库进行关联，让我们来测试一下这个AI助手学会了没有。

这个时候它已经能根据我们知识库提供的相关信息，经过AI检索、整合分析后，重新组织语言进行了回答。

Maxkb还提供了第三方嵌入功能，可以供其他平台调用，例如我把它嵌入了我的个人网站，这样就能在现有应用中快速集成AI大模型功能，提供更好的用户体验。

值得一提的是，类似这种方案有很多，大致思路都差不多，通过更多的模型接入，不断进行模型微调和训练，人工智能可以帮助我们做更多的事情。

当然我们也可以在企业内部部署类似的应用，为我们的业务提供更多可能。

五、总结

本文主要介绍了使用ollama+Deepseek-r1:7b模型+MaxKB来实现一个私有化大模型的部署方案。随着人工智能技术的持续发展，DeepSeek 及类似的本地化部署将发挥更大作用。一方面，DeepSeek 会不断优化算法，提升搜索和模型处理的智能化水平，更精准理解用户需求，提供更贴合的结果；另一方面，其应用领域将不断拓展，在医疗、教育、金融、交通运输等行业提供专业化服务，助力各行业创新发展，为用户带来更个性化的体验。