“轻松上手！5分钟学会用京东云打造你自己的专属DeepSeek”
#从第⼀进程到第四进程是完结DeepSeek本地布置和使⽤,能够满⾜中⼩企业环境的安稳 使⽤,第五进程为依据AnythingLLM和本地数据进⾏练习(依据本地数据建立本地常识 库): ⼀：京东云。GPU。云主机环境预备 ⼆：布置Ollama 三：运⾏DeepSeek模型 四：图形客户端使⽤ #第五进程能够不执⾏ 五：本地数据投喂。
⼀：京东云GPU云主机环境预备：
DeepSeek的不同版别模型对主机硬件(首要是。CPU。、内存和GPU)的要求不⼀样，引荐。使⽤具有独自GPU的主机进⾏布置以取得更好的使⽤体会，显卡引荐使⽤如NVIDIA RTX 3090或平等以上。标准。的显卡，CPU需求⽀持AVX2、AVX-512等指令集能够进⼀步提⾼呼应功用, 如已有契合事务需求的主机环境能够越过当时的主机环境预备进程。
1.1: 京东云创立GPU云主机：
依据实践事务需求挑选云主机计费形式、地域、可⽤区、CPU架构、体系镜像及体系版别, 企业环境关于安稳性要求⽐较⾼一般使⽤。Linux。体系运⾏事务体系, 本进程以Ubuntu 22.04 LTS体系版别为例(Rocky Linux及RHEL的操作进程⼀致)、GPU为vidia。 Te。sla P40, 演示依据Ollama布置DeepSeek-R1 :。
挑选GPU实例标准类型,可选主动装置GPU驱动、或云主机运转成功后独自装置GPU驱动(本文档为独自装置GPU驱动)。
自定义云盘类型及巨细、然后下一步。
自定义云主机。网络。、安全组、弹性公网IP, 安全组需求答应客户端拜访11434。端口。, 然后下一步。
。
自定义主机暗码、主机称号等。信息。, 然后点击当即购买。
勾选已阅览并赞同并承认注册。
创立完结：
然后在云主机控制台验证主机运转成功。
1.2：装置GPU显卡驱动：
使⽤SSH⼯具长途衔接到实例, 装置显卡驱动(以下为在Ubuntu 2204的显卡驱动装置进程)。
rootdeepseek-vm:~# apt updaterootdeepseek-vm:~# ubuntu-drive。rs。devices== /sys/devices/pci0000:00/0000:00:0a.0 ==modalias : pci:v000010DEd00001B38sv000010D。Esd。000011D9bc03sc02i00vend。or。: NVIDIA Corpora。ti。onmodel : GP102GL [Tesla P40]driver : nvidia-driver-470-server - distro non-freedriver : nvidia-driver-450-server - distro non-freedriver : nvidia-driver-550 - distro non-free。 recom。mendeddriver : nvidia-driver-535-server - distro non-freedriver : nvidia-driver-418-server - distro non-freedriver : nvidia-driver-545 - distro non-freedriver : nvidia-driver-470 - distro non-freedriver : nvidia-driver-535 - distro non-freedriver : nvidia-driver-390 - distro non-freedriver : xserver-xorg-video-nouveau - distro free builtinrootdeepseek-vm:~# apt install nvidia-driver-550 -y #通过ubuntu库房装置引荐的驱动版别或运用其它方法装置显卡驱动rootdeepseek-vm:~# reboot #重启服务器以使显卡驱动收效rootdeepseek-vm:~# nvidia-smi #重启后验证驱动及显卡状况(当时演示主机为两块NVIDIA Tesla P40显卡)Thu Feb 6 16:45:28 2025 +-----------------------------------------------------------------------------------------+| NVIDIA-SMI 550.120 Driver Version: 550.120 CUDA Version: 12.4 ||-----------------------------------------+------------------------+----------------------+| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Pe。rf。Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. || | | MIG M. ||=========================================+========================+======================|| 0 Tesla P40 Off | 00000000:00:09.0 Off | 0 || N/A 24C P8 9W / 250W | 0MiB / 23040MiB | 0% Default || | | N/A |+-----------------------------------------+------------------------+----------------------+| 1 Tesla P40 Off | 00000000:00:0A.0 Off | 0 || N/A 23C P8 9W / 250W | 0MiB / 23040MiB | 0% Default || | | N/A |+-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+| Processes: || GPU GI CI。 PI。D Type Process name GPU Memory || ID ID Usage ||=========================================================================================|| No running processes found |+-----------------------------------------------------------------------------------------+。
二：布置Ollama：
Ollama是一个开源的 LLM(large language model、大型言语模型)服务东西, 用于简化和下降在本地的布置和运用门槛, 能够快速在本地环境布置和办理LLM运转环境,。
官方地址：Ollama。
下载。地址：Downlo。ad。Ollama on macOS。
ollama官方在linux 体系的装置是依据脚本从github下载装置包进行装置(https://ollama.com/install.sh、受网络环境要素装置进程不安稳)，能够运用二进制装置包直接装置越过在线下载进程。
2.1：下载⼆进制装置包：
Ollama能够运⾏在Windows、Linux以及MacOS, 官⽅均供给对应的装置⽂件, ⽣产 环境对安稳性要求⽐较⾼因而会一般使⽤Linux体系, 本⽂的以Ubuntu 2204作为演 示环境：
https://myserver.s3.cn-north-1.j。dc。loud-oss.com/ollama-linux。amd。64. tgz #ollama v0.5.7版别、现已上传到京东云OSS作为暂时下载地址 https://github.com/ollama/ollama/releases #github下载地址。
修改。
rootdeepseek-vm:~# cd /usr/local/src/ rootdeepseek-vm:/usr/local/sr。c#。wget https://myserver.s3.cnnorth- 1.jdcloud-oss.com/ollama-linux-amd64.tgz。
2.2： 布置ollama：
ollama/docs/linux.md at main · ollama/ollama · GitHub。
rootdeepseek-vm:/usr/local/src# tar -C /usr -xzf ollama-linux-amd64.tgz #解压装置文件rootdeepseek-vm:/usr/local/src# ollama serve 测验发动 OllamaCouldn't find '/root/.ollama/id_ed25519'. Generating new private key.Your new publ。ic。key is: ssh-ed25519 AAAA.....2025/02/06 17:08:47 routes.go:1187: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_。INTEL。_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/root/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"time=2025-02-06T17:08:47.465+08:00 level=INFO source=images.go:432 msg="total blobs: 0"time=2025-02-06T17:08:47.465+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already att。ac。hed.[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production. - using env: export GIN_MODE=release - using code: gin.SetMode(gin.ReleaseMode)[GIN-debug] POST /api/pull -->github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)[GIN-debug] POST /api/generate -->github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)[GIN-debug] POST /api/chat -->github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)[GIN-debug] POST /api/embed -->github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)[GIN-debug] POST /api/embeddings -->github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)[GIN-debug] POST /api/create -->github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)[GIN-debug] POST /api/push -->github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)[GIN-debug] POST /api/copy -->github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)[GIN-debug] DELETE /api/delete -->github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)[GIN-debug] POST /api/show -->github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)[GIN-debug] POST /api/blobs/:digest -->github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)[GIN-debug] HEAD /api/blobs/:digest -->github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)[GIN-debug] GET /api/ps -->github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)[GIN-debug] POST /v1/chat/completions -->github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)[GIN-debug] POST /v1/completions -->github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)[GIN-debug] POST /v1/embeddings -->github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)[GIN-debug] GET /v1/models -->github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)[GIN-debug] GET /v1/models/:model -->github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)[GIN-debug] GET / -->github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)[GIN-debug] GET /api/tags -->github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)[GIN-debug] GET /api/version -->github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)[GIN-debug] HEAD / -->github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)[GIN-debug] HEAD /api/tags -->github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)[GIN-debug] HEAD /api/version -->github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)time=2025-02-06T17:08:47.466+08:00 level=INFO source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"time=2025-02-06T17:08:47.466+08:00 level=INFO source=routes.go:1267 msg="Dynamic LLM libraries" runners="[cpu cpu_avx cpu_avx2 cuda_v11_avx cuda_v12_avx rocm_avx]"time=2025-02-06T17:08:47.466+08:00 level=INFO source=gpu.go:226 msg="looking for compatible GPUs"time=2025-02-06T17:08:48.193+08:00 level=INFO source=types.go:131 msg="inference compute" id=GPU-a9100a2b-3c31-b1b4-0891-c11584b5a57f library=cuda variant=v12 compute=6.1 driver=12.4 name="Tesla P40" total="22.4 GiB" av。ai。lable="22.2 GiB"time=2025-02-06T17:08:48.193+08:00 level=INFO source=types.go:131 msg="inference compute" id=GPU-d652ebd4-0571-78b9-bf01-9a8d1da592e5 library=cuda variant=v12 compute=6.1 driver=12.4 name="Tesla P40" total="22.4 GiB" available="22.2 GiB"。
2.3：验证Ollama是否正在运转：
新建别的⼀个终端、验证Ollama是否正在运⾏： rootdeepseek-vm:~# ollama -v ollama version is 0.5.7。
2.4：增加 Ollama 作为发动服务：
新建账户和组、称号都叫ollama, 以一般账户的身份运⾏Ollama服务、并指定监听在 0.0.0.0:11434，以⽅便外部客户端拜访。
rootdeepseek-vm:~# useradd -r -s /bin/false -U -m -d /usr/share/ollama ollamarootdeepseek-vm:~# usermod -a -G ollama root创立/etc/systemd/system/ollama.service 发动文件：rootdeepseek-vm:~# vim /etc/systemd/system/ollama.service[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/bin/ollama serveEnvironment="OLLAMA_HOST=0.0.0.0:11434"User=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=$PATH"[Install]WantedBy=default.target#Ctrl+C退出2.3进程运转的ollama服务、并通过service文件发动服务：rootdeepseek-vm:~# systemctl daemon-reloadrootdeepseek-vm:~# systemctl enable ollamaCreated symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.rootdeepseek-vm:~# systemctl start ollama.service #发动ollama服务rootdeepseek-vm:~# systemctl status ollama.service #承认ollama服务处于运转状况● ollama.service - Ollama Service Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled) Active: active (running) since Thu 2025-02-06 17:13:32 CST; 12min ago Main PID: 6871 (ollama) Tasks: 20 (limit: 132577) Memory: 980.6M CPU: 8.662s CGroup: /system.slice/ollama.service └─6871 /usr/bin/ollama serve Feb 06 17:20:05 deepseek-vm ollama[6871]: time=2025-02-06T17:20:05.644+08:00 level=INFO sou>Feb 06 17:23:01 deepseek-vm ollama[6871]: time=2025-02-06T17:23:01.005+08:00 level=INFO sou>Feb 06 17:24:56 deepseek-vm ollama[6871]: time=2025-02-06T17:24:56.005+08:00 level=INFO sou>Feb 06 17:25:16 deepseek-vm ollama[6871]: time=2025-02-06T17:25:16.005+08:00 level=INFO sou>Feb 06 17:25:24 deepseek-vm ollama[6871]: time=2025-02-06T17:25:24.006+08:00 level=INFO sou。
检查日志并承认无报错：
rootdeepseek-vm:~# journalctl -e -u ollama。
验证ollama服务进程和端⼝, 11434为ollama的默许监听端⼝： rootdeepseek-vm:~# netstat -tanlp。
。
三：运转DeepSeek模型：
https://ollama.com/search #ollama能够布置不同类型的模型和版别。
DeepSeek-R1在许多方面都现已到达或逾越OpenAI-o1, 详细的模型版别能够依据实践事务需求进行装置, 本次为装置deepseek-r1:8b进行演示:。
3.1：运转deepseek-r1:8b：
https://ollama.com/library/deepseek-r1 #官⽅⽂档。
deepseek-r1:1.5b #需求在线下载1.1GB的数据,依据网络环境和服务端负载、大约需求下载几分钟或更长时刻 deepseek-r1:8b #需求在线下载4.9BG的数据,依据网络环境和服务端负载、大约需求下载几十分钟或更长时刻 rootdeepseek-vm:~# ollama run deepseek-r1:1.5b #运转deepseek-r1:1.5b rootdeepseek-vm:~# ollama run deepseek-r1:8b #运转deepseek-r1:8b,本操作只用于阐明不同版别的装置方法、能够不履行 依据模型的巨细和网络环境,需求必定的下载时刻,下载进程中假如网络中止或撤销, 再次履行支撑断点续传。
deepseek-r1:1.5b下载中：
deepseek-r1:8b下载中：
下载完结后会直接进入命令行交互式窗口，能够通过命令行窗口进行会话。
3.2：对话验证：
3.2.1：发问一：
请仔细答复一下, 究竟有没有外星人？
3.2.2：发问二：
介绍一下kubernetes的优缺点。
四：图形客户端运用：
能够运用不同的图形客户端衔接DeepSeek进行交互式运用，如Chatbox、LobeChat等, 本进程以Chatbox为例。
4.1：Windows环境Chatbox图形客户端：
Chatbox是一个通用的图形客户端，支撑在MacOS、Windows、Linux、。安卓手机。、苹果。手机。等体系环境装置和运用, 只需求装置在需求拜访DeepSeek的主机、并装备衔接DeepSeek衔接地址及模型版别即可, 乃至还能够直接发动网页版, 本进程演示如安在windows体系装置和运用Chatbox, 本进程介绍假如在Windows体系装置Chatbox及装备和运用进程。
https://chatboxai.app/zh#download #官方下载URL https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide #装置文档 https://github.com/Bin-Huang/chatbox/releases #装置文件下载地址。
4.1.1：下载装置文件：
点击免费下载：
下载进程中：
下载完结：
4.1.2：装置Chatbox：
在下载目录双击装置文件履行装置：
可挑选为当时用户仍是一切用户装置、然后点击下一步：
。
可选装置途径、然后单机装置：
装置进程中：
装置完结, 点击完结并运转Chatbox：
4.1.3：装备Chatbox：
初次翻开要装备一下运用的模型, 挑选运用自己的API Key或模型：
挑选运用Ollama API：
详细装备：
上下文音讯数(保存的前史会话数量)能够不约束、然后点击保存：
4.1.4：对话测验：
Chatbox能够通过DeepSeek进行成功对话。
4.1.4.1：发问一：
请仔细答复一下, 究竟有没有外星人？
4.1.4.2：发问二：
介绍一下kubernetes项目，包含几个首要的组件和功用？
4.1.4.3：发问三：
一个笼子里边有三只兔子和两只鸭,后来逃走了一只兔子,请答复以下两个问题：
1.在兔子逃走之前,笼子里总共有几条腿？
2.在一只兔子逃走之后,笼子里总共还有几条腿？
。
4.1.5：假如要切换模型版别：
假如在同一个DeepSeek服务器布置了不同版别的模型,能够在Chatbox右下角进行不同版别的切换。
4.2：MacOS环境Chatbox图形客户端：
本进程介绍假如在MacOS体系装置Chatbox及装备和运用进程。
4.2.1：下载装置文件：
苹果体系(Intel CPU)下载的Chatbox.CE-0.10.4-mac.zip,假如是windows体系则是下载Chatbox.CE-0.10.4-Setup.exe。
4.2.2：装置Chatbox：
苹果体系下载后解压, 会有个Chatbox CE程序：
。
能够拷贝到应用程序里边便利后期运用：
然后双击翻开，初次翻开需求信赖：
进入体系菜单，设置-->隐私与安全性-->仍要翻开：
承认仍要翻开：
输入。认证。(暗码或指纹认证)信息承认：
4.2.3：装备Chatbox：
初次运用需求装备Chatbox衔接deepseek模型, 点击左边菜单Settings：
Chatbox装备信息如下：
4.2.4：对话测验：
可选新建一个对话：
对话验证：
五：本地数据投喂：
依据AnythingLLM+DeepSeek进行数据投喂练习, 用于建立本地离线常识库等场景, 本进程是测验建立本地常识库，非有必要不需求履行。
https://anythingllm.com/。
https://github.com/Mintplex-Labs/anything-llm。
5.1：下载并装置AnythingLLM：
5.2：AnythingLLM根底装备：
初始化AnythingLLM对接DeepSeek的装备。
5.2.1：LLMPreference：
5.2.2：作业区对话设置：
将谈天形式从谈天改为查询, 将会依据本地上传和辨认后的数据进行呼应。
更新保存装备：
5.2.3：装备embedder首选项为ollama：
5.2.4：署理装备：
5.2.5：作业区上传测验练习文档：
上传本地文档之前无法答复问题，因而要上传本地文档进行练习(支撑PDF、Txt、Word、Excel、PPT等常见文档格局)：
本地文档上传中：
本地文档上传完结：
挑选指定的文档并移动到作业区：
。
保存并导入：
导入并辨认中：
辨认完结：
封闭窗口：
返回到对话窗口：
5.3：对话验证：
DeepSeek能够依据本地的常识内容进行匹配和答复。
5.3.1：依据本地文档答复成功的：
5.3.2：本地没有的内容发问及对话：
通过屡次发问、DeepSeek会尽或许运用本地文档内容进行回复。
审阅修改 黄宇。
内容来源：https://postapi.nlsngoisaoviet.com/app/app-1/tỷ lệ wap,http://chatbotjud-teste.saude.mg.gov.br/app-1/jogo-de-cartas-paciencia
(责任编辑：人文)