在不久前发布的。《。技能实战 | OK3588-C开发板上布置DeepSeek-R1大模型的完好攻略。》。一文中，小编为咱们介绍了DeepSeek-R1在。飞凌嵌入式。OK3588-C开发板上的移植布置、作用展现以及功用评测，本篇文章不只将持续为咱们带来关于DeepSeek-R1的干货常识，还会深入探讨多种途径的移植办法，并介绍更为丰厚的交互办法，协助咱们更好地运用大言语模型。

1、移植进程。

1.1 运用RKLLM-Toolkit布置至NPU。

RKLLM-Toolkit是。瑞芯微。为大言语模型（LLM）专门开发的转化与量化东西，能够将训练好的模型转化为习惯瑞芯微途径的RKLLM格局。该东西针对大言语模型进行了优化，使其能高效地在瑞芯微的NPU（。神经网络。处理单元）上运转。上一篇文章中说到的布置办法即为经过RKLLM-Toolkit进行的NPU布置。具体过程如下：

(1) 下载RKLLMSDK：

首先从GitHub下载RKLLM。SD。K包，并上传至虚拟机。SDK下载链接：

[GitHub-。 ai。rockchip。/rknn-llm](https://github.com/airrockchip/rknn-llm)。

(2)。 Python。版别检查：

保证装置的SDK版别与方针环境兼容(现在只支撑。python3。.8或python3.10)。

(3) 预备虚拟机环境：

在虚拟机中装置rkllm-toolkit轮子，轮子包途径（rknn-llm-main\rkllm-toolkit）。

(4) 下载模型：

挑选需求布置的DeepSeek-R1模型。

(5) 运用示例代码进行模型转化：

在rknn-llm-main\examples\DeepSeek-R1-Distill-Qwen-1.5B_Demo途径下，运用RKLLM-Toolkit供给的示例代码进行模型格局转化。

(6) 编译可履行程序：

经过运转deploy下build-linux.sh脚本（将穿插编译器途径替换为实践途径）直接编译示例代码。这将在目录中生成一个文件夹，其间包括可履行文件和文件夹。

进行穿插编译生成可履行文件。

(7) 布置模型：

将已编译好的_W8A8_RK3588.rkllm文件和librkllmrt.so动态库文件（途径为：rknn-llm-main\rkllm-run。ti。me\Linux\librkllm_api\aarch64 ），一起拷贝到编译后生成的build_linux_aarch64_Release文件夹内，然后将此文件夹上传到方针板端。

接着，为方针板端build_linux_aarch64_Release文件夹中的 llm_demo 文件增加履行权限并履行它。

优势与缺乏：

- 优势：布置至NPU后，大言语模型能高效运转，功用体现优异，且对。CPU。资源的占用较少。

- 缺乏：相较于其他办法，布置进程稍显杂乱，需求较强的技能布景和经历。

1.2 运用Ollama一键布置至CPU。

Ollama是一个开源的本地化大型言语模型（LLM）运转结构，支撑在本地环境下运转各种开源LLM模型（如LLaMA、Falcon等），并供给跨途径支撑（macOS、Windows、Linux）。

经过Ollama，用户能够无需依靠云服务，轻松布置和运转各种大言语模型。虽然Ollama支撑快速布置，但由于DeepSeek-R1尚未在RK3588芯片上进行优化，因而只能在CPU上运转，或许会占用较高的CPU资源。具体过程如下：

(1) 下载Ollama：

根据需求下载并装置Ollama，

若下载速度较慢，可参阅以下镜像办法进行加快。

(2) 检查Ollama成果：

承认Ollama正确装置，并运转相关指令检查布置成果。

(3) 下载DeepSeek-R1：

从Ollama官网途径获取下载DeepSeek-R1模型的指令。

(4) 运转DeepSeek-R1：

经过Ollama指令行。接口。发动DeepSeek-R1模型。

优势与缺乏：

- 优势：布置进程简洁方便，合适快速测验和运用。

- 缺乏：因模型未针对RK3588优化，在CPU上运转时或许导致较高的CPU占用，影响功用。

2、在FCU3001途径上布置其他大模型。

除了DeepSeek-R1，Ollama还支撑布置其他大言语模型，如通义千问（Qwen）等，这展现了Ollama的广泛适用性。接下来，咱们以通义千问为例，在飞凌嵌入式推出的一款搭载。英伟达。处理器。的AI边际核算终端 FCU3001（根据NVIDIA Jetson Xavier NX处理器）上布置大言语模型：

FCU3001经过其强壮的核算才能和优化的软件支撑，能够高效地运转Ollama所支撑的大言语模型，如通义千问。在布置进程中，咱们能够充分利用Ollama供给的灵活性和易用性，保证大言语模型在FCU3001上安稳、流通地运转。过程如下：

(1) 装置CUDA环境：

能够运用NVIDIA Jetson Xavier NX的。GPU。来运转模型。Ollama的装置办法能够参阅上述。

(2) 进入Ollama官网：

阅读Ollama支撑的其他模型。

(3) 挑选版别：

从Ollama支撑的模型列表中挑选千问Qwen1.8B版别。

(4) 运转模型：

在Ollama环境下，运用指令ollamarun qwen:1.8b发动通义千问模型。

3、交互办法。

在前述的布置办法中，交互办法首要根据串口调试，短少图形界面，无法展现图片、表单等元素，也不能出现前史对话。为了提高用户体会，咱们能够经过集成ChatboxUI或WebUI等办法，供给更为丰厚的交互体会。

3.1 Chatbox UI。

Chatbox是一款集成多种言语模型的AI帮手东西，支撑如ChatGPT、Claude等多种模型。它不只具有本地数据存储和多言语切换功用，还支撑图画生成、Markdown和LaTeX等格局，供给人性化的界面和团队协作功用。Chatbox支撑Windows、macOS、Linux体系，用户可在本地快速完成对大言语模型的交互。过程如下：

(1) 下载Chatbox：

从Chatbox官网(https://chatboxai.app/zh)下载合适的装置包。

(2) 装置并装备：

下载完成后是一个Chatbox-1.10.4-。arm。64.AppImage的文件，其实便是一个可履行文件，增加权限即可运转，就能够装备本地ollamaAPI下的LLM模型了。

(3)。 问答。对话：

用户能够经过直观的图形界面与模型进行沟通，体会更为快捷、流通的交互。

演示作用图4。

3.2 Web UI。

WebUI经过网页或网络运用供给图形化用户界面，使得用户能够轻松经过阅读器与大言语模型进行交互。用户只需在阅读器中拜访相应的IP地址和。端口。号，即可进行实时发问。过程如下：

(1) Web UI环境建立：

装备WebUI所需的环境。WebUI主张运用python3.11版别。所以运用的Miniconda创立python==3.11虚拟环境。

装置Miniconda。

建立WebUI环境。

(2) 发动WebUI：

运用open-webuiserve发动WebUI运用，服务器的IP地址和端口号为0.0.0.0:8080。

(3) 拜访WebUI：

在阅读器中输入IP地址和端口号，翻开WebUI界面，开端与大言语模型互动。

注册账号。

4、总结。

本文全面展现了OK3588-C开发板及FCU3001边际AI网关上大言语模型的多种移植办法，并介绍了怎么经过ChatboxUI和WebUI等多种交互办法提高用户体会。

飞凌。嵌入式。推出了多款嵌入式AI产品，如OK3588-C、OK3576-C、OK-MX9352-C、OK536-C等开发板，还有AI边际核算终端FCU3001，算力规模从0.5TOPS到21TOPS不等，能够满意不同客户的AI开发需求。假如您对这些产品感兴趣，欢迎随时与咱们联络，飞凌嵌入式将为您供给具体的技能支撑与辅导。

内容来源：https://hoangkimngan.com/app-1/xổ số 4 8,http://chatbotjud.saude.mg.gov.br/app-1/leao.-bet

(责任编辑：咨询)