pie_thn 基于端侧大模型实现智能业务生成的尝试

近期，pie_thn 在研究大模型（LLM）与 Skill（技能）的结合应用，使用英飞凌 OK1126BJ-S 开发板和瑞芯微 rknn-llm 开发套件，成功实现了将用户的自然语言指令转换为可执行的硬件操作序列。这一尝试旨在验证基于大模型和 Skill 的智能业务流生成。

本次实验使用的是英飞凌 OK1126BJ-S 开发板，其核心板为 FET1126BJ-S，SoC 基于 Rockchip RV1126BJ 处理器，内置 NPU 具备 3 TOPS @ INT8 算力。软件环境方面，使用瑞芯微官方提供的 rknn-llm 开发套件，并下载预转换的 RKLLM 模型文件。为了适应开发板的资源限制，选择了 Qwen3.5-0.8B 量化版本模型。

在部署大模型之前，需要确认板子的架构、内存及 NPU 驱动版本。通过一系列命令检查后，选择合适的模型进行部署。PC 端环境搭建采用 Docker 容器，修改官方例程中的解码参数以优化性能。将编译产物拷贝至开发板并调整系统参数后，运行 Demo 进行测试。实测结果显示，系统能够正确解析用户输入并生成相应的硬件操作序列。

为了克服小模型的局限性，系统被拆分为三个严格的阶段：用户输入 → 意图识别 → 技能映射 → 结构解析 → 执行引擎。意图识别阶段由 LLM 主导，将用户的自然语言切片转换为索引|文本切片，并提取参数。技能映射阶段通过代码确定性执行，将索引准确地映射为具体的技能名称和数据结构。结构解析阶段将扁平的技能列表转换为树状的 AST，支持控制流。最终，执行引擎遍历 AST 并执行具体的硬件操作。