桌面机器人开发(一)

灵感来源

一半来源是秋招，我得回去复习一下cpp，把rk3568的端侧项目跑起来，一半是源于最近的思考：

1. 思维是流动的。传统大模型是一问一答式的，人不去给出指令，他就是一个待机的状态。但人类是被动的接收了世界上的各种信息，再进行输出。然而给智能体装一个相机或者机械臂，不断接收信息，成本显然是非常昂贵的。
2. 关于端侧AI的前景思考是另一方面，在之前的博客中有论证过，乐观估计5-10年端侧的算力也很难追得上桌面级，更别提服务器级的算力了，因此人人都有一个智能伴侣还很远，那么端云协同的技术栈将会长期存在。那又引出了一个难题：端侧能做什么？

我认为端侧可以给云端大脑做一些过滤，承担一个智能传感器的职责，同时作为一个智能体的载体。于是我想做一个桌面的小机器人，实时的去做一些视觉/语义转换，获取了一些高维的格式化的信息后格式化发给云端。那么能做哪些好玩的事情呢？可以参考小爱同学/米家智能家居，到家/工位打个招呼，快下班/出门的时候提示有雨，提示喝水站立等等。后期细化具身载体之后，可以开发一下宠物系统，像QQ宠物一样，站久了坐下休息一会，主动和用户闲聊等等。

人在工位打招呼

我手头恰好有个瑞芯微开发板，先跑通一个 输入 -> 状态处理 -> 输出 的最简逻辑，我打算先跑通 人在工位打招呼的一个Demo。这里还要拆解，比如人形检测，状态机，tts打招呼。

1. YOLO检测

这个直接参考了野火的例程很快就跑通了，但是例程是单图检测，我让AI用cpp帮我写了一个用相机检测的例程，然后开始生啃cpp。