详情

　　研究团队的处理方案是引入磁吸效应。当用户的视线接近某个物体的鸿沟框时，这就像磁铁吸引铁块一样。

　　让机械人精确抓取物体，还需要处理一个环节问题：若何将屏幕上的像素坐标转换为机械人工做空间中的实正在坐标。

　　起首是眼动逃踪硬件。研究团队开辟了一副特制眼镜，拆载了ESP32 CAM摄像头模组。这个玲珑的设备可以或许及时捕获用户的眼球活动，并通过无线收集传输数据。

　　同时，YOLOv8方针检测模子担任识别工做区域内的物体。它能及时标注出杯子、刀具、瓶子、手机、鼠标等常见物品的，并为每个物体生成鸿沟框。

　　要让机械人看懂你的眼神，可不是一件容易的事。GazeGrasp系统巧妙地整合了多项前沿手艺。

　　最初一步是将检测到的物体核心从相机坐标系转换到机械人基座坐标系。这涉及到相机的内参和外参标定，以及逆投影变换。对于平面工做台，这个过程能够简化为一个单应性矩阵变换。

　　研究团队暗示，将来将继续优化系统，包罗提拔正在复杂下的鲁棒性、添加避障功能、扩展可识别物体类型等。跟着手艺的不竭完美，用眼神节制机械人大概会像今天用鼠标键盘一样天然。

　　这个系统最大的亮点是：完全不需要脱手，仅凭眼神就能切确节制机械臂抓取和放置物体。对于患有严沉活动妨碍的人群来说，这无疑是一个。

　　但GazeGrasp的意义远不止于此。它代表了人机交互的一个立异标的目的——完全基于天然的心理信号进行节制，无需进修复杂的操做体例。

　　想象一下，你只需要看一眼杯子，机械臂就会从动把它拿起来。再看一眼桌子的另一边，机械臂就会把杯子放到那里。

　　除了医疗康复范畴，这项手艺正在工业从动化、近程操做、好比正在核电坐、深海探测、太空功课等场景中，操做员能够通过眼动节制机械人完成精细操做，同时解放双手进行其他使命。

　　正在尝试评估中，研究团队邀请了13名春秋正在21-37岁之间的意愿者（5名女性，8名男性）参取测试。每位参取者需要完成40次物体定位使命，别离正在有无磁吸效应的环境下进行。

　　其次是深度进修算法矩阵。系统采用了谷歌的MediaPipe框架来检测和逃踪面部特征点，这项手艺可以或许正在各类光照前提下不变工做，确保眼动逃踪的精确性。

　　GazeGrasp系统采用了细密的坐标转换算法。起首，用户需要进行一次性的校准流程。系统会正在屏幕上显示35个预设点，用户顺次凝视这些点，让系统进修眼球活动取屏幕坐标的对应关系。

　　这波操做不是来自科幻片子，而是来自俄罗斯斯科尔科沃科学手艺研究院（Skoltech）最新研发的GazeGrasp系统。

　　具体来说，当视线进入物体鸿沟框时，鼠标会从动调整为物体核心坐标；不然，连结原始视线。这个看似简单的功能，却让操做效率提拔了近三分之一。

　　为了消弭眼动数据中的噪声，系统还集成了卡尔曼滤波器。这个典范的信号处置算法可以或许滑润原始的眼动轨迹，让光标挪动愈加不变流利。

　　整个抓取流程是如许的：用户凝视方针物体3秒钟，UR10机械臂就会挪动到物体并用Robotiq 2F-85夹爪抓取；然后用户再凝视空白3秒钟，机械臂就会把物体放置到那里。全程无需任何手动操做。

　　值得一提的是，研究团队通过引入磁吸效应功能，让系统的操做效率提拔了31%。13名测试者的尝试数据显示，有了这个功能后，用户锁定方针物体的平均时间从6。77秒缩短到了4。65秒。

　　统计阐发显示，磁吸效应的引入发生了显著的统计学差别（F(1，24)=24。52， p0。001）。这意味着这项功能确实可以或许无效提拔用户的操做效率。

　　研究团队利用了三次多项式回归模子来成立这种映照关系。通过这个模子，系统可以或许将ESP32 CAM捕获到的虹膜坐标精确转换为屏幕坐标。