Meta研究发现：肌电信号可作为普适性AR/VR人机交互输入方案

抖音推荐 2025年07月25日 22:45 1 admin

从键盘、鼠标到触控屏，人类在不断探索与计算机交互的新方式，以更顺畅地交流、创造与完成工作。然而，这些交互方式大多需要我们主动去适应设备。那么，是否存在一种方式，能让设备主动适应我们，借助机器学习和人工智能的力量，实现更直观、更人性化的控制呢？

计算机视觉和自然语言理解的发展，让我们看到了这一领域的曙光。如今，我们可以用声音与计算机交互，计算机也能像我们一样感知世界。但若能利用手部细微动作来操控计算机，那无疑将是一次重大突破。毕竟，手是我们与周围世界交互的重要工具之一。

这正是 Meta Reality Labs 多年来潜心探索的未来方向。基于长期的研究，该团队坚信手腕表面肌电图（sEMG）将成为开启人机交互下一个范式转变的关键钥匙。

近日，Meta 团队在《自然》杂志上发表了一项最新研究成果，验证了肌电信号作为一种直观、无缝的输入方法，适用于大多数人。

为了打造一个既高性能又易于使用的交互接口，Meta 团队将目光聚焦于基于肌电图（EMG）读取肌肉电信号的非侵入性神经运动接口。肌电位由运动单位动作电位（MUAPs）的总和产生，让我们得以了解中枢神经系统发出的运动命令。表面肌电信号（sEMG）通过放大肌肉中的神经信号进行记录，能提供高信噪比，从而实现实时的单次手势解码。

表面肌电信号的特性使其天然适用于人机接口应用。它不受计算机视觉方法所面临的诸多问题困扰，比如遮挡、光线不足或最小运动手势等。事实上，肌电图在临床领域早已得到广泛应用，用于诊断、康复以及假肢控制。

然而，当前的肌电图系统，包括假肢控制系统，在大规模使用和部署方面存在诸多局限。实验室系统通常需要连接外部电源和放大器的电线，且放置位置不舒适。商业可用的肌电图神经运动接口在控制方面也面临诸多挑战，如跨姿势的鲁棒性差、缺乏标准化数据、电极位移以及跨会话和跨用户的泛化能力不足等。尽管深度学习技术在解决相关限制方面取得了一定成效，但普遍缺乏可用的肌电图数据和低样本量限制了其有效性。

为了验证表面肌电信号能够提供直观和无缝的计算机输入这一假设，Meta 开发并部署了强大的非侵入性硬件，用于在手腕记录表面肌电信号。选择手腕作为记录部位，是因为人类主要用手与世界互动，而手腕能提供广泛覆盖手、手腕和前臂肌肉的肌电信号，同时具备良好的社会可接受性。

团队研发的表面肌电信号研究设备（sEMG-RD）是一种干电极、多通道记录平台，能够提取单个假定的 MUAP。它舒适、无线，能适应不同的解剖结构和环境，使用者可在数秒钟内轻松穿上或脱下。

为了将表面肌电信号转化为驱动计算机交互的命令，研究人员构建并部署了基于数千名被试数据训练的神经网络。同时，他们还创建了自动行为提示和参与者选择系统，以在大量不同人群中扩展神经运动记录。此外，团队展示了 sEMG-RD驱动计算机交互的多种能力，例如一维连续导航（类似于基于手腕姿势的激光笔）、手势检测（手指按压和拇指滑动）和手写转录等。

表面肌电信号解码模型在未经特定训练或校准的人群中表现出色。在离线评估中，sEMG-RD 平台在手写和手势检测中的分类准确率超过 90%，在手腕角速度解码的误差小于 13° s−1。在线评估中，团队在基于手腕的连续控制中实现了每秒 0.66 个目标获取，在离散手势中实现了每秒 0.88 个目标获取，在手写方面实现了每分钟 20.9 个单词（WPM）。

研究人员总结道：“据我们所知，这是由神经运动接口实现的最高水平的跨参与者表现。我们的方法为基于表面肌电信号的人机交互研究指明了方向，同时解决了当前和未来脑机接口研究的诸多基本技术问题。”

这项研究为更广泛的科学界提供了创造神经运动接口的蓝图。除了一套重要的设计规则以及硬件、实验设计、数据需求和建模的最佳实践外，团队还公开发布了相关数据集，包含来自 300 多名研究参与者的 100 多个小时的表面肌电信号记录，涉及三个不同的任务。结合之前开源的用于姿态估计和表面类型的表面肌电信号数据集，Meta 希望这能助力领域学者和研究人员加快未来工作的步伐。

研究人员最后展望道：“随着时间的推移，表面肌电信号可能会彻底改变我们与设备的交互方式，为我们带来甚至做梦都没想到的人机交互新可能性。它或许会成为几乎所有设备的完美输入方式。”