使用手势识别作为 Android* 上的差异化特征

概述

移动设备中的传感器通常包括加速计、陀螺仪、磁力仪、压力传感器和环境光传感器。当用户移动、摇晃或倾斜设备时，会生成动作事件。我们可以使用传感器的原始数据实现动作识别。例如，显示来电的时候，您可以通过滑动将手机设为静音，或者您还可以通过举起设备启动摄像头应用。使用传感器创建这些便利的特性，有利于提升用户体验。

面向 Android* v1.6.7 的英特尔® 环境感知 SDK 已发布了几种新的环境类型，比如设备位置、耳朵触摸、滑动手势和符号手势。我们将在本文介绍如何获取传感器数据的有用信息，然后使用英特尔环境感知 SDK 示例验证滑动检测、摇晃检测和符号检测。

简介

常见问题是如何将传感器连接至硬件层的应用处理器 (AP)。图 1 所示为三种将传感器连接至 AP 的方法：直连、独立传感器中枢和 ISH（集成传感器中枢）。

图 1.对比不同传感器解决方案

传感器连接 AP，属于直连。不过直连所面临的问题是，直连需要消耗 AP 的能源来检测数据变化。下一代连接方式是独立传感器中枢。它克服了能耗问题，而且传感器能够以始终在线的方式运行。即使 AP 进入 S3^[1]状态，传感器中枢也可使用中断信号来唤醒 AP。再次经过演进，出现了集成传感器。 AP 包含一个传感器中枢，降低了整台设备 BOM 的成本。

传感器中枢是一个 MCU（多点控制单元）。您可以使用提供的语言（C/C++ 语言）编译算法，然后将二进制代码下载至 MCU。 2015 年，英特尔将发布面向平板电脑的 CherryTrail-T 平台、面向 2 合 1 设备的 SkyLake 平台，这两款平台均采用传感器中枢。请参阅 [2]，了解更多关于使用集成传感器中枢的信息。

图 2 所示为传感器坐标系统，其中加速计测量的是沿着 x、y 和 z 轴的速度，而陀螺仪测量的是沿着 x、y 和 z 轴的旋转。

图 2.加速计和陀螺仪传感器坐标系统

图 3.各轴在不同位置的加速值^[3]

表 1 列出了 Android Lollipop 产品所包含的新手势。

表 1： Android* Lollipop 的新手势

名称	描述
SENSOR_STRING_TYPE_PICK_UP_GESTURE	拾起设备时触发，无论面前是什么（桌子、口袋、手提袋）。
SENSOR_STRING_TYPE_GLANCE_GESTURE	支持短暂打开屏幕，以便用户根据特定动作浏览屏幕上的内容。
SENSOR_STRING_TYPE_WAKE_GESTURE	支持根据设备特定的动作唤醒设备。
SENSOR_STRING_TYPE_TILT_DETECTOR	每次检测到倾斜事件后均生成事件。

这些手势在源代码目录 /hardware/libhardware/include/hardware/sensor.h中进行定义。

手势识别流程

手势识别流程包括预处理、特征提取和模板匹配三个阶段。流程图请见图 4。

图 4. 手势识别流程

我们将通过以下内容分析该流程。

预处理

获取原始数据后，开始进行数据预处理。图 5 所示为向右滑动设备一次后陀螺仪的数据图表。图 6 所示为向右滑动设备一次后加速计的数据图表。

图 5.陀螺仪传感器数据变化表（向右滑动一次）

图 6. 加速计传感器数据变化表（向右滑动一次）

我们可以编写程序，以便使用 Android 设备通过网络接口发送传感器数据，然后编写可在电脑上运行的 Python* 脚本。这样，我们就可以动态获取设备的传感器数据图表。

这一步骤涉及以下内容：

运行 Python 脚本以接收传感器数据的电脑。
收集传感器数据然后将其发送至网络的 DUT-run 应用。
配置数据收发端口的 Android adb 命令 (adb forward tcp: port tcp: port)。

图 7.如何动态显示传感器数据图表

在这一阶段，我们要删除奇异点，并与往常一样使用过滤器消除噪声。图 8 中的图表显示，设备旋转了 90^。，然后回转到原点。

图 8.删除偏差和噪声奇异点^[4]

特征提取

传感器可能包含会影响识别结果的信号噪声。例如，FAR（错误接受率）和FRR（错误拒绝率）表示识别拒绝的比率。通过使用不同传感器数据融合，我们能够得出更准确的识别结果。传感器融合^[5]已应用到许多移动设备之中。图 9 举例说明了如何使用加速计、磁力仪和陀螺仪传感器了解设备的方向。一般来说，特征提取采用 FFT 和零交叉方法获取特征值。加速计和磁力仪非常容易受到 EMI 的干扰。因此我们通常需要校准这些传感器。

图 9.使用传感器融合^[4]了解设备的方向