python实现大疆Tello无人机控制平台并实现语音控制/手势控制/人脸跟踪/绿球跟踪/拍照录像

Tello智能信息处理平台

• 介绍
• 控制
• • 键盘控制
  • 语音控制
• 视觉功能
• • 人脸跟踪
  • 绿球跟踪
  • 手势控制
  • 体态控制
• 拍照录像
• 结语

介绍

本项目是我的一个课程设计。本来打算做大型四旋翼无人机的控制，后来老师给了两个Tello无人机（分别是带拓展板和不带拓展板的），就转到了做Tello的控制。项目的GUI界面和后台逻辑以及功能整合、整体优化调试由我完成，其他队员负责各视觉功能子模块的实现和调试。

源码及项目详细介绍请看GitHub仓库：Tello智能信息处理平台

此平台使用python语言开发，可用于控制大疆公司的Tello系列无人机，并利用无人机的摄像头、红外等传感器完成一系列视觉功能，包括：目标检测与跟踪（绿色小球与人脸）、手势控制、体态控制等。

也可控制Tello进行拍照、录像，以及做出一些抛飞、翻转、手上降落等花式动作。

控制

键盘控制

键盘控制一直处于开启状态。每个键盘键位对应的功能如下：

• tab:

  起飞

• L/P/G/H:

  降落/悬停/抛飞/手上降落

• W/A/S/D:

  向前/左/后/右

• U/I:

  向上/下

• J/K:

  顺/逆时针旋转

• Z/X/C/V:

  前/后/左/右空翻

语音控制

有效语音指令如下：

• 起飞；
• 降落；
• 悬停；
• 向前/后/左/右/上/下飞x厘米（x=20~500)；
• 顺时针旋转x度（x=1~360)；
• 向前/后/左/右翻滚；
• 速度设为x厘米每秒（x=10~100)；
• 向前/后/左/右；(不建议，此指令会让无人机一直朝某个方向飞，直到得到“停”指令）；
• 停；

  

视觉功能

人脸跟踪

在菜单栏开启人脸跟踪功能后，无人机会搜寻人脸目标（最好只有一个），然后靠近人脸并保持在一定的安全距离内，且随着人的移动而移动。

绿球跟踪

与人脸跟踪类似，开启此功能后，无人机能够检测跟随绿色小球（球不要太小）。

手势控制

开启此功能后，会显示一个子窗口，并显示计算机摄像头视频流。识别出比划的手势后，无人机会做出相应的动作。为了避免连续识别并发出指令，我们设置了每次跳过一定帧数后再识别一次。

支持的手势如下：

• 双手合十：

  启动；

• 大拇指向上：

  起飞；

• 大拇指向下：

  降落；

• 一/二/三/四/五/六：

  向上/下/左/右/前/后飞x厘米；

• 七/八：

  顺/逆时针旋转90度；

• 九：

  悬停；

飞行速度与飞行步长与主界面中对滑块设置的值有关。

体态控制

我们加入这个功能的初衷是想通过人体的姿势来控制无人机。

但是我们没有时间去训练自己的轻量检测模型。我们寻找到了

AlphaPose

这个开源姿势检测库，并选择其中运行速度较快的一个模型融合进我们的平台中。

尽管如此，检测速度还是无法达到我们的预期。而且由于整个项目是在我的macOS系统上构建，无法使用CUDA加速计算，因此整体检测速度非常慢。

为了避免危险情况发生，我并没有为体态检测结果设置相应的无人机指令，只将体态检测结果显示在主界面上。

拍照录像

在主界面点击拍照后，会将当前无人机原始画面以jpeg格式存储到本地。

点击录像后，程序开始将无人机原始画面以avi格式编码为视频流，再次点击录像按钮后，停止录像并将视频保存到本地。

结语

我们大约用了十天左右的时间完成这个平台，比较仓促，有些功能还能够再完善一下。但是在答辩结束后我们已经将两个无人机还给老师了，如果你对Tello感兴趣的话，可以在我们项目的基础上添加更多的功能以及完善一下逻辑和bug。

项目源码在文章开头的链接里，感兴趣的朋友可以fork一下，点个星星哦