知方号

知方号

python实现大疆Tello无人机控制平台并实现语音控制/手势控制/人脸跟踪/绿球跟踪/拍照录像<无人机控制平台有哪些>

python实现大疆Tello无人机控制平台并实现语音控制/手势控制/人脸跟踪/绿球跟踪/拍照录像

Tello智能信息处理平台 介绍控制键盘控制语音控制 视觉功能人脸跟踪绿球跟踪手势控制体态控制 拍照录像结语

介绍

本项目是我的一个课程设计。本来打算做大型四旋翼无人机的控制,后来老师给了两个Tello无人机(分别是带拓展板和不带拓展板的),就转到了做Tello的控制。项目的GUI界面和后台逻辑以及功能整合、整体优化调试由我完成,其他队员负责各视觉功能子模块的实现和调试。

源码及项目详细介绍请看GitHub仓库:Tello智能信息处理平台

此平台使用python语言开发,可用于控制大疆公司的Tello系列无人机,并利用无人机的摄像头、红外等传感器完成一系列视觉功能,包括:目标检测与跟踪(绿色小球与人脸)、手势控制、体态控制等。 也可控制Tello进行拍照、录像,以及做出一些抛飞、翻转、手上降落等花式动作。

控制 键盘控制

键盘控制一直处于开启状态。每个键盘键位对应的功能如下:

tab:起飞L/P/G/H:降落/悬停/抛飞/手上降落W/A/S/D:向前/左/后/右U/I:向上/下J/K:顺/逆时针旋转Z/X/C/V:前/后/左/右空翻 语音控制

有效语音指令如下:

起飞;降落;悬停;向前/后/左/右/上/下飞x厘米(x=20~500);顺时针旋转x度(x=1~360);向前/后/左/右翻滚;速度设为x厘米每秒(x=10~100);向前/后/左/右;(不建议,此指令会让无人机一直朝某个方向飞,直到得到“停”指令);停; 视觉功能 人脸跟踪

在菜单栏开启人脸跟踪功能后,无人机会搜寻人脸目标(最好只有一个),然后靠近人脸并保持在一定的安全距离内,且随着人的移动而移动。

绿球跟踪

与人脸跟踪类似,开启此功能后,无人机能够检测跟随绿色小球(球不要太小)。

手势控制

开启此功能后,会显示一个子窗口,并显示计算机摄像头视频流。识别出比划的手势后,无人机会做出相应的动作。为了避免连续识别并发出指令,我们设置了每次跳过一定帧数后再识别一次。 支持的手势如下:

双手合十:启动;大拇指向上:起飞;大拇指向下:降落;一/二/三/四/五/六:向上/下/左/右/前/后飞x厘米;七/八:顺/逆时针旋转90度;九:悬停;

飞行速度与飞行步长与主界面中对滑块设置的值有关。

体态控制

我们加入这个功能的初衷是想通过人体的姿势来控制无人机。 但是我们没有时间去训练自己的轻量检测模型。我们寻找到了AlphaPose这个开源姿势检测库,并选择其中运行速度较快的一个模型融合进我们的平台中。 尽管如此,检测速度还是无法达到我们的预期。而且由于整个项目是在我的macOS系统上构建,无法使用CUDA加速计算,因此整体检测速度非常慢。

为了避免危险情况发生,我并没有为体态检测结果设置相应的无人机指令,只将体态检测结果显示在主界面上。

拍照录像

在主界面点击拍照后,会将当前无人机原始画面以jpeg格式存储到本地。

点击录像后,程序开始将无人机原始画面以avi格式编码为视频流,再次点击录像按钮后,停止录像并将视频保存到本地。

结语

我们大约用了十天左右的时间完成这个平台,比较仓促,有些功能还能够再完善一下。但是在答辩结束后我们已经将两个无人机还给老师了,如果你对Tello感兴趣的话,可以在我们项目的基础上添加

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。