Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器,它能够精准的识别人的双手及各个指头的动作,从而提供给第三方应用使用。
Arduino 是一款便捷灵活、方便上手的开源电子原型平台,通过Arduino能够开发出各种各样的创意电子产品。
结合LeapMotion和Arduino,便能够实现通过体感控制硬件设备的神奇效果,由于Arduino可以外接各种外部设备,我们能够尽情的发挥想象力进行设计。包括机械臂、四轴飞行器、遥控车在内的各种设备都可以成为控制的目标。
Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器,它能够精准的识别人的双手及各个指头的动作,从而提供给第三方应用使用。
Arduino 是一款便捷灵活、方便上手的开源电子原型平台,通过Arduino能够开发出各种各样的创意电子产品。
结合LeapMotion和Arduino,便能够实现通过体感控制硬件设备的神奇效果,由于Arduino可以外接各种外部设备,我们能够尽情的发挥想象力进行设计。包括机械臂、四轴飞行器、遥控车在内的各种设备都可以成为控制的目标。
本项目的控制目标为机械臂,通过LeapMotion识别手势,将其转换为控制信号,实现对机械臂的动作控制,实现与人手同步的效果。
系统的整体框图如下:
l LeapMotion连接PC,通过USB将手势动作传给PC;
l PC机通过我们的JAVA程序,将手势转换为控制信号,通过串口传给Arduino板;
l Arduino接收到控制信号,将其转换为舵机的控制信号,发送给机械臂,实现控制;
系统使用的硬件包括:
LeapMotion体感控制器、Arduino控制板、MeARM机械臂、串口线
系统的软件框图如下:
通过使用LeapMotion的SDK,捕捉手势动作,通过我们自己的JAVA程序,将控制信号通过RS232发给Arduino,然后再Arduino端进行编程,实现简单的控制协议,将手部的X、Y、Z以及抓取动作解析为舵机控制信号,发给机械臂,实现控制。
以往的机械臂都是采用控制杆或者遥控器等方式控制,十分不直观,不利于学习。而通过手来控制“手”才是最接近人类直觉的控制方式,LeapMotion体感控制器的出现很好地解决了这个问题。任何用户,无需培训,就可以很方便的操纵机械臂,这样的交互改进就好比iPhone的触摸控制相对以前的功能机的控制的改进一般。
经过测试与优化,机械臂的控制已经较为流畅,可以实现简单的移动及抓取动作,通过持续优化,能够实现更理想的效果,接近实用水平。