基于视频的人机交互技术研究论文.doc
约42页DOC格式手机打开展开
基于视频的人机交互技术研究论文,约三万余字摘 要人机交互（human-computer interaction）主要研究人、计算机以及彼此之间互相影响的有关技术。视觉语言（包括手势和面部表情）作为一种自然的人-人信息交互的辅助方式，具有所见即所得、自然方便等优点，因此在新一代“以人为中心”的智能人机交互中得到了广泛的关注。此次课题就是在这一方面做的一...
内容介绍
此文档由会员 emplate 发布
约三万余字
摘 要
人机交互（Human-Computer Interaction）主要研究人、计算机以及彼此之间互相影响的有关技术。视觉语言（包括手势和面部表情）作为一种自然的人-人信息交互的辅助方式，具有所见即所得、自然方便等优点，因此在新一代“以人为中心”的智能人机交互中得到了广泛的关注。此次课题就是在这一方面做的一些尝试和探索，其中选择了基于手势的人机交互方式做研究，由于手势具有多样复杂性以及时空的差异性，因此，基于视觉的手势识别是一个极富挑战性的多学科交叉难题。
手势一般隐藏了一定的信息，我们需要对手势进行识别，得到其表达的含义，从而控制人机交互的实施。本文实现了一个利用视频手势提取进行人机交互的原型系统，大致可分为四个部分：视频采集和分离、图像预处理、手势提取和识别、人机交互。其中的关键部分是手势的提取和识别，手势提取需要采用图像处理的方法，而手势势识别采用的则是决策树的方法，通过对手势几何特征的分析和决策来判定手势类型。
采用以上方法对一段视频进行实时处理和分析，进而实现人机交互。其中主要的交互功能可以实现，实时性也较好，准确性也较高，不过该方法的鲁棒性不是很好，对光照强度较敏感。
关键词：人机交互，手势识别，图像处理，几何特征
Abstract
Human—Computer Interaction(HCI) is the technology of researching the interaction of human and computer, Visual language(gesture and face look) is a assistant human to human mutual method, it has the advantage of so called "what you see is what you get", and the most important is that it's a natural way. in view of these advantage, the researchers has put much focus on this aspect. the paper aims at doing some work on it. I select the item of HCI based on gesture recognition as my target. the gesture recognition is a challenging problem owe to the complexity and variety of gestures.
Generally speaking, The gestures contain some information in them, what we need to do is founding it. in this paper, it mainly involved the analyse of static gesture, and we must find the inherent clue, if we get it, then we can make use of it to control the HCI. in this paper ,the whole project can be separate into four parts: they are capturing and separating the video、image Preprocess、 acquiring and recognising the gesture 、the human computer interaction. the key part is acquiring and recognising the gesture. the gesture capture applys the theory of image processing, while gesture recognition applys the theory of decision-tree.
In the experiment, I acquired the video stream from a usb camera and processed it just as aboved approach. the final result is that it performed as we want. in a word, It’s a real-time system, the delay is in the control, and it has high accuracy too, But the robustness of the method is not very good, and it's much sensitive to light intensity.
KEY WORDS:human-comuter interaction hand gesture recognition
Image processing Geometry features
目 录
第一章 绪论
1.1 人机交互概述……………………………………………………………… 4
1.2 手势识别概述……………………………………………………………… 5
1.3 国内外研究现状…………………………………………………………… 6
1.4 本论文所做的工作及论文安排…………………………………………… 7
第二章 基于视觉的手势识别技术基础
2.1 手势建模………………………………………………………………….. 8
2.2 手势分割…………………………………………………………………… 11
2.3 手势分析…………………………………………………………………… 11
2.4 手势识别…………………………………………………………………… 12
2.5 本章小结…………………………………………………………………… 14
第三章 基于视频的人机交互设计
3.1 总体框架设计……………………………………………………………… 15
3.2 图像获取及预处理………………………………………………………… 16
3.3 手势提取和识别…………………………………………………………… 23
3.4 人机交互…………………………………………………………………… 28
3.5 本章小结…………………………………………………………………… 29
第四章 方案实现与结果分析
4.1程序运行环境………………………………………………………………. 30
4.2程序界面设计和主要功能…………………………………………………. 31
4.3程序运行结果以及分析……………………………………………………. 36
4.4本章小结……………………………………………………………………. 37
总结和展望………………………………………………………. 38
致谢………………………………………………………………. 39
参考文献…………………………………………………………. 40
参考文献
[1] 董士海．人机交互的进展及面临的挑战，计算机辅助设计与图形学学报 Vol.16,No.1,Jan.2004
[2] 袁景和．用于人机交互的手势指令识别技术：[博士学位论文]，天津：南开大学，2002.4
[3] 王茂吉．基于视觉的静态手势识别系统：[硕士学位论文]，哈尔滨：哈尔滨工业大学，2006.6
[4] T.Takahashi,F. K. Shino．Hand gesture coding based on experiments using a hand gesture interface device，SIGCHl Bulletin．1991, 23(2):67~73
[5] Davis, M. Shah．Visual gesture recognition. In IEEE Proceeding on Vision-Image Signal Processing.1994, 141(2): 321~332-br..
摘 要
人机交互（Human-Computer Interaction）主要研究人、计算机以及彼此之间互相影响的有关技术。视觉语言（包括手势和面部表情）作为一种自然的人-人信息交互的辅助方式，具有所见即所得、自然方便等优点，因此在新一代“以人为中心”的智能人机交互中得到了广泛的关注。此次课题就是在这一方面做的一些尝试和探索，其中选择了基于手势的人机交互方式做研究，由于手势具有多样复杂性以及时空的差异性，因此，基于视觉的手势识别是一个极富挑战性的多学科交叉难题。
手势一般隐藏了一定的信息，我们需要对手势进行识别，得到其表达的含义，从而控制人机交互的实施。本文实现了一个利用视频手势提取进行人机交互的原型系统，大致可分为四个部分：视频采集和分离、图像预处理、手势提取和识别、人机交互。其中的关键部分是手势的提取和识别，手势提取需要采用图像处理的方法，而手势势识别采用的则是决策树的方法，通过对手势几何特征的分析和决策来判定手势类型。
采用以上方法对一段视频进行实时处理和分析，进而实现人机交互。其中主要的交互功能可以实现，实时性也较好，准确性也较高，不过该方法的鲁棒性不是很好，对光照强度较敏感。
关键词：人机交互，手势识别，图像处理，几何特征
Abstract
Human—Computer Interaction(HCI) is the technology of researching the interaction of human and computer, Visual language(gesture and face look) is a assistant human to human mutual method, it has the advantage of so called "what you see is what you get", and the most important is that it's a natural way. in view of these advantage, the researchers has put much focus on this aspect. the paper aims at doing some work on it. I select the item of HCI based on gesture recognition as my target. the gesture recognition is a challenging problem owe to the complexity and variety of gestures.
Generally speaking, The gestures contain some information in them, what we need to do is founding it. in this paper, it mainly involved the analyse of static gesture, and we must find the inherent clue, if we get it, then we can make use of it to control the HCI. in this paper ,the whole project can be separate into four parts: they are capturing and separating the video、image Preprocess、 acquiring and recognising the gesture 、the human computer interaction. the key part is acquiring and recognising the gesture. the gesture capture applys the theory of image processing, while gesture recognition applys the theory of decision-tree.
In the experiment, I acquired the video stream from a usb camera and processed it just as aboved approach. the final result is that it performed as we want. in a word, It’s a real-time system, the delay is in the control, and it has high accuracy too, But the robustness of the method is not very good, and it's much sensitive to light intensity.
KEY WORDS:human-comuter interaction hand gesture recognition
Image processing Geometry features
目 录
第一章 绪论
1.1 人机交互概述……………………………………………………………… 4
1.2 手势识别概述……………………………………………………………… 5
1.3 国内外研究现状…………………………………………………………… 6
1.4 本论文所做的工作及论文安排…………………………………………… 7
第二章 基于视觉的手势识别技术基础
2.1 手势建模………………………………………………………………….. 8
2.2 手势分割…………………………………………………………………… 11
2.3 手势分析…………………………………………………………………… 11
2.4 手势识别…………………………………………………………………… 12
2.5 本章小结…………………………………………………………………… 14
第三章 基于视频的人机交互设计
3.1 总体框架设计……………………………………………………………… 15
3.2 图像获取及预处理………………………………………………………… 16
3.3 手势提取和识别…………………………………………………………… 23
3.4 人机交互…………………………………………………………………… 28
3.5 本章小结…………………………………………………………………… 29
第四章 方案实现与结果分析
4.1程序运行环境………………………………………………………………. 30
4.2程序界面设计和主要功能…………………………………………………. 31
4.3程序运行结果以及分析……………………………………………………. 36
4.4本章小结……………………………………………………………………. 37
总结和展望………………………………………………………. 38
致谢………………………………………………………………. 39
参考文献…………………………………………………………. 40
参考文献
[1] 董士海．人机交互的进展及面临的挑战，计算机辅助设计与图形学学报 Vol.16,No.1,Jan.2004
[2] 袁景和．用于人机交互的手势指令识别技术：[博士学位论文]，天津：南开大学，2002.4
[3] 王茂吉．基于视觉的静态手势识别系统：[硕士学位论文]，哈尔滨：哈尔滨工业大学，2006.6
[4] T.Takahashi,F. K. Shino．Hand gesture coding based on experiments using a hand gesture interface device，SIGCHl Bulletin．1991, 23(2):67~73
[5] Davis, M. Shah．Visual gesture recognition. In IEEE Proceeding on Vision-Image Signal Processing.1994, 141(2): 321~332-br..
