人机交互是人与计算机之间信息交流的简称，从冯·诺伊曼计算机诞生之日起，人机交互就作为计算机科学研究领域中的一个组成部分受到人们的关注，在其后半个多世纪的发展中，人机交互技术取得了很大的进步。它的发展可简单分为以下4个阶段。

（1）基于键盘和字符显示器的交互阶段。这一阶段使用的主要交互工具为键盘及字符显示器，交互的内容主要有字符、文本和命令。交互过程显得呆板和单调，这一阶段可称为第一代人机交互技术。

（2）基于鼠标和图形显示器的交互阶段。这一阶段使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字符、图形和图像20世纪70年代发明的鼠标极大地改善了人机之间的交互方式，窗口操作系统中使用的鼠标今天已成为计算机的标准配置设备。鼠标也可称为第二代人机交互技术的象征。

（3）基于多媒体技术的交互阶段。20世纪80年代末出现的多媒体技术使计算机产业出现了前所未有的繁荣，声卡、图像卡等硬件设备的出现使得计算机处理声音及视频图像成为可能，从而使人机交互技术开始向声音、视频过渡，在这一阶段中，除了键盘和鼠标外，话筒、摄像机及喇叭等多媒体输入输出设备也逐渐为人机交互所用。而人机交互的内容也变得更加丰富，特别是语音识别技术的完善，使得通过声音与计算机进行交互成为可能。由于多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机进行信息交流，从而方便了计算机的使用，扩大了计算机的应用范围。但是，这一阶段的多媒体交互技术使用某种媒体技术进行人机交互时，仍处于独立媒体的存取、编辑状态，没能涉及多媒体信息的综合处理，因此多媒体技术交互阶段可称为第三代人机交互技术。

（4）基于多模态技术集成的自然交互阶段。从单媒体交互技术走向多媒体集成的交互技术，它所产生的效果和作用绝不是交互技术之间量的变化，而是一种质的飞跃。虽然通过多媒体信息进行人机交互极大地丰富了人机交互的手段和内容，但离人类天生的自然交互能力还差得较远，因为人类在与其环境进行交互时是多模态的，人可以同时说、指和看同一个物体，还可以通过同时听一个人的说话语气和看他的面部表情及手臂动作来判断他的情绪，为了更好地理解周围的环境，人类每时每刻都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类与环境之间自然交互的体现。此外，人类与环境之间的交互还是基于知识的，因为人类的行为动作均在思维的控制下进行，同样对反馈的信息也是在思维的支配下识别。因此，基于多模态技术的自然交互阶段则可以归纳为第四代的人机交互技术。在虚拟现实技术中，基于多模态技术集成的自然交互技术是其重要标志之一。

目前，虚拟现实系统能提供的自然交互技术效果还不是很完善，人们在使用眼睛、耳朵、皮肤、手势和语言等各种感觉器官直接与周围环境对象进行自然交互时，与理论目标值还存在一定的距离。

内容来源：喻晓和《虚拟现实技术基础教程第2版》