Embodied Interaction (具身交互), Sep 2023

具身交互 Embodied Interaction 身在何处 与何交互

引言

想象一下，有一天你可以像打太极一样操控无人机飞行。你的身体动作与无人机的运动似乎融为一体，你通过太极的手势和脚步来操控无人机，仿佛无人机成了你身体的一部分，帮助你探索身体无法触及的世界。在这一瞬间，无人机恼人的嗡嗡声似乎成了净化心灵的白噪音，而你的身体运动和与环境的互动不断提醒着你：你的周围世界之所以如此，都因为你置身其中，你的认知与这个环境息息相关。

这是2020年CHI的一个交互设计项目，设计者基于太极的灵感设计了一种用于培养身体与感官审美能力的无人机产品，而它的理念与本文的主题——具身交互(Embodied Interaction)息息相关。

1、什么是具身认知和具身交互

狭义来说，具身交互是指一种交互方式，它将人的身体作为交互的媒介，通过人的动作、姿势、表情等来进行信息的传递和交流。具身交互通常用于虚拟现实、增强现实、游戏、交互装置等领域，可以提高用户的沉浸感和参与度。具身交互理论为人机交互领域提供了新视角，具身交互来源于具身认知理论，其与继承了笛卡尔身心二元论哲学思想的古典认知科学理论相对立，古典认知科学主张人的认知行为是纯粹的心智（Mind）活动，认知是由心智按照规则接受、储存、处理、提取和变化信息的符号加工过程，与身体运动无关。具身认知理论认为，身体运动以及人与环境的交互行为对认知产生影响，即认知行为由心智活动、身体运动与环境作用共同产生影响。(Clark, 1999)

2、 具身认知的发展历程

      2.1 野外认知（Cognition in the wild）

上个世纪80年代末90年代初，人类学家Lucy Suchman (1987), Jean Lave (1988), 和Ed Hutchins (1995)开始探讨野外认知(Cognition in the wild)。彼时的认知科学领域关注思维是如何运作的，最广为流传的理论建构方式是通过研究大脑的信息处理过程，建构合理的行为模型。野外认知的观点与这一经典认知理论形成鲜明对比，三位人类学家分别在各自著作中反对了经典认知理论，论证了认知仅能在野外（野外是与实验室相对应的概念，指的是日常生活的场景）进行研究。

Lucy Suchman的著作Plans and Situated Action让HCI领域的学者和学生改变了对于人机交互的思考视角。彼时，业界广为接受的观点是大脑思维方式需要通过建构科学的行为模型进行解释，而这些模型应该构成人机交互中用户模型的基础，业界普遍认为民间理论和常识性解释不足以建构科学的模型。对此，Lucy Suchman则提出相反的观点：民间理论和常识性解释是人们在思考实践过程中运用的资源。Lucy Suchman认为，开发人员不应该用所谓的科学的行为模型开发人机交互界面，而应该从人们日常生活中的行为和反应汲取经验。

Jean Lave的著作Cognition in Practice中阐述了在实验室进行用户研究并不比普通人描述自己的日常生活更具有指导意义，言下之意在日常情境中研究人们的认知行为或许更有价值，更有助于设计界面交互方式，她将之描述为“野外认知”(Cognition in the wild)。Jean Lave通过详细的案例研究阐述了人们如何在真实世界的日常认知行为中运用机会性结构。机会性结构指人们在特定情境下灵活利用现有资源或结构来应对问题或者完成任务的行为方式，其强调了野外认知与经典认知理论的区别，人们并不总是依赖事先规划或涉及的方法解决问题，该观点在认知科学和人机交互领域得到广泛讨论，尤其在涉及行为与决策方式方面。

Ed Hutchins在著作Cognition in the Wild中同样提出认知应当在自然环境中进行研究，并且这种研究场域的转变也会改变人们对于认知本质的看法。Ed Hutchins认为古典认知科学方法的问题在于过于专注对个体内部的认知行为进行建模，他主张将古典认知科学的概念框架运用到各个认知系统，包括大规模的社会技术系统(Socio-technical systems)。Ed Hutchins提倡不要局限于个体层面的认知研究，还应考虑认知现象在个体之间、工具、以及内部和外部表征之间的分布性特质。换句话说，他鼓励研究人员不仅仅关注个体的认知方式，还应考虑到认知在多个个体之间、与工具的互动，以及内外部的符号和表征之间的复杂关系。这样的研究方法有助于更全面地理解认知是如何在社会和技术环境中发展和运作的。

      2.2 具身认知（Embodied Cognition）

基于前人对野外认知的广泛讨论以及对古典认知科学理论的批评，认知科学和人机交互领域的学者开始强调，人的认知与人所处的环境密切关联，人机交互领域开始广泛采取将人机交互概念化为现实世界中行为的方法，也就是“隐喻” (Metaphor)。进入21世纪，学者Paul Dourish提出了具身交互(Embodied Interaction)的概念(Dourish, 1999)，具身交互来源于具身认知理论，而其根源是20世纪欧洲流行的哲学流派——现象学(Phenomenology)，其主要奠基人有Edmund Husserl、Merleau Ponty、Martin Heidegger。现象学主要关注存在、意识、世界的本质等，具体来说现象学研究的是人类如何体验世界以及如何建构体验的意义，其主要研究对象是“现象”——人们对其进行感知和认知，以此做为理解世界和建构世界的经验。具身认知理论借鉴了现象学的哲学基础，研究人的主体感知、身体运动、体验以及与环境的联系，这种哲学思想为人机交互领域的研究者研究人类的心智、身体与环境的关系提供了新视角，并且现象学的概念例如意象、情感、情境等也被后来的研究人员融入到人机交互界面设计的场景中。

      2.3 具身交互（Embodied Interaction）

广义上讲，具身交互指的是日常的、普通的经验和通过完成实践活动认知世界的方式。狭义来说，具身交互是指一种特殊的人机交互方式，它汲取人在日常生活中的生活经验、运动经验，将人的身体作为交互的媒介，通过人的动作、姿势、表情等来进行信息的传递和交流。具身交互关注人们日常生活中与周遭环境的交互以及经验(Experience)，而具身交互的两种方法包括认知外部化(Cognition as external)、感知主体化(Perception as enactive)。

John McCarthy、Peter Wright基于哲学家、教育学家John Dewey和Mikhail Bakhtin的哲学理念提出了当时颇具影响力的“技术作为经验”(Technology as experience)框架(McCarthy and Wright, 2004)，他们提出以下观点：通过考虑用户与技术交互的情感、智力和感官方面的因素，理解用户对一项技术的整体体验，尤其是理解用户如何对该技术建构意义。该观点旨在强调人在人机交互中不仅仅是使用技术，而是与技术共生的关系。

      2.4 认知外部化（Cognition as External）

Andy Clark、David Chalmers在1998年提出了扩展心智(Extended Mind)假说(Clark and Chalmers, 1998)，认为外部环境和工具对认知起到重要作用，甚至本身成为认知的一部分。这一思想在认知科学和哲学领域引发了广泛的研究和讨论，对于理解人与技术之间的关系以及认知的本质产生了深远的影响。影响最深远的一个例子为盲人杖，盲人使用拐杖——拐杖成为了他手臂/手的延伸，扩展了他身体周围空间的边界和对世界的感知。这说明了认知不仅局限于个体的大脑，而可以通过工具和物品的使用来扩展和丰富。

      2.5 感知主体化（Perception as Enactive）

Alva Noë提出了感知主体化的观点，具体来说，他认为人对世界的感知并非被动地接受外界信息，而是主体逐渐积极地探索世界从而进行感知。Alva Noë的核心观点是，由于人处在世界中，因此人的感知经验是通过身体与世界的交互体验获得的，也即是人通过具身交互感知世界。Alva Noë还提出，由于人的感知和认知是具身化的，当我们设计新技术以促进认知、社会互动与文化体验时，如何更好地结合身体与情境的互动是关键因素。(Noë, 2004)

3、 范式转变带来的启示与未来发展

具身交互的概念强调了人类与环境、产品之间的互动过程中意义的创造、使用和传播。它意味着交互不仅仅是简单的物理行为，而是涉及人类认知、情感和社会关系的综合体验。在具身交互的视角下，人们不仅仅是被动地接受信息和操作界面，而是积极地参与其中，与环境和他人进行有意义的互动。

随着具身交互理论的兴起，人机交互研究人员和设计师普遍采用社会学和人类学等跨学科研究方法来深入探索用户体验。他们关注用户的情感、需求、文化背景以及社会互动，并将这些因素纳入产品和系统的设计和评估过程中。通过这种综合的研究方法，人们对于用户行为和期望有了更深入的理解，从而设计出更符合用户需求的交互系统。

随着计算机的发展进入普适计算(Ubiquitous Computing)阶段，学界和工业界普遍认为自然用户界面(Natural User Interface，NUI)将会是图形用户界面(Graphic User Interface，GUI)之后流行的新的交互界面，键盘、鼠标等交互设备的作用在人机交互中会逐渐被弱化甚至被更加方便的自然交互方式取代，例如语音、手势、生理数据等。针对NUI的研究大多基于具身交互的理论基础，其重点关注人类的感知（如视觉、听觉、触觉、嗅觉）和计算机的感知（如自然语言处理、传感器技术）。

4、 结语——对人机交互与认知科学交叉的思考

认知科学作为人机交互的理论基础为人机交互研究提供了广泛的理论支持和思考的视角，甚至为交互界面设计提供了直接的思路指导，而人机交互领域的研究成果往往也能反哺认知科学，为其研究人的认知提供工具支持。例如，人机交互设计中常见的隐喻(Metaphor)、可供性(Affordance)、心智模型(Mindset Model)等概念都出自认知科学领域，自然用户界面(Natural User Interface, NUI)、多模态交互(Multimodal Interaction)、有形交互(Tangible interaction)最初的发展均源于认知科学的理论贡献；Jon Bird等人通过E-Sense项目探索了如何设计触觉界面来传递新颖的感官信息，以使人们能够将技术视为自己的延伸(Bird et al., 2008)；Ronald Laurids Boring提出将人机交互作为一个统一的框架来服务于认知科学的方法(Boring, 2002)。凡此案例皆表明，人机交互与认知科学是两个高度相关且互补的学科，对于人机交互领域而言，探索的尽头终离不开对人的探索，尤其是与人相关的环境、行为，只有探其本源，终能有所洞见。

5、 Reference

1. BIRD, J., HOLLAND, S., MARSHALL, P., ROGERS, Y. & CLARK, A. 2008. Feel the force: Using tactile technologies to investigate the extended mind.

2. BORING, R. L. Human-computer interaction as cognitive science.  Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2002. SAGE Publications Sage CA: Los Angeles, CA, 1767-1771.

3. CLARK, A. 1999. An embodied cognitive science? Trends in cognitive sciences, 3, 345-351.

4. CLARK, A. & CHALMERS, D. 1998. The extended mind. analysis, 58, 7-19.

5. DOURISH, P. 1999. Embodied interaction: Exploring the foundations of a new approach to HCI. Work, 1-16.

6. MCCARTHY, J. & WRIGHT, P. 2004. Technology as experience. interactions, 11, 42-43.

7. NOË, A. 2004. Action in perception, MIT press.

6、 Bibliography

1. Rogers, Yvonne, Paul Marshall, and John M. Carroll. Research in the Wild. San Rafael: Morgan & Claypool Publishers, 2017.

2. Chamberlain, Alan, et al. "Research in the wild: understanding 'in the wild' approaches to design and development." Proceedings of the Designing Interactive Systems Conference. 2012.

3. Boring, Ronald Laurids. "Human-computer interaction as cognitive science." Proceedings of the Human Factors and Ergonomics Society Annual Meeting . Vol. 46. No. 21. Sage CA: Los Angeles, CA: SAGE Publications, 2002.

4. Dourish, Paul. "Embodied interaction: Exploring the foundations of a new approach to HCI." Work (1999): 1-16.

5. McCarthy, John, and Peter Wright. "Technology as experience." interactions 11.5 (2004): 42-43.

6. Bird, Jon, et al. "Feel the force: Using tactile technologies to investigate the extended mind." (2008).