Modalidad (interacción humano-computadora)

En el contexto de la interacción humano-computadora , una modalidad es la clasificación de un único canal independiente de entrada/salida entre una computadora y un humano. Dichos canales pueden diferir en función de la naturaleza sensorial (por ejemplo, visual frente a auditivo), ^[1] u otras diferencias significativas en el procesamiento (por ejemplo, texto frente a imagen). ^[2] Un sistema se designa unimodal si solo tiene una modalidad implementada, y multimodal si tiene más de una. ^[1] Cuando hay múltiples modalidades disponibles para algunas tareas o aspectos de una tarea, se dice que el sistema tiene modalidades superpuestas. Si hay múltiples modalidades disponibles para una tarea, se dice que el sistema tiene modalidades redundantes. Se pueden utilizar múltiples modalidades en combinación para proporcionar métodos complementarios que pueden ser redundantes pero que transmiten información de manera más efectiva. ^[3] Las modalidades se pueden definir generalmente en dos formas: modalidades computadora-humano y modalidades humano-computadora.

Las computadoras utilizan una amplia gama de tecnologías para comunicarse y enviar información a los humanos:

• Modalidades comunes
  • Visión : gráficos por computadora, generalmente a través de una pantalla.
  • Audición : varias salidas de audio
  • Tactición : vibraciones u otros movimientos
• Modalidades poco comunes
  • Gusto (sabor)
  • Olfato (olor)
  • Termocepción (calor)
  • Nocicepción (dolor)
  • Equilibriocepción (equilibrio)

Cualquier sentido humano puede utilizarse como una modalidad de comunicación entre ordenador y humano. Sin embargo, las modalidades de la vista y el oído son las más comúnmente empleadas, ya que son capaces de transmitir información a una velocidad mayor que otras modalidades, de 250 a 300 ^[4] y de 150 a 160 ^[5] palabras por minuto , respectivamente. Aunque no se implementa comúnmente como modalidad de comunicación entre ordenador y humano, la tactición puede alcanzar un promedio de 125 ppm ^[6] mediante el uso de una pantalla Braille actualizable . Otras formas más comunes de tactición son las vibraciones de los teléfonos inteligentes y los controladores de juegos.

Las computadoras pueden estar equipadas con varios tipos de dispositivos de entrada y sensores que les permiten recibir información de los seres humanos. Los dispositivos de entrada comunes suelen ser intercambiables si tienen un método estandarizado de comunicación con la computadora y permiten ajustes prácticos para el usuario. Ciertas modalidades pueden proporcionar una interacción más rica según el contexto, y tener opciones de implementación permite sistemas más robustos. ^[7]

• Modalidades simples
  • Teclado
  • Dispositivo señalador
  • Pantalla táctil
• Modalidades complejas
  • Visión por computadora
  • Reconocimiento de voz
  • Movimiento
  • Orientación

Con la creciente popularidad de los teléfonos inteligentes , el público en general se está sintiendo más cómodo con las modalidades más complejas. El movimiento y la orientación se utilizan comúnmente en aplicaciones de mapeo de teléfonos inteligentes. El reconocimiento de voz se usa ampliamente con aplicaciones de asistente virtual. La visión artificial ahora es común en aplicaciones de cámara que se utilizan para escanear documentos y códigos QR.

Tener múltiples modalidades en un sistema brinda más posibilidades a los usuarios y puede contribuir a que el sistema sea más robusto. Tener más modalidades también permite una mayor accesibilidad para los usuarios que trabajan de manera más efectiva con ciertas modalidades. Las modalidades múltiples se pueden utilizar como respaldo cuando no son posibles ciertas formas de comunicación. Esto es especialmente cierto en el caso de modalidades redundantes en las que se utilizan dos o más modalidades para comunicar la misma información. Ciertas combinaciones de modalidades pueden contribuir a la expresión de una interacción entre una computadora y un ser humano o entre un ser humano y una computadora porque cada una de las modalidades puede ser más efectiva para expresar una forma o aspecto de la información que otras.

Hay seis tipos de cooperación entre modalidades, y ayudan a definir cómo una combinación o fusión de modalidades trabajan juntas para transmitir información de manera más efectiva. ^[8]

• Equivalencia: la información se presenta de múltiples maneras y puede interpretarse como la misma información.
• Especialización: cuando un tipo específico de información se procesa siempre a través de la misma modalidad
• Redundancia: múltiples modalidades procesan la misma información
• Complementariedad: múltiples modalidades toman información separada y la fusionan
• Transferencia: una modalidad produce información que otra modalidad consume
• Concurrencia: múltiples modalidades toman información separada que no está fusionada

Los sistemas complementarios redundantes son aquellos que tienen múltiples sensores para formar un conjunto de datos o comprensión, y cuanto más eficazmente se pueda combinar la información sin duplicar datos, más eficazmente cooperarán las modalidades. Tener múltiples modalidades de comunicación es común, particularmente en los teléfonos inteligentes, y a menudo sus implementaciones trabajan juntas hacia el mismo objetivo, por ejemplo, los giroscopios y acelerómetros trabajan juntos para rastrear el movimiento. ^[8]

• Interacción multimodal  : forma de interacción hombre-máquina que utiliza múltiples modos de entrada/salida.
• Aprendizaje multimodal  : métodos de aprendizaje automático que utilizan múltiples modalidades de entrada
• Integración multisensorial  – Estudio de los sentidos y del sistema nervioso
• Interfaz de usuario  : medio por el cual un usuario interactúa con una máquina y la controla.