Kinect

Los orígenes de Kinect se remontan a alrededor de 2005, cuando los proveedores de tecnología comenzaban a desarrollar cámaras con detección de profundidad . Microsoft ya había mostrado interés en una cámara 3D para la línea Xbox, pero debido a que la tecnología no estaba lo suficientemente desarrollada, la había archivado en el "Cementerio", una colección de tecnologías potenciales en las que no podían trabajar de inmediato. ^{[ 14 ]}

En 2005, la empresa israelí PrimeSense fue fundada por matemáticos e ingenieros para desarrollar la "próxima gran novedad" para videojuegos, incorporando cámaras capaces de mapear el cuerpo humano frente a ellas y detectar los movimientos de las manos. Presentaron su sistema en la Game Developers Conference de 2006, donde Alex Kipman , gerente general de incubación de hardware de Microsoft , vio el potencial de la tecnología de PrimeSense para el sistema Xbox. Microsoft inició conversaciones con PrimeSense sobre cómo mejorar su producto para que fuera más accesible al consumidor: no solo se requerían mejoras en las capacidades de las cámaras de detección de profundidad, sino también una reducción en el tamaño y el costo, así como un método para fabricar las unidades a gran escala. PrimeSense dedicó los siguientes años a trabajar en estas mejoras. ^{[ 14 ]}

Nintendo lanzó la Wii en noviembre de 2006. La característica principal de la Wii era el Wii Remote , un dispositivo portátil que la consola detectaba mediante una barra con sensor de movimiento montada en la pantalla del televisor para permitir juegos con control de movimiento . Microsoft sintió la presión de la Wii y comenzó a investigar con más detalle la detección de profundidad con el hardware de PrimeSense, pero no logró alcanzar el nivel de seguimiento de movimiento deseado. Si bien podían determinar gestos con las manos y detectar la forma general del cuerpo, no podían realizar el seguimiento esquelético. Una línea de investigación dentro de Microsoft buscaba crear un equivalente al Wii Remote, considerando que este tipo de unidad podría estandarizarse de manera similar a como los controladores con dos joysticks se convirtieron en una característica estándar. ^{[ 14 ]} Sin embargo, el objetivo final de Microsoft seguía siendo eliminar cualquier dispositivo entre el jugador y la Xbox. ^{[ 14 ]}

Kudo Tsunoda y Darren Bennett se unieron a Microsoft en 2008 y comenzaron a trabajar con Kipman en un nuevo enfoque para la detección de profundidad asistido por aprendizaje automático para mejorar el seguimiento esquelético. Lo demostraron internamente y establecieron dónde creían que podría estar la tecnología en unos años, lo que generó un gran interés en financiar su desarrollo posterior; esto también ocurrió en un momento en que los ejecutivos de Microsoft querían abandonar el enfoque de seguimiento de movimiento similar al de la Wii y favorecían la solución de detección de profundidad para presentar un producto que superara las capacidades de la Wii. El proyecto recibió luz verde a finales de 2008 y el trabajo comenzó en 2009. ^{[ 14 ]}

El proyecto recibió el nombre en clave " Proyecto Natal " en honor a la ciudad brasileña de Natal , lugar de nacimiento de Kipman. Además, Kipman reconoció el origen latino de la palabra "natal", que significa "nacer", reflejando así los nuevos tipos de público que esperaban atraer con la tecnología. ^{[ 15 ]} Gran parte del trabajo inicial se centró en la investigación etnográfica para observar cómo se distribuían e iluminaban los entornos domésticos de los jugadores de videojuegos y cómo los usuarios de Wii utilizaban el sistema, con el fin de planificar el uso de las unidades Kinect. El equipo de Microsoft descubrió, a partir de esta investigación, que el ángulo vertical de la cámara de detección de profundidad tendría que ajustarse manualmente o requeriría un costoso motor para su movimiento automático. La alta dirección de Microsoft optó por incluir el motor, a pesar del aumento de costes, para evitar que se rompiera la inmersión en el juego. El trabajo del proyecto Kinect también incluyó el empaquetado del sistema para la producción en masa y la optimización de su rendimiento. El desarrollo del hardware duró aproximadamente 22 meses. ^{[ 14 ]}

Durante el desarrollo del hardware, Microsoft colaboró ​​con desarrolladores de software para utilizar Kinect. Microsoft quería crear juegos que pudieran ser jugados por familias, ya que Kinect podía detectar múltiples cuerpos frente a él. Uno de los primeros títulos internos desarrollados para el dispositivo fue el juego incluido Kinect Adventures, desarrollado por Good Science Studio, que formaba parte de Microsoft Studios . Uno de los modos de juego de Kinect Adventures era "Reflex Ridge", basado en el juego japonés Brain Wall, donde los jugadores intentan contorsionar sus cuerpos en poco tiempo para hacer coincidir recortes de una pared que se mueve hacia ellos. Este tipo de juego fue un ejemplo clave del tipo de interactividad que buscaban con Kinect, y su desarrollo contribuyó a las mejoras del hardware. ^{[ 14 ]} Otro desarrollo fue Project Milo , un prototipo de juego desarrollado por Lionhead Studios , liderado por Peter Molyneux, donde el jugador podía interactuar con un avatar virtual mediante controles de movimiento y reconocimiento de voz. Lionhead había desarrollado el proyecto basándose en las capacidades originales de Kinect, pero según Molyneux, Microsoft descubrió que una versión de Kinect para el consumidor costaría miles de dólares, por lo que redujeron el tamaño del dispositivo y reorientaron el papel de los juegos para Kinect hacia juegos más casuales, como los de la Wii. Como resultado, el Proyecto Milo dejó de encajar en el catálogo de Microsoft y fue cancelado. ^{[ 16 ]}

Cerca de la fecha de lanzamiento prevista, surgió el problema de realizar pruebas exhaustivas de Kinect en diversos tipos de habitaciones y con diferentes personas, teniendo en cuenta la edad, el género y la raza, entre otros factores, manteniendo la confidencialidad de los detalles del dispositivo. Microsoft implementó un programa a nivel de toda la empresa que permitía a los empleados llevarse unidades de Kinect a casa para probarlas. Microsoft también involucró a otras divisiones ajenas al sector de los videojuegos, como Microsoft Research , Microsoft Windows y los equipos de Bing , para ayudar a completar el sistema. Microsoft estableció su propia planta de fabricación a gran escala para producir en masa unidades de Kinect y probarlas. ^{[ 14 ]}

Kinect se anunció por primera vez al público como "Proyecto Natal" el 1 de junio de 2009, durante la conferencia de prensa de Microsoft en el E3 2009 ; el director de cine Steven Spielberg se unió a Don Mattrick de Microsoft para presentar la tecnología y su potencial. ^{[ 14 ] [ 17 ]} Se presentaron tres demostraciones durante la conferencia : Ricochet y Paint Party de Microsoft , y Milo & Kate de Lionhead Studios creado por Peter Molyneux , mientras que una versión habilitada para Proyecto Natal de Burnout Paradise de Criterion Games se mostró durante la exposición del E3. ^{[ 18 ] [ 19 ]} Para el E3 2009, la tecnología de mapeo esquelético era capaz de rastrear simultáneamente a cuatro personas, ^{[ 20 ] [ 21 ] [ 22 ] [ 23 ]} con una extracción de características de 48 puntos esqueléticos en un cuerpo humano a 30 Hz. ^{[ 23 ] [ 24 ]} Microsoft no se había comprometido con una fecha de lanzamiento para Project Natal en el E3 2009, pero afirmó que sería después de 2009, y probablemente en 2010 para mantenerse competitivo con la Wii y el PlayStation Move ( el sistema de detección de movimiento de Sony Interactive Entertainment que utiliza dispositivos portátiles). ^{[ 25 ]} 

En los meses posteriores al E3 2009, surgieron rumores de una nueva consola Xbox 360 asociada con Project Natal, ya sea una configuración comercial que incorporaba el periférico, ^{[ 26 ] [ 27 ]} o como una revisión o actualización de hardware para soportar el periférico. ^{[ 28 ] [ 29 ]} Microsoft desestimó públicamente los informes y enfatizó repetidamente que Project Natal sería totalmente compatible con todas las consolas Xbox 360. Microsoft indicó que la compañía consideraba Project Natal una iniciativa significativa, tan fundamental para la marca Xbox como Xbox Live , ^{[ 25 ]} y con un lanzamiento planeado similar al de una nueva plataforma de consola Xbox. ^{[ 30 ]} El vicepresidente de Microsoft, Shane Kim, dijo que la compañía no esperaba que Project Natal extendiera la vida útil prevista de la Xbox 360, que se había planeado para durar diez años hasta 2015, ni retrasara el lanzamiento de la sucesora de la Xbox 360. ^{[ 21 ] [ 31 ]}

Tras la feria E3 2009 y durante 2010, los miembros del equipo de Project Natal adaptaron experimentalmente numerosos juegos a esquemas de control basados ​​en Kinect para evaluar su usabilidad. Entre estos juegos se encontraban Beautiful Katamari y Space Invaders Extreme , que se mostraron en el Tokyo Game Show en septiembre de 2009. ^{[ 32 ]} Según Tsunoda, añadir el control basado en Project Natal a juegos preexistentes implicaba importantes modificaciones en el código, lo que hacía improbable que los juegos existentes pudieran actualizarse mediante actualizaciones de software para ser compatibles con la unidad. ^{[ 33 ]} Microsoft también amplió su atractivo para desarrolladores externos para animarlos a desarrollar juegos para Project Natal. Empresas como Harmonix y Double Fine adoptaron rápidamente Project Natal y vieron su potencial, comprometiéndose a desarrollar juegos para la unidad, como el título de lanzamiento Dance Central de Harmonix. ^{[ 14 ]}

Aunque su unidad sensora fue diseñada originalmente para contener un microprocesador que realizaría operaciones como el mapeo esquelético del sistema, Microsoft informó en enero de 2010 que el sensor ya no contaría con un procesador dedicado. En su lugar, el procesamiento sería manejado por uno de los núcleos del procesador de la CPU Xenon de Xbox 360. ^{[ 34 ]} Por esas fechas, Kipmen estimó que Kinect solo consumiría entre el 10 y el 15 % de la potencia de procesamiento de Xbox 360. ^{[ 35 ]} Si bien esto representaba una pequeña fracción de las capacidades de Xbox 360, los observadores de la industria creían que esto apuntaba a dificultades adicionales para adaptar juegos preexistentes al uso de Kinect, ya que el seguimiento de movimiento aumentaría la carga computacional de un juego y excedería las capacidades de Xbox 360. Estos observadores creían que, en cambio, la industria desarrollaría juegos específicos para las características de Kinect. ^{[ 34 ]}

Durante la conferencia de prensa de Microsoft en el E3 2010 , se anunció que Project Natal se denominaría oficialmente Kinect y se lanzaría en Norteamérica el 4 de noviembre de 2010. ^{[ 36 ]} El director de Xbox Live, Stephen Toulouse, declaró que el nombre era una combinación de las palabras "kinetic" (cinético) y "connection" (conexión), aspectos clave de la iniciativa Kinect. ^{[ 37 ] [ 38 ]} Microsoft y estudios de terceros exhibieron juegos compatibles con Kinect durante la exposición del E3. ^{[ 39 ]} También se presentó una nueva revisión delgada de la Xbox 360 para coincidir con el lanzamiento de Kinect, que agregó un puerto dedicado para conectar el periférico; ^{[ 40 ]} Kinect se vendería en el lanzamiento como un accesorio independiente para los propietarios existentes de Xbox 360 y como parte de paquetes con la nueva Xbox 360 delgada. Todas las unidades incluían Kinect Adventures como juego incluido . ^{[ 41 ] [ 42 ]}

Microsoft continuó perfeccionando la tecnología Kinect en los meses previos a su lanzamiento en noviembre de 2010. Para el momento del lanzamiento, Kipman informó que habían logrado reducir el uso del procesador de Xbox 360 por parte de Kinect del 10-15%, según lo informado en enero de 2010, a un "porcentaje de un solo dígito". ^{[ 43 ]}

El director de producto de Xbox, Aaron Greenberg, declaró que la campaña de marketing de Microsoft para Kinect tendría una escala similar a la del lanzamiento de una consola; ^{[ 42 ]} se informó que la compañía había presupuestado 500 millones de dólares en publicidad para el periférico, como anuncios de televisión y prensa escrita, campañas con Burger King ^{[ 44 ]} y Pepsi , ^{[ 45 ]} y un evento de lanzamiento en Times Square de la ciudad de Nueva York el 3 de noviembre con una actuación de Ne-Yo . ^{[ 46 ]} Kinect se lanzó en Norteamérica el 4 de noviembre de 2010; ^{[ 1 ]} en Europa el 10 de noviembre de 2010; ^{[ 2 ]} en Australia, Nueva Zelanda y Singapur el 18 de noviembre de 2010; ^{[ 4 ] [ 47 ] [ 48 ]} y en Japón el 20 de noviembre de 2010. ^{[ 49 ]}

Se estima que el lanzamiento de Kinect para Xbox 360 vendió ocho millones de unidades en los primeros sesenta días de su lanzamiento, lo que le valió al hardware el récord mundial Guinness como el "Dispositivo electrónico de consumo de venta más rápida". ^{[ 14 ]} Para marzo de 2011, se habían vendido más de 10 millones . ^{[ 14 ]} Si bien aparentemente tuvo éxito, sus títulos de lanzamiento fueron principalmente juegos orientados a la familia (que podían diseñarse en torno a la funcionalidad y las limitaciones de Kinect), que pudieron haber atraído a nuevas audiencias, pero no tuvieron el poder de venta de grandes franquicias como Battlefield y Call of Duty , que fueron diseñadas principalmente en torno al controlador de Xbox 360. Se estima que solo un 20% de los 55 millones de propietarios de Xbox 360 habían comprado Kinect. ^{[ 14 ]} El equipo de Kinect reconoció algunas de las desventajas de los juegos más tradicionales y Kinect, y continuó el desarrollo continuo de la unidad para lanzarla como una unidad de segunda generación, como reducir la latencia de la detección de movimiento y mejorar el reconocimiento de voz. Microsoft comunicó estos cambios a los desarrolladores externos para ayudarles a anticipar cómo se pueden integrar las mejoras en los juegos. ^{[ 14 ]}

Paralelamente a las mejoras de Kinect, el equipo de hardware de Xbox de Microsoft comenzó a planificar la Xbox One a mediados de 2011. Parte de las primeras especificaciones de Xbox One indicaban que el nuevo hardware de Kinect se incluiría automáticamente con la consola, para que los desarrolladores supieran que el hardware de Kinect estaría disponible para cualquier Xbox One, con la esperanza de animarlos a aprovecharlo. ^{[ 14 ]} La Xbox One se anunció formalmente por primera vez el 23 de mayo de 2013 y se mostró con más detalle en el E3 2013 en junio. Microsoft declaró en estos eventos que la Xbox One incluiría el hardware de Kinect actualizado y que sería necesario conectarlo en todo momento para que la Xbox One funcionara. Esto generó preocupación en los medios de videojuegos: los defensores de la privacidad argumentaron que los datos del sensor de Kinect podrían usarse para publicidad dirigida y para realizar vigilancia no autorizada sobre los usuarios. En respuesta a estas afirmaciones, Microsoft reiteró que los usuarios pueden desactivar el reconocimiento de voz y el seguimiento de movimiento de Kinect, que los datos de Kinect no pueden usarse para publicidad según su política de privacidad y que la consola no redistribuiría contenido generado por el usuario sin permiso. ^{[ 50 ] [ 51 ] [ 52 ] [ 53 ] [ 54 ] [ 55 ]} También surgieron otros problemas con el conjunto de características originales de Xbox One, como el requisito de estar siempre conectado a Internet, y crearon una ola de reacciones negativas de los consumidores contra Microsoft. ^{[ 14 ]}

Microsoft anunció en agosto de 2013 que había realizado varios cambios en el lanzamiento previsto de Xbox One en respuesta a las críticas. Entre ellos, se encontraba que el sistema ya no requeriría que una unidad Kinect estuviera conectada para funcionar, aunque seguía previsto incluir Kinect con todos los sistemas Xbox One. Sin embargo, esto también obligó a Microsoft a establecer un precio de US$500 para el sistema Xbox One/Kinect en su lanzamiento en noviembre de 2013, US$100 más que la PlayStation 4, su competidora, lanzada en el mismo período, que no incluía ningún hardware de detección de movimiento. ^{[ 14 ]} En los meses posteriores al lanzamiento de Xbox One, Microsoft decidió lanzar un sistema Xbox One sin Kinect en marzo de 2014 al mismo precio que la PlayStation 4, tras considerar que Kinect para Xbox One no había recibido el apoyo de los desarrolladores y que las ventas de Xbox One estaban estancadas debido al precio más elevado del sistema con Kinect incluido. Richard Irving, gerente de grupo de programas que supervisaba Kinect, dijo que Microsoft había considerado más importante dar a los desarrolladores y consumidores la opción de desarrollar para Kinect o comprarlo, en lugar de obligarlos a usar la unidad. ^{[ 14 ]}

La eliminación de Kinect del paquete de venta de Xbox One marcó el inicio del rápido declive y la desaparición gradual de la unidad dentro de Microsoft. Desarrolladores como Harmonix, que originalmente habían estado desarrollando juegos para Xbox One, los pospusieron hasta que supieran que existía una base de usuarios de Kinect suficiente para justificar su lanzamiento, lo que resultó en una falta de juegos para Kinect y redujo el interés de los consumidores por comprar la unidad por separado. ^{[ 14 ]} Microsoft se volvió pesimista con respecto a Kinect, sin mencionar la unidad en el E3 2015 y anunciando en el E3 2016 que la próxima revisión de hardware de Xbox One, la Xbox One S , no tendría un puerto dedicado para Kinect; Microsoft ofreció un adaptador USB para Kinect, que se proporcionó gratuitamente durante un período promocional inicial después del lanzamiento de la consola. ^{[ 56 ]} La Xbox One X, más potente , también carecía del puerto para Kinect y requería este adaptador. ^{[ 57 ]} Aunque los desarrolladores seguían lanzando juegos compatibles con Kinect para Xbox One, la falta de declaraciones de Microsoft relacionadas con Kinect durante este período llevó a afirmaciones de que Kinect era un proyecto muerto en Microsoft. ^{[ 58 ] [ 59 ]}

Microsoft anunció formalmente que dejaría de fabricar Kinect para Xbox One el 25 de octubre de 2017. ^{[ 10 ]} Microsoft finalmente descontinuó el adaptador en enero de 2018, declarando que se estaban centrando en la fabricación de otros accesorios para Xbox One y computadoras personales que tenían mayor demanda. Los medios consideran que este es el punto en el que Microsoft dejó de trabajar en Kinect para la plataforma Xbox. ^{[ 14 ] [ 57 ]}

Aunque la unidad Kinect para la plataforma Xbox había quedado obsoleta, se utilizaba en el ámbito académico y otras aplicaciones desde aproximadamente 2011. Su funcionalidad, junto con su bajo coste de 150 dólares estadounidenses, se consideraba una forma económica de añadir detección de profundidad a las aplicaciones existentes, compensando el elevado coste y la falta de fiabilidad de otras cámaras 3D disponibles en ese momento. En robótica , la detección de profundidad de Kinect permitiría a los robots determinar la forma y las distancias aproximadas a los obstáculos y sortearlos. ^{[ 60 ]} En el campo de la medicina, Kinect podría utilizarse para monitorizar la forma y la postura del cuerpo de forma cuantificable, lo que permitiría tomar mejores decisiones en materia de atención médica. ^{[ 61 ]}

Alrededor de noviembre de 2010, tras el lanzamiento de Kinect, científicos, ingenieros y aficionados lograron hackear el dispositivo para determinar su hardware y software interno, lo que permitió a los usuarios descubrir cómo conectar y operar Kinect con Microsoft Windows y OS X a través de USB, lo que exponía datos no protegidos de los diversos elementos de la cámara que podían ser leídos. Esto también condujo a demostraciones de prototipos de otras posibles aplicaciones, como una interfaz de usuario basada en gestos para el sistema operativo similar a la que se muestra en la película Minority Report . ^{[ 62 ] [ 63 ]} Esto reflejó un trabajo similar realizado unos años antes para hackear el Wii Remote y utilizar su hardware de bajo costo para aplicaciones más avanzadas más allá del juego. ^{[ 64 ]}

Adafruit Industries , habiendo previsto algunas de las posibles aplicaciones de Kinect más allá de los videojuegos, lanzó un desafío de seguridad relacionado con Kinect, ofreciendo un premio en metálico por el desarrollo exitoso de un kit de desarrollo de software (SDK) de código abierto y controladores de hardware para Kinect, que llegó a conocerse como Open Kinect. ^{[ 65 ]} Adafruit nombró ganador a Héctor Martín el 10 de noviembre de 2010, ^{[ 66 ] [ 67 ]} quien había producido un controlador de Linux que permite el uso de las funciones de cámara RGB y sensibilidad de profundidad del dispositivo. ^{[ 68 ] [ 69 ]} Posteriormente se descubrió que Johnny Lee , un miembro clave del equipo de desarrollo de Kinect de Microsoft, se había acercado secretamente a Adafruit con la idea de un concurso de desarrollo de controladores y lo había financiado personalmente. ^{[ 70 ]} Lee había dicho sobre los esfuerzos para abrir Kinect que "Esto nos está mostrando el futuro... Esto está sucediendo hoy y esto sucederá mañana". y había involucrado a Adafruit en el concurso porque estaba frustrado por intentar convencer a los ejecutivos de Microsoft de que exploraran la vía no relacionada con los juegos para Kinect. ^{[ 71 ]}

Inicialmente, Microsoft se mostró en desacuerdo con que los usuarios piratearan Kinect, afirmando que incorporarían medidas de seguridad adicionales en futuras versiones del dispositivo para prevenir tales pirateos. ^{[ 62 ]} Sin embargo, a finales de noviembre de 2010, Microsoft cambió su postura original y apoyó los esfuerzos externos para desarrollar el SDK. ^{[ 72 ]} Kipman, en una entrevista con NPR , dijo:

Lo primero que hay que aclarar es que Kinect no fue hackeado. Hackear implicaría que alguien accediera a nuestros algoritmos integrados en la Xbox y los utilizara, algo que no ha ocurrido. O bien, que se interpusiera un dispositivo entre el sensor y la Xbox para hacer trampa, algo que tampoco ha ocurrido. A eso le llamamos hackeo, y nos hemos esforzado enormemente para evitar que suceda. Lo que sí ocurrió es que alguien creó un controlador de código abierto para PC que, básicamente, abre la conexión USB (que no protegimos intencionadamente) y lee los datos del sensor. El sensor, como ya he mencionado, tiene ojos y oídos, y todo ese ruido debe ser procesado y convertido en señal.

PrimeSense, junto con la empresa de robótica Willow Garage y el desarrollador de juegos Side-Kick, lanzó OpenNI , un grupo sin fines de lucro para desarrollar controladores portátiles para Kinect y otros dispositivos de interfaz natural (NI), en noviembre de 2010. Su primer conjunto de controladores, llamado NITE, se lanzó en diciembre de 2010. ^{[ 74 ] [ 75 ]} PrimeSense también había trabajado con Asus para desarrollar un dispositivo de detección de movimiento que compite con Kinect para computadoras personales. El producto resultante, el Wavi Xtion, se lanzó en China en octubre de 2011. ^{[ 76 ] [ 77 ]}

Microsoft anunció en febrero de 2011 que planeaba lanzar su propio SDK para Kinect en unos meses, y que se lanzó oficialmente el 16 de junio de 2011, pero que estaba limitado a usos no comerciales. ^{[ 78 ] [ 79 ]} El SDK permitía a los usuarios acceder al sistema de reconocimiento de movimiento esquelético para hasta dos personas y a la matriz de micrófonos de Kinect, características que no habían formado parte del SDK Open Kinect anterior. ^{[ 80 ]} El interés comercial en Kinect seguía siendo fuerte, y David Dennis, gerente de producto en Microsoft, declaró: "Hay cientos de organizaciones con las que estamos trabajando para ayudarlas a determinar qué es posible con la tecnología". ^{[ 81 ]} Microsoft lanzó su programa Kinect para Windows el 31 de octubre de 2011, lanzando un nuevo SDK a un pequeño número de empresas, incluidas Toyota , Houghton Mifflin y Razorfish, para explorar lo que era posible. ^{[ 81 ]} En el Consumer Electronics Show de enero de 2012, Microsoft anunció que lanzaría una unidad Kinect dedicada para Windows junto con el SDK comercial el 1 de febrero de 2012. El dispositivo incluía algunas mejoras de hardware, incluido el soporte para el "modo cercano" para reconocer objetos a unos 50 centímetros (20 pulgadas) delante de las cámaras. El dispositivo Kinect para Windows tenía un precio de US$250 , US$100 más que el Kinect original, ya que Microsoft había considerado que el Kinect de Xbox 360 estaba subvencionado a través de compras de juegos, suscripciones a Xbox Live y otros costos. ^{[ 71 ]} En el lanzamiento, Microsoft declaró que más de 300 empresas de más de 25 países estaban trabajando en aplicaciones compatibles con Kinect para la nueva unidad. ^{[ 82 ]} 

Con el anuncio original del Kinect revisado para Xbox One en 2013, Microsoft también confirmó que tendría una segunda generación de Kinect para Windows basada en la tecnología Kinect actualizada para 2014. ^{[ 83 ]} El nuevo Kinect 2 para Windows se lanzó el 15 de julio de 2014, a un precio de US$200 . ^{[ 84 ]} Microsoft optó por descontinuar el Kinect original para Windows a finales de 2014. ^{[ 85 ]} Sin embargo, en abril de 2015, Microsoft anunció que también descontinuaría el Kinect 2 para Windows y, en su lugar, dirigiría a los usuarios comerciales a usar el Kinect para Xbox One, que Microsoft dijo que "funcionaba de forma idéntica". Microsoft declaró que la demanda del Kinect 2 para Windows era alta y difícil de satisfacer mientras también cumplía con los pedidos del Kinect para Xbox One, y que habían encontrado desarrolladores comerciales que usaban con éxito el Kinect para Xbox One en sus aplicaciones sin problemas. ^{[ 86 ]}

Con el menor interés de Microsoft en Kinect, PrimeSense fue comprada por Apple, Inc. en 2013, que incorporó partes de la tecnología en su sistema Face ID para dispositivos iOS . ^{[ 87 ] [ 88 ]}

Aunque Kinect fue cancelado, su idea impulsó a Microsoft a profundizar en la accesibilidad de Xbox y sus juegos. Según Phil Spencer , director de Xbox en Microsoft, recibieron comentarios positivos de padres de niños con discapacidades que se alegraron de que Kinect permitiera a sus hijos jugar videojuegos. Estos esfuerzos llevaron al desarrollo del Xbox Adaptive Controller , lanzado en 2018, como parte de las iniciativas de Microsoft en este ámbito. ^{[ 89 ]}

Microsoft había abandonado la idea de usar Kinect para videojuegos, pero seguía explorando su potencial más allá de eso. El director de comunicaciones de Microsoft, Greg Sullivan, declaró en 2018 que «creo que una de las cosas que se está empezando a comprender es que Kinect nunca fue solo un periférico para juegos... Siempre fue más». ^{[ 90 ]} Parte de la tecnología de Kinect se integró en las HoloLens de Microsoft , lanzadas por primera vez en 2016. ^{[ 91 ]}

Microsoft anunció en mayo de 2018 que estaba trabajando en una nueva versión de un modelo de hardware Kinect para aplicaciones que no fueran juegos, la cual se integraría con sus servicios de computación en la nube Azure. Microsoft había previsto que el uso de la computación en la nube para descargar parte del trabajo computacional de Kinect, así como las funciones más potentes que ofrece Azure, como la inteligencia artificial, mejorarían la precisión de la detección de profundidad, reducirían el consumo de energía y darían lugar a unidades más compactas. ^{[ 92 ]} El dispositivo Azure Kinect se lanzó el 27 de junio de 2019 a un precio de 400 dólares estadounidenses , mientras que el SDK para la unidad se había lanzado en febrero de 2019. ^{[ 93 ]}

Sky UK anunció una nueva línea de televisores Sky Glass que se lanzará en 2022 e incorpora la tecnología Kinect en colaboración con Microsoft. Mediante las funciones de Kinect, el espectador podrá controlar el televisor a través de gestos y comandos de voz, y es compatible con funciones sociales como la visualización en redes sociales . ^{[ 94 ]}

Microsoft anunció que el kit de hardware Azure Kinect se descontinuaría en octubre de 2023 y que remitiría a los usuarios a proveedores externos para obtener piezas de repuesto. ^{[ 95 ]}

Una imagen infrarroja de ejemplo tomada por el sensor infrarrojo de Kinect (izquierda), y la misma imagen revisualizada en un mapa de profundidad utilizando gradientes de color desde blanco (cerca) hasta azul (lejos).

La tecnología de detección de profundidad y movimiento, base del Kinect, se habilita mediante su sensor de profundidad. El Kinect original para Xbox 360 utilizaba luz estructurada : la unidad proyectaba un patrón de infrarrojo cercano en el espacio frente al Kinect, mientras que un sensor infrarrojo capturaba el patrón de luz reflejada. Este patrón de luz se deforma según la profundidad relativa de los objetos que se encuentran frente a él, y se puede utilizar un algoritmo matemático para estimar dicha profundidad en función de diversos factores relacionados con la configuración del hardware del Kinect. Si bien otras tecnologías de detección de profundidad con luz estructurada utilizaban múltiples patrones de luz, el Kinect empleaba tan solo uno para lograr una alta velocidad de 30 fotogramas por segundo. El Kinect para Xbox One pasó a utilizar mediciones de tiempo de vuelo . El proyector infrarrojo del Kinect emite luz infrarroja modulada, que luego es capturada por el sensor. La luz infrarroja que se refleja en objetos más cercanos tiene un tiempo de vuelo más corto que la que se refleja en objetos más distantes, por lo que el sensor infrarrojo registra, píxel a píxel, la deformación del patrón de modulación con respecto al tiempo de vuelo. Las mediciones de profundidad por tiempo de vuelo pueden ser más precisas y calcularse en un tiempo menor, lo que permite detectar más fotogramas por segundo. ^{[ 96 ]}

Una vez que Kinect obtiene una imagen de profundidad píxel a píxel, utiliza un tipo de detección de bordes para delimitar los objetos más cercanos del fondo de la toma, incorporando la información de la cámara de luz visible convencional. A continuación, el dispositivo intenta rastrear cualquier objeto en movimiento a partir de esta imagen, asumiendo que solo las personas se moverán, y aísla las formas humanas. El software del dispositivo, con la ayuda de inteligencia artificial, segmenta las formas para intentar identificar partes específicas del cuerpo, como la cabeza, los brazos y las manos, y rastrea esos segmentos individualmente. Estos segmentos se utilizan para construir un esqueleto de 20 puntos del cuerpo humano, que luego puede ser utilizado por juegos u otro software para determinar las acciones que ha realizado la persona. ^{[ 97 ]}

Kinect para Xbox 360 fue una combinación de software y hardware desarrollados por Microsoft . El hardware incluía una tecnología de chipset de rango del desarrollador israelí PrimeSense , que desarrolló un sistema compuesto por un proyector y una cámara infrarrojos y un microchip especial que genera una cuadrícula a partir de la cual se puede determinar la ubicación de un objeto cercano en 3 dimensiones. ^{[ 98 ] [ 99 ] [ 100 ]} Este sistema de escáner 3D llamado Light Coding ^{[ 101 ]} emplea una variante de reconstrucción 3D basada en imágenes . ^{[ 102 ] [ 103 ]}

El sensor Kinect es una barra horizontal conectada a una pequeña base con un pivote motorizado y está diseñado para colocarse longitudinalmente encima o debajo de la pantalla de vídeo. El dispositivo cuenta con una cámara RGB , un sensor de profundidad y una matriz de micrófonos que ejecutan software propietario ^{[ 104 ]} , que proporcionan captura de movimiento 3D de cuerpo completo , reconocimiento facial y capacidades de reconocimiento de voz . En su lanzamiento, el reconocimiento de voz solo estaba disponible en Japón, Reino Unido, Canadá y Estados Unidos. Europa continental recibió la función más tarde, en la primavera de 2011 ^{[ 105 ].} Actualmente, el reconocimiento de voz es compatible con Australia , Canadá , Francia , Alemania , Irlanda , Italia , Japón , México , Nueva Zelanda , Reino Unido y Estados Unidos . La matriz de micrófonos del sensor Kinect permite a Xbox 360 realizar localización de fuentes acústicas y supresión de ruido ambiental , lo que permite funciones como el chat de grupo sin auriculares a través de Xbox Live ^{[ 106 ]} .

El sensor de profundidad consta de un proyector láser infrarrojo combinado con un sensor CMOS monocromo , que captura datos de vídeo en 3D bajo cualquier condición de luz ambiental . ^{[ 106 ] [ 20 ]} El rango de detección del sensor de profundidad es ajustable, y el software Kinect es capaz de calibrar automáticamente el sensor en función del juego y el entorno físico del jugador, teniendo en cuenta la presencia de muebles u otros obstáculos. ^{[ 24 ]}

Descrita por el personal de Microsoft como la principal innovación de Kinect, ^{[ 21 ] [ 107 ] [ 108 ]} la tecnología de software permite el reconocimiento avanzado de gestos , reconocimiento facial y reconocimiento de voz. ^{[ 22 ]} Según la información proporcionada a los minoristas, Kinect es capaz de rastrear simultáneamente hasta seis personas, incluyendo dos jugadores activos para el análisis de movimiento con una extracción de características de 20 articulaciones por jugador. ^{[ 109 ]} Sin embargo, PrimeSense ha declarado que la cantidad de personas que el dispositivo puede "ver" (pero no procesar como jugadores) solo está limitada por cuántas quepan en el campo de visión de la cámara. ^{[ 110 ]}

La ingeniería inversa ^{[ 111 ]} ha determinado que los diversos sensores de Kinect generan vídeo a una velocidad de fotogramas de ≈9 Hz a 30 Hz dependiendo de la resolución. El flujo de vídeo RGB predeterminado utiliza una resolución VGA de 8 bits (640 × 480 píxeles ) con un filtro de color Bayer , pero el hardware es capaz de resoluciones de hasta 1280x1024 (a una velocidad de fotogramas menor) y otros formatos de color como UYVY . El flujo de vídeo monocromo de detección de profundidad está en resolución VGA (640 × 480 píxeles) con una profundidad de 11 bits , lo que proporciona 2048 niveles de sensibilidad. Kinect también puede transmitir la vista de su cámara IR directamente (es decir, antes de que se haya convertido en un mapa de profundidad) como vídeo de 640x480, o 1280x1024 a una velocidad de fotogramas menor. El sensor Kinect tiene un alcance práctico de 1,2–3,5 m (3,9–11,5 pies) cuando se usa con el software Xbox. El área requerida para jugar con Kinect es de aproximadamente 6 ^m² , aunque el sensor puede mantener el seguimiento en un rango extendido de aproximadamente 0,7–6 m (2,3–19,7 pies) . El sensor tiene un campo de visión angular de 57 ° horizontalmente y 43° verticalmente, mientras que el pivote motorizado es capaz de inclinar el sensor hasta 27° hacia arriba o hacia abajo. El campo horizontal del sensor Kinect a la distancia mínima de visualización de ≈ 0,8 m (2,6 pies) es, por lo tanto, de ≈ 87 cm (34 pulgadas) , y el campo vertical es de ≈ 63 cm (25 pulgadas) , lo que resulta en una resolución de poco más de 1,3 mm (0,051 pulgadas) por píxel. El conjunto de micrófonos cuenta con cuatro cápsulas de micrófono ^{[ 112 ]} y funciona con cada canal procesando audio de 16 bits a una frecuencia de muestreo de 16 kHz . ^{[ 109 ]}                    

Debido a que el mecanismo de inclinación motorizado del sensor Kinect requiere más energía de la que pueden suministrar los puertos USB de la Xbox 360, ^{[ 113 ]} el dispositivo utiliza un conector propietario que combina la comunicación USB con alimentación adicional. Los modelos rediseñados de Xbox 360 S incluyen un puerto AUX especial para alojar el conector, ^{[ 114 ]} mientras que los modelos más antiguos requieren un cable de alimentación especial (incluido con el sensor) ^{[ 112 ]} que divide la conexión en conexiones USB y de alimentación separadas; la alimentación se suministra desde la red eléctrica mediante un adaptador de CA. ^{[ 113 ]}

Kinect para Windows es una versión modificada de la unidad Xbox 360 que se lanzó por primera vez el 1 de febrero de 2012, junto con el SDK para uso comercial. ^{[ 71 ] [ 115 ]} El hardware incluía mejores componentes para eliminar el ruido a lo largo de las rutas de cableado USB y otras, y mejoras en el sistema de cámara de detección de profundidad para la detección de objetos a corta distancia, hasta 50 centímetros (20 pulgadas) , en el nuevo "Modo Cercano". ^{[ 71 ]} 

El SDK incluía controladores para PC compatibles con Windows 7 para el dispositivo Kinect. Proporcionaba a los desarrolladores capacidades para Kinect para crear aplicaciones con C++ , C# o Visual Basic utilizando Microsoft Visual Studio 2010 e incluía las siguientes características:

1. Flujos de datos sin procesar de los sensores: Acceso a flujos de bajo nivel procedentes del sensor de profundidad, el sensor de la cámara de color y la matriz de micrófonos de cuatro elementos.
2. Seguimiento esquelético: Capacidad para rastrear la imagen del esqueleto de una o dos personas que se mueven dentro del campo de visión de Kinect para aplicaciones controladas por gestos.
3. Capacidades de audio avanzadas: Las capacidades de procesamiento de audio incluyen una sofisticada supresión de ruido acústico y cancelación de eco , formación de haces para identificar la fuente de sonido actual e integración con la API de reconocimiento de voz de Windows .
4. Código de ejemplo y documentación. ^{[ 116 ]}

En marzo de 2012, Craig Eisler, gerente general de Kinect para Windows, dijo que casi 350 empresas están trabajando con Microsoft en aplicaciones personalizadas de Kinect para Microsoft Windows. ^{[ 117 ]}

En marzo de 2012, Microsoft anunció que la siguiente versión del SDK de Kinect para Windows estaría disponible en mayo de 2012. Kinect para Windows 1.5 se lanzó el 21 de mayo de 2012. Incluye nuevas funciones, compatibilidad con muchos idiomas nuevos y se lanzó en 19 países más. ^{[ 118 ] [ 119 ]}

1. El SDK de Kinect para Windows 1.5 incluiría 'Kinect Studio', una nueva aplicación que permite a los desarrolladores grabar, reproducir y depurar clips de usuarios interactuando con aplicaciones. ^{[ 120 ]}
2. Se ofrecerá compatibilidad con el nuevo sistema esquelético "sentado" o de "10 articulaciones" que permitirá a las aplicaciones rastrear la cabeza, el cuello y los brazos de un usuario de Kinect, ya sea que esté sentado o de pie; lo cual funcionará en modo predeterminado y en modo cercano.
3. Soporte para cuatro nuevos idiomas para el reconocimiento de voz: francés, español, italiano y japonés. Además, se añadiría soporte para dialectos regionales de estos idiomas junto con el inglés. ^{[ 121 ]}
4. Estaría disponible en Hong Kong, Corea del Sur y Taiwán en mayo, y en Austria, Bélgica, Brasil, Dinamarca, Finlandia, India, Países Bajos, Noruega, Portugal, Rusia, Arabia Saudita, Singapur, Sudáfrica, Suecia, Suiza y Emiratos Árabes Unidos en junio. ^{[ 122 ]}

El SDK de Kinect para Windows para el sensor de primera generación se actualizó varias veces más, con la versión 1.6 lanzada el 8 de octubre de 2012, ^{[ 123 ]} la versión 1.7 lanzada el 18 de marzo de 2013, ^{[ 124 ]} y la versión 1.8 lanzada el 17 de septiembre de 2013. ^{[ 125 ]}

Una versión mejorada de Kinect se lanzó el 22 de noviembre de 2013 para Xbox One . Utiliza una cámara gran angular de tiempo de vuelo y procesa 2 gigabits de datos por segundo para leer su entorno. El nuevo Kinect tiene mayor precisión con tres veces la fidelidad de su predecesor y puede rastrear sin luz visible mediante un sensor IR activo . Tiene un campo de visión un 60 % más amplio con una distancia mínima de funcionamiento de 0,91 metros (3,0 pies) del sensor, en comparación con los 1,83 metros (6,0 pies) del Kinect original, ^{[ 126 ]} y puede rastrear hasta 6 esqueletos a la vez. También puede detectar la frecuencia cardíaca del jugador , la expresión facial, la posición y orientación de 25 articulaciones individuales (incluidos los pulgares), el peso ejercido sobre cada extremidad, la velocidad de los movimientos del jugador y rastrear los gestos realizados con un mando estándar. La cámara a color captura video 1080p que se puede mostrar en la misma resolución que la pantalla, lo que permite una amplia gama de escenarios. Además de mejorar las comunicaciones de video y las aplicaciones de análisis de video, esto proporciona una entrada estable sobre la cual construir aplicaciones interactivas. El micrófono de Kinect se utiliza para proporcionar comandos de voz para acciones como navegación, iniciar juegos y despertar la consola del modo de suspensión ^. [ ^{127 ] [ 128 ] La} altura recomendada del jugador es de al menos 40 pulgadas, lo que corresponde aproximadamente a niños de 4 años y medio en adelante. ^{[ 129 ]} [ ^{130 ]}  

Todas las consolas Xbox One se enviaron inicialmente con Kinect incluido. ^{[ 55 ]} En junio de 2014, se pusieron a disposición paquetes sin Kinect, ^{[ 131 ]} junto con un SDK de Xbox One actualizado que permitía a los desarrolladores de juegos deshabilitar explícitamente el seguimiento esquelético de Kinect, liberando recursos del sistema que antes estaban reservados para Kinect incluso si estaba deshabilitado o desconectado. ^{[ 131 ] [ 132 ]} A medida que el interés en Kinect disminuyó en 2014, las revisiones posteriores del hardware de Xbox One, incluidas Xbox One S y Xbox One X , eliminaron el puerto dedicado para Kinect, lo que requería que los usuarios compraran un adaptador USB 3.0 y un adaptador de CA para usar Kinect con Xbox One. ^{[ 133 ] [ 134 ]}

El 7 de octubre de 2014 se lanzó un Kinect independiente para Xbox One, que incluía una copia digital de Dance Central Spotlight . ^{[ 135 ]}

Considerado un fracaso comercial en comparación con Kinect para Xbox 360, el producto Kinect para Xbox One se descontinuó el 25 de octubre de 2017. La producción del cable adaptador también finalizó en enero de 2018. ^{[ 9 ]}

Lanzado el 15 de julio de 2014, Kinect 2 para Windows se basa en Kinect para Xbox One y se considera un reemplazo del Kinect original para Windows. También se comercializó como "Kinect para Windows v2". Es casi idéntico, salvo por la eliminación de la marca Xbox, e incluía un adaptador USB 3.0/AC. Se lanzó junto con la versión 2.0 del SDK de Windows para la plataforma. El precio de venta sugerido era de US$199 . ^{[ 84 ] [ 8 ] [ 136 ] [ 86 ]} Microsoft considera que Kinect 2 para Windows tiene un rendimiento equivalente al de la versión de Xbox One.

En abril de 2015, debido a las dificultades para satisfacer la demanda de fabricación del Kinect para Xbox One, esta edición se descontinuó. Microsoft recomendó a los usuarios comerciales que utilizaran la versión de Xbox One con un adaptador USB. ^{[ 86 ] [ 137 ] [ 8 ] [ 136 ] [ 138 ]}

El 7 de mayo de 2018, Microsoft anunció una nueva versión de la tecnología Kinect diseñada principalmente para software empresarial e inteligencia artificial . Está diseñada en torno a la plataforma en la nube Microsoft Azure y tiene como objetivo "aprovechar la riqueza de la IA de Azure para mejorar drásticamente los análisis y las operaciones". ^{[ 139 ] [ 140 ]} Tiene un tamaño más pequeño que las versiones de Kinect para Xbox e incluye una cámara de 12 megapíxeles, un sensor de profundidad de tiempo de vuelo (también utilizado en HoloLens 2) y siete micrófonos. En febrero de 2019 se anunció un kit de desarrollo. ^{[ 141 ] [ 142 ]} El kit se descontinuó en octubre de 2023. ^{[ 95 ]}

Requiriendo al menos 190 MB de espacio de almacenamiento disponible, ^{[ 143 ]} el software del sistema Kinect permite a los usuarios operar la interfaz de usuario de la consola Xbox 360 Dashboard a través de comandos de voz y gestos con las manos. Se emplean técnicas como el reconocimiento de voz y el reconocimiento facial para identificar automáticamente a los usuarios. Entre las aplicaciones para Kinect se encuentra Video Kinect, que permite chatear por voz o video con otros usuarios de Xbox 360 o usuarios de Windows Live Messenger . La aplicación puede usar la funcionalidad de seguimiento de Kinect y el pivote motorizado del sensor Kinect para mantener a los usuarios en el encuadre incluso mientras se mueven. Otras aplicaciones con soporte para Kinect incluyen ^ESPN , Zune Marketplace , ^{[ 143 ]} Netflix , Hulu Plus ^{[ 144 ]} y Last.fm. ^[ 145 ^] Microsoft confirmó posteriormente que todas las aplicaciones futuras requerirían funcionalidad Kinect para su certificación. ^{[ 146 ]}

La Xbox One se lanzó originalmente en paquetes con Kinect; el software de la interfaz de usuario original de Xbox One tenía un soporte similar para las funciones de Kinect al del software de Xbox 360, como comandos de voz, identificación de usuario mediante reconocimiento esquelético o vocal y comandos controlados por gestos, aunque estas funciones podían desactivarse por completo debido a preocupaciones de privacidad. ^{[ 147 ]} Sin embargo, esto había dejado la navegación más tradicional con un mando desorganizada. En mayo de 2014, cuando Microsoft anunció que lanzaría sistemas Xbox One sin Kinect, la compañía también anunció planes para modificar el software del sistema Xbox One para eliminar las funciones de Kinect. ^{[ 148 ]} El soporte para Kinect en el software se eliminó por completo en noviembre de 2015. ^{[ 149 ]}

Los juegos de Xbox 360 que requieren Kinect vienen en cajas especiales de color púrpura (a diferencia de las cajas verdes que usan todos los demás juegos de Xbox 360) y llevan un logotipo destacado de "Requiere sensor Kinect" en la portada. Los juegos que incluyen funciones que utilizan Kinect, pero que no lo requieren para el juego estándar, llevan la marca "Mejor con sensor Kinect" en la portada. ^{[ 150 ]}

Kinect se lanzó el 4 de noviembre de 2010 con 17 títulos. ^{[ 151 ]} Entre los editores externos de juegos de Kinect disponibles y anunciados se incluyen, entre otros, Ubisoft , Electronic Arts , LucasArts , THQ , Activision , Konami , Sega , Capcom , Namco Bandai y MTV Games . Además de los juegos físicos, también hay algunos títulos de Xbox Live Arcade que requieren el periférico.

KinectShare.com era un sitio web donde los jugadores podían subir imágenes, videos y logros de videojuegos desde su Xbox 360. ^{[ 152 ]} Fue lanzado junto con Kinect en noviembre de 2010. Se lanzó un blog en el sitio web en octubre de 2011, que mostraba noticias oficiales de Kinect, el cual fue descontinuado después de julio de 2012. ^{[ 153 ]} Fue utilizado por varios juegos de Kinect, incluidos Dance Central 2 , Kinect Adventures!, Kinect Fun Labs , Kinect Rush: A Disney–Pixar Adventure , Kinect Sports y Kinect Sports: Season Two . ^{[ 154 ]} El sitio web fue cerrado en junio de 2017, unos meses antes de la descontinuación de Kinect, redirigiendo a Xbox.com. ^{[ 152 ]} La función KinectShare en Xbox 360 fue descontinuada el 28 de julio de 2017.

En el E3 2011 , Microsoft anunció Kinect Fun Labs : una colección de varios gadgets y minijuegos accesibles desde el Panel de control de Xbox 360. Estos gadgets incluyen Build A Buddy , Air Band , Kinect Googly Eyes , Kinect Me , Bobblehead , Kinect Sparkler , Junk Fu ^{[ 155 ]} y Avatar Kinect . ^{[ 156 ] [ 157 ] [ 158 ]}

Numerosos desarrolladores están investigando posibles aplicaciones de Kinect que van más allá del propósito original del sistema de jugar, algo que se ha visto facilitado por el lanzamiento del SDK de Kinect por parte de Microsoft. ^{[ 159 ]}

Por ejemplo, Philipp Robbel del MIT combinó Kinect con iRobot Create para mapear una habitación en 3D y hacer que el robot respondiera a gestos humanos, ^{[ 160 ]} mientras que un equipo del MIT Media Lab está trabajando en una extensión de JavaScript para Google Chrome llamada depthJS que permite a los usuarios controlar el navegador con gestos de la mano. ^{[ 161 ]} Otros programadores, incluido el Robot Locomotion Group en el MIT, están utilizando los controladores para desarrollar una interfaz de usuario de controlador de movimiento similar a la imaginada en Minority Report . ^{[ 162 ]} Los desarrolladores de MRPT han integrado controladores de código abierto en sus bibliotecas y han proporcionado ejemplos de renderizado 3D en vivo y SLAM visual 3D básico . ^{[ 163 ]} Otro equipo ha mostrado una aplicación que permite a los usuarios de Kinect tocar un piano virtual golpeando con los dedos un escritorio vacío. ^{[ 164 ]} Oliver Kreylos, investigador de la Universidad de California, Davis , adoptó la tecnología para mejorar la videoconferencia tridimensional en vivo , en la que la NASA ha mostrado interés. ^{[ 165 ]}

Alexandre Alahi de la EPFL presentó un sistema de videovigilancia que combina varios dispositivos Kinect para rastrear grupos de personas incluso en completa oscuridad. ^{[ 166 ]} Las empresas So touch y Evoluce han desarrollado software de presentación para Kinect que se puede controlar mediante gestos con las manos; entre sus características se encuentra un modo de zoom multitáctil. ^{[ 167 ]} En diciembre de 2010, se lanzó la beta pública gratuita del software HTPC KinEmote ; permite la navegación de los menús de Boxee y XBMC utilizando un sensor Kinect. ^{[ 168 ]} Soroush Falahati escribió una aplicación que se puede utilizar para crear imágenes 3D estereoscópicas con un sensor Kinect. ^{[ 169 ]}

En el seguimiento del movimiento humano, Kinect puede sufrir de oclusión, que es cuando algunas articulaciones del cuerpo humano están ocluidas y no pueden ser rastreadas con precisión por el modelo esquelético de Kinect. ^{[ 170 ]} Por lo tanto, fusionar sus datos con otros sensores puede proporcionar un seguimiento más robusto del modelo esquelético. Por ejemplo, en un estudio, se utilizó un filtro de Kalman sin aroma (UKF) para fusionar los datos de posición 3D de Kinect de las articulaciones del hombro, codo y muñeca con los obtenidos de dos unidades de medición inercial (IMU) colocadas en el brazo superior e inferior de una persona. ^{[ 171 ]} Los resultados mostraron una mejora de hasta un 50 % en la precisión del seguimiento de la posición de las articulaciones. Además de resolver el problema de la oclusión, como la frecuencia de muestreo de las IMU era de 100  Hz (en comparación con ~30  Hz para Kinect), la mejora de la posición esquelética fue más evidente durante movimientos rápidos y dinámicos.

Kinect también muestra un gran potencial para su uso en medicina. Investigadores de la Universidad de Minnesota han utilizado Kinect para medir diversos síntomas de trastornos en niños, creando nuevas formas de evaluación objetiva para detectar afecciones como el autismo, el trastorno por déficit de atención y el trastorno obsesivo-compulsivo. ^{[ 172 ]} Varios grupos han informado del uso de Kinect para la revisión intraoperatoria de imágenes médicas, lo que permite al cirujano acceder a la información sin contaminación. ^{[ 173 ] [ 174 ]} Esta técnica ya se utiliza en el Sunnybrook Health Sciences Centre de Toronto , donde los médicos la emplean para guiar la obtención de imágenes durante la cirugía oncológica. ^{[ 175 ]} Al menos una empresa, GestSure Technologies, está trabajando en la comercialización de un sistema de este tipo. ^{[ 176 ]}

El Laboratorio de Propulsión a Chorro (JPL) de la NASA se inscribió en el programa Kinect para desarrolladores de Windows en noviembre de 2013 para usar el nuevo Kinect para manipular un brazo robótico en combinación con un casco de realidad virtual Oculus Rift , creando "la interfaz más inmersiva" que la unidad había construido hasta la fecha. ^{[ 177 ]}

Tras su lanzamiento, Kinect obtuvo opiniones generalmente positivas de críticos y reseñadores. IGN le otorgó al dispositivo una puntuación de 7,5 sobre 10, afirmando que "Kinect puede ser tremendamente divertido para jugadores ocasionales, y el concepto creativo y sin mando es innegablemente atractivo", aunque añadió que "por 149,99 dólares, un complemento de cámara con seguimiento de movimiento para Xbox 360 es difícil de vender, especialmente considerando que la versión básica de Xbox 360 cuesta solo 199,99 dólares". ^{[ 180 ]} Game Informer calificó a Kinect con un 8 sobre 10, elogiando la tecnología pero señalando que la experiencia requiere tiempo para acostumbrarse y que el requisito espacial puede suponer una barrera. ^{[ 179 ]} Computer and Video Games calificó al dispositivo como una joya tecnológica y aplaudió los controles por gestos y voz, al tiempo que criticó la gama de lanzamiento y Kinect Hub. ^{[ 178 ]}

La reseña de CNET señaló cómo Kinect mantiene a los jugadores activos con su detección de movimiento de cuerpo completo, pero criticó la curva de aprendizaje, la fuente de alimentación adicional necesaria para las consolas Xbox 360 más antiguas y los requisitos de espacio. ^{[ 181 ]} Engadget también mencionó los grandes requisitos de espacio como un punto negativo, junto con el catálogo de lanzamiento de Kinect y la lentitud de la interfaz de usuario de gestos de mano. La reseña elogió la potente tecnología del sistema y el potencial de sus juegos de yoga y baile. ^{[ 182 ]} Kotaku consideró el dispositivo revolucionario en su primer uso, pero señaló que los juegos a veces no podían reconocer los gestos o tenían respuestas lentas, concluyendo que Kinect "aún no es imprescindible, sino que es imprescindible tenerlo eventualmente". ^{[ 189 ]} TechRadar elogió el control por voz y vio un gran potencial en el dispositivo, cuyos problemas fueron identificados como la latencia y los requisitos de espacio. ^{[ 184 ]} Gizmodo también señaló el potencial de Kinect y expresó curiosidad sobre cómo los títulos más populares utilizarían la tecnología. ^{[ 190 ]} La reseña de Ars Technica expresó preocupación de que la característica principal de Kinect, su falta de un controlador, obstaculizaría el desarrollo de juegos más allá de aquellos que tienen jugadores estáticos o controlan el movimiento del jugador automáticamente. ^{[ 191 ]}

La prensa generalista también reseñó Kinect. USA Today lo comparó con el esquema de control futurista visto en Minority Report , afirmando que "jugar se siente genial" y otorgándole al dispositivo 3.5 de 4 estrellas. ^{[ 183 ]} David Pogue de The New York Times predijo que los jugadores sentirían una "emoción loca, mágica y asombrosa la primera vez que prueben Kinect". A pesar de decir que el seguimiento de movimiento era menos preciso que la implementación de Wii , Pogue concluyó que "la asombrosa tecnología de Kinect crea una actividad completamente nueva que es social, abarca todas las edades e incluso atlética". ^{[ 192 ]} The Globe and Mail tituló a Kinect como estableciendo un "nuevo estándar para el control de movimiento". El ligero retraso de entrada entre hacer un movimiento físico y que Kinect lo registrara no se consideró un problema importante en la mayoría de los juegos, y la reseña calificó a Kinect como "un buen e innovador producto", otorgándole 3.5 de 4 estrellas. ^{[ 193 ]}

Aunque presenta un rendimiento mejorado respecto al Kinect original, su sucesor ha recibido reacciones mixtas. En su reseña de Xbox One, Engadget elogió la funcionalidad de Kinect de Xbox One, como el inicio de sesión por reconocimiento facial y el seguimiento de movimiento mejorado, pero dijo que si bien el dispositivo era "mágico", "cada falso positivo o comando [de voz] no reconocido nos hacía buscar el mando". ^{[ 194 ]} Se criticó la incapacidad de Kinect para entender algunos acentos en inglés. ^{[ 195 ]} Escribiendo para Time , Matt Peckham describió el dispositivo como de aspecto "voluminoso", pero que la función de inicio de sesión por reconocimiento facial era "inquietante pero igualmente genial para el futuro de la ciencia ficción", y que el nuevo sistema de reconocimiento de voz era una "forma potente y adictiva de navegar por la consola, y salvo algunas excepciones que parecen estar mejorando con el uso". Sin embargo, se descubrió que su precisión se veía afectada por el ruido de fondo, y Peckham señaló además que para iniciar juegos mediante reconocimiento de voz era necesario indicar el título completo del juego en lugar de un nombre abreviado que la consola "debería entender semánticamente", como Forza Motorsport 5 en lugar de "Forza 5". ^{[ 196 ]}

Antes del lanzamiento de Xbox One, surgieron preocupaciones sobre la privacidad en torno al nuevo Kinect. Los críticos temían que el dispositivo pudiera utilizarse para la vigilancia , debido a los requisitos iniciales de que el Kinect de Xbox One estuviera siempre conectado, además del sistema DRM inicial que requería que la consola estuviera conectada a internet para garantizar su funcionamiento continuo. Los defensores de la privacidad argumentaron que la mayor cantidad de datos que se podían recopilar con el nuevo Kinect (como los movimientos oculares, la frecuencia cardíaca y el estado de ánimo de una persona) podría utilizarse para publicidad dirigida . También aparecieron informes sobre patentes recientes de Microsoft relacionadas con Kinect, como un sistema DRM basado en la detección del número de espectadores en una sala y el seguimiento de los hábitos de visualización mediante la concesión de logros por ver programas de televisión y anuncios . Si bien Microsoft declaró que su política de privacidad "prohíbe la recopilación, el almacenamiento o el uso de datos de Kinect con fines publicitarios", los críticos no descartaron la posibilidad de que estas políticas se modificaran antes del lanzamiento de la consola. También se plantearon preocupaciones de que el dispositivo pudiera grabar conversaciones, ya que su micrófono permanece activo en todo momento. En respuesta a las críticas, un portavoz de Microsoft declaró que los usuarios "controlan cuándo la detección de Kinect está activada, desactivada o en pausa", que se les proporcionará información y configuración clave sobre privacidad durante la configuración inicial de la consola, y que el contenido generado por el usuario, como fotos y vídeos, "no saldrá de su Xbox One sin su permiso explícito". ^{[ 50 ] [ 51 ] [ 52 ] [ 53 ]} Microsoft finalmente decidió revertir su decisión de exigir el uso de Kinect en Xbox One, pero la consola aún se lanzó con el dispositivo incluido en su lanzamiento en noviembre de 2013. ^{[ 55 ]}