Los investigadores de la universidad de Cornell han desarrollado un nuevo sistema de audífonos capaz de detectar y replicar, a través de "emojis", diferentes gestos faciales, incluso cuando se tenga puesta una máscara o cubrebocas.
Este nuevo dispositivo, denominado C-Face, está conformado por dos pequeñas cámaras RGB ubicadas en la parte inferior de los auriculares, que quedan debajo de cada una de las orejas, estas cámaras registran los cambios en los contornos faciales cuando se expresa alguna emoción lo que genera movimientos en los músculos faciales.
Estos cambios sutiles se incorporan a un modelo de aprendizaje profundo que genera continuamente 42 puntos de rasgos faciales que representan las formas y posiciones de la boca, los ojos y las cejas.
Posteriormente una red neuronal detecta y recupera imágenes que ayudan a reconstruir los contornos en expresiones para después plasmarlos en emojis, también se podrían utilizar como comandos de voz silenciosos con funciones como: reproducir o subir volumen para controlar algún dispositivo de música.
Los investigadores consideran que el mecanismo podría utilizarse para proyectar, por medio de avatares de realidad virtual, “cómo se sienten realmente” las personas. Es un gran avance que podría beneficiar a personas con discapacidad del habla.
Este proyecto se encontraba en fase de pruebas que tuvo que ser pospuesta por el COVID-19, sin embargo las pruebas realizadas hasta el momento han registrado resultados exitosos, con un margen de error de los puntos de referencia reconstruidos inferior a los 0.8 mm.