El modelo SL2T convierte gestos y expresiones en texto para aplicaciones móviles
Por Renzo GonzalesSeguirEscucharPuntos claveResumen
La función de Google permite escribir mensajes mediante señas en dispositivos Pixel 11. (Google Deepmind)
La empresa de tecnología Google ha dado un nuevo paso hacia la accesibilidad al presentar un modelo de traducción de lenguaje de señas capaz de transformar movimientos corporales complejos en texto. Este avance, denominado sign-language-to-text (SL2T), se implementa inicialmente en el sistema operativo de los celulares Pixel 11, comenzando por el idioma American Sign Language (ASL).
El modelo SL2T no solo traduce señas a texto, sino que permite a los usuarios interactuar con funciones clave de sus dispositivos. La tecnología impulsa nuevas funciones de “sign-to-text” en Gboard y Live Transcribe, dos herramientas ampliamente utilizadas en el ecosistema Android.
A través de esta innovación, las personas pueden buscar en la web, redactar mensajes, escribir documentos y comunicarse con el asistente Gemini simplemente usando señas, prescindiendo de la voz o del teclado. Además, en Live Transcribe, los usuarios pueden responder en conversaciones usando su lengua de señas nativa.
Visión computarizada y traducción lingüística
A diferencia de las aplicaciones tradicionales de dictado por voz, la traducción del lenguaje de señas presenta retos particulares. Las lenguas de señas constituyen sistemas lingüísticos independientes, con gramática y vocabulario propios. La información no se transmite únicamente a través de las manos, sino también mediante expresiones faciales, movimientos de cabeza, brazos y torso. Esto convierte la traducción automática en un problema tanto de visión computarizada como de procesamiento de lenguaje.
PUBLICIDAD
El modelo SL2T aborda este desafío transformando los movimientos en una representación estructurada que posteriormente se traduce en texto. Esta solución no se basa en una simple correspondencia directa de sonidos a palabras.
Uso de puntos de referencia en lugar de video
Para proteger la privacidad, el sistema prescinde del envío de video crudo a los servidores de Google. En cambio, emplea el modelo MediaPipe Holistic para identificar puntos de referencia en el cuerpo de la persona que signa. Estos puntos de referencia consisten en coordenadas geométricas que reflejan los movimientos de manos, rostro y cuerpo. Solo estas coordenadas se envían para la traducción, mientras que el video original se elimina de inmediato, lo que reduce la cantidad de información visual sensible que sale del dispositivo.
