Redacción Internacional.- Google incorporó por primera vez una tecnología de traducción de lenguaje de señas directamente en un teléfono inteligente. La compañía integró su modelo de inteligencia artificial SL2T en los Pixel 11, donde permite convertir en tiempo real el lenguaje de señas americano (ASL) en texto en inglés.
La herramienta estará disponible desde el lanzamiento de los dispositivos y funcionará principalmente en Gboard, el teclado de Google, y Live Transcribe, aplicación diseñada para facilitar las conversaciones mediante transcripciones.
De esta manera, una persona sorda podrá realizar búsquedas, redactar mensajes o consultar a Gemini utilizando señas frente a la cámara del teléfono, sin necesidad de escribir. En Live Transcribe también podrá responder mediante señas durante una conversación.
Google sostiene que las pruebas con usuarios mostraron que comunicarse mediante ASL puede ser más rápido y natural que escribir en inglés.
Un modelo entrenado con más de 100,000 horas de datos
SL2T fue entrenado con más de 100,000 horas de datos correspondientes a más de 50 lenguajes de señas. Cerca de una cuarta parte de ese material corresponde al lenguaje de señas americano.
Según Google DeepMind, utilizar diferentes lenguajes, dialectos y niveles de habilidad ayudó al modelo a mejorar su capacidad para adaptarse a distintas formas de comunicación.
A diferencia de sistemas anteriores, SL2T no convierte primero cada seña en una etiqueta para después traducirla. El modelo genera directamente el texto en inglés a partir de los movimientos registrados.
Este método busca evitar las limitaciones de las llamadas glosas, utilizadas por otros sistemas para representar determinadas señas mediante etiquetas. Estas pueden perder elementos propios de los lenguajes de señas, como expresiones faciales, movimientos corporales y construcciones espaciales.
El teléfono no envía el video completo
Otro aspecto destacado es el tratamiento de los datos. SL2T utiliza MediaPipe Holistic para identificar 130 puntos clave de las manos, el cuerpo y el rostro.
En lugar de enviar la grabación completa de la cámara para procesarla, el teléfono convierte los movimientos en coordenadas geométricas. El sistema utiliza esas coordenadas para realizar la traducción y descarta el video original.
Google señala que este diseño busca reducir la exposición de información visual sensible y mantener parte importante del procesamiento cerca del dispositivo.
La herramienta todavía tiene limitaciones
Pese a sus avances, Google reconoce que SL2T no sustituye a un intérprete humano y puede cometer errores, especialmente con señas poco frecuentes, deletreo rápido o determinadas construcciones lingüísticas.
El rendimiento también puede verse afectado por una iluminación deficiente, fondos con mucho contraste o poca diferencia entre las manos, el rostro y la ropa. Asimismo, el sistema presenta dificultades cuando hay varias personas sordas dentro del encuadre.
Los clips procesados tienen un límite de 60 segundos y cada fragmento se traduce de manera independiente, por lo que el sistema no necesariamente conserva el contexto de conversaciones anteriores.
Por estas razones, Google recomienda utilizar SL2T como una herramienta para generar borradores en situaciones informales y de bajo riesgo, como mensajes, búsquedas, toma de notas y conversaciones cotidianas.
Google limita su uso en situaciones de riesgo
Para el lanzamiento, Google DeepMind trabajó con organizaciones de la comunidad sorda, entre ellas la Asociación Nacional de Sordos y la Federación Mundial de Sordos.
Las recomendaciones establecen que SL2T no debe utilizarse para sustituir intérpretes humanos certificados en consultas médicas, procedimientos legales, interacciones policiales, entrevistas laborales o trámites relacionados con beneficios gubernamentales.
El usuario mantiene, además, el control sobre el texto generado, ya que Gboard y Live Transcribe permiten revisar y editar la traducción antes de utilizarla.
Google considera que SL2T es el inicio de una estrategia para ampliar la traducción de lenguajes de señas en sus dispositivos. La compañía trabaja en incorporar otros idiomas de señas y mejorar funciones como puntuación, comandos de edición, emojis, memoria contextual y reconocimiento de dialectos.
Con esta tecnología, los Pixel 11 se convierten en los primeros teléfonos de Google en incorporar la traducción de lenguaje de señas como una función de consumo, aunque su utilidad todavía está condicionada por las capacidades y limitaciones del modelo.