Desarrollo de un sistema aumentativo y alternativo de comunicación con síntesis de voz para personas con dificultades del habla

Abstract

Este proyecto se centra en el diseño, desarrollo e implementación de Dixi, un sistema que ayuda a la comunicación de personas con dificultad en el habla. Para ello, el sistema parte de secuencias de pictogramas (símbolos visuales que representan conceptos, acciones u objetos) de un catálogo y produce frases naturales en español.

La construcción de Dixi exige responder a una pregunta fundamental: ¿qué técnica de generación de texto produce oraciones naturales y correctas? Para responderla se implementan y comparan seis metodologías (tres técnicas base y tres motores híbridos). La primera técnica base parte de reglas gramaticales explícitas que describen cómo se combinan las palabras para formar una oración correcta en español. La segunda propone una metodología propia que selecciona y combina las palabras adecuadas basándose en embeddings (vectores donde conceptos parecidos tendrán valores similares y conceptos distintos no). La tercera recurre a un modelo de lenguaje de gran escala, un sistema de inteligencia artificial entrenado con grandes cantidades de texto capaz de redactar frases naturales a partir de palabras clave. Sobre estas tres aproximaciones se construyen otros tres motores híbridos, que las combinan para corregir los puntos débiles de cada una.

Planteados los seis motores, la elección del más adecuado se aborda por dos vías complementarias: un conjunto de métricas calculadas sobre 164 casos de prueba recogidos de hablantes nativos, y una encuesta en la que personas eligen, sin saber qué motor produjo cada frase, cuál les suena más natural. Los modelos de lenguaje de gran escala encabezan ambas evaluaciones con una ventaja estadísticamente significativa frente al resto.

Dixi se entrega al usuario como una aplicación móvil multiplataforma desarrollada con React Native y Expo, que aplica la técnica con mejores resultados a los pictogramas seleccionados y reproduce el resultado en habla mediante un motor de síntesis de voz (un sistema que convierte texto escrito en audio hablado). El servidor utilizado por la aplicación está contenerizado con Docker, por lo que podría desplegarse en cualquier proveedor de servicios en la nube.