Aplicación accesible e IA para la asistencia visual de personas ciegas

Abstract

La aplicación ''What's There?'' es una aplicación de detección de objetos que permitirá a las personas con cualquier problema de visión, ser capaz de localizar y situar objetos sin necesidad de forzar la vista. Esta aplicación permite la búsqueda de imágenes y de objetos específicos, los cuales podrán ser identificados por voz, eliminando así el uso forzado de la vista a la hora de seleccionar esos objetos que se quieren encontrar.

Con esta aplicación lo que se pretende es ayudar a las personas con limitaciones en su capacidad visual señalando la zona dónde se encuentran los objetos y enmarcándolos en recuadros en el que se nombra cada objeto seleccionado para una mayor claridad.

Asimismo, y para facilitar su uso, se proporcionan varios modos. El modo principal de exploración, que recoge todo objeto que encuentra. El modo fotos, el cual se comporta igual que el modo exploración pero en imágenes seleccionadas desde la galería o desde fotos tomadas directamente en el momento. Y el modo búsqueda, el cual permite seleccionar el objeto a buscar en una lista desplegable cuya selección por defecto es persona. Solo marcará dicho objeto en pantalla si lo detecta. En caso de que el objeto deseado no esté en la lista, se dará aviso tanto por voz como por texto. Asimismo, este modo consta de una función especial de búsqueda por voz, con la que se puede nombrar en voz alta el objeto a buscar sin necesidad de seleccionarlo en la lista.

La aplicación cuenta con un apartado de personalización, permitiendo cambiar el tema de la app y el tamaño de la fuente (tanto del texto en general de la aplicación como de los objetos seleccionados). Igualmente permite el cambio de colores del texto de selección, y de sus recuadros de selección, así como el cambio de idiomas entre español e inglés en toda la aplicación.

The application ''What's There?'' is an object detection tool that will allow people with any vision impairment to locate and identify objects without the need to strain their eyesight. This application enables image and specific object search, which can be identified by voice, thus eliminating the forced use of sight when selecting the objects one wishes to find.

The purpose of this application is to help people with limitations in their visual capacity by indicating the area where the objects are located by framing them in boxes that label each selected object for greater clarity.

Furthermore, to facilitate its use, several modes are provided. The main exploration mode, which detects every object it can finds. The photos mode, which behaves the same way as the exploration mode but works with images selected from the gallery or photos taken directly at the moment. And the search mode, which allows selecting the object to search for from a drop-down list, whose default selection is 'person'. It will only highlight the selected object on the screen if it is detected. In case the desired object is not on the list, a notification will be provided both by voice and by text. In addition, this mode includes a special voice search function, which allows the user to verbally name the object to be searched without needing to select it from the list.

The application includes a customization section, allowing changes to the app's theme and font size (both for the general application text and for the selected objects). It also allows changing the colors of the selection text and their selection boxes, as well as switching the application language between Spanish and English.