Cobre o conteúdo enquanto carrega
As votações estão encerradas. Confira os projetos mais populares.
Projeto

EXA019 - Desenvolvimento de aplicativo que promove comunicação e interação social para surdo

Ícone
EXA

Ciências Exatas e da Terra

Sub-categoria

Ciência da Computação

Play
ícone Autoria Miguel Alves da Silva, Gabriel Fernandes Justino, Franciele Eduarda Neves
ícone Orientação Eliane Comoli, Celia Leiko Ogawa Kawabata
ícone Instituição IFSP - Campus São Carlos

Resumo

Interagir e comunicar-se com as outras pessoas é uma necessidade vital humana. A surdez é uma especificidade na qual o indivíduo percebe o mundo de forma diferente. Segundo a Organização Mundial da Saúde (OMS), cerca de 360 milhões de pessoas apresentam algum grau de surdez, sendo no Brasil em torno de 5% da população. Isso reflete a necessidade de desenvolvimento de ações inclusivas e tecnologias assistivas que aumentem a habilidade e independência dessas pessoas para as atividades sociais, educacionais e trabalho. No presente projeto foi desenvolvido um aplicativo que permite a comunicação entre surdos e falantes de português. O software permite a captação de áudio utilizando Python e, então, após a conversão para texto realiza o processamento de linguagem natural e a identifica termos passíveis de tradução. A análise desses termos é encaminhada ao pequeno banco de dados criado de língua brasileira de sinais (Libras) que retorna a sequência de execução do movimento no próprio aplicativo. O software também permite a assimilação de vídeo que capta sinais de Libras, utilizando a biblioteca MediaPipe. Até o momento, o software é capaz de interpretar e traduzir sons de frases simples do português brasileiro para sinais básicos de Libras. Como não existe um banco de dados em Libras disponível, a opção foi desenvolver um segundo software, sendo um aplicativo mobile que coleta sinais, a ser disponibilizado para que pessoas com conhecimento em Libras possam colaborar, no intuito de ampliar o banco de dados. Com o banco de dados grande o suficiente, o processo para aprendizado de máquina será iniciado e o software de conversão será concluído. Assim, o presente trabalho trouxe resultados expressivos quanto à tradução da voz para alguns sinais em Libras e novas perspectivas quanto à conversão de Libras em voz.

Palavras-chave: Libras, Python, Neurociência

Foto do projeto