Estudante cria projeto de IA para surdos

Gabriel Sales, programador e aluno de estatística da UFF, promete revolucionar a forma como deficientes auditivos se comunicam através de Libras. Confira!

No atual cenário da tecnologia, nenhum assunto é tão especulado sobre novas inovações, quanto a Inteligência Artificial. É em meio a esse cenário competitivo que Gabriel Sales, um estudante de estatística da UFF, do Rio de Janeiro, surge como visionário ao liderar um projeto de Inteligência Artificial que traduz linguagem de sinais. Seu projeto busca superar as barreiras de comunicação entre surdos e ouvintes, oferecendo uma maneira eficaz de transcrever a linguagem de sinais para o Português em tempo real.

Segundo Gabriel, o objetivo principal dessa IA é revolucionar a forma como surdos se comunicam, proporcionando acessibilidade, independência e oportunidades para a comunidade. O projeto, ainda em desenvolvimento, demonstra ser capaz de interpretar os sinais dos surdos em vídeos, traduzindo-os instantaneamente para a língua portuguesa.

Como funciona a IA para surdos?
O projeto utiliza três inteligências artificiais distintas para alcançar seu objetivo. A primeira IA é responsável por capturar os pontos-chave do corpo, mapeando-os ao longo dos frames de um vídeo. Em seguida, esses dados são enviados para a segunda IA, um classificador que identifica o sinal específico que está sendo feito. A última IA entra em ação para contextualizar os sinais identificados, transformando a lista de sinais previstos em uma mensagem legível e compreensível em Português.

NOVO SINAL
O potencial desse projeto é vasto. Em geral, toda comunicação entre surdos e pessoas com dificuldades em interpretar Libras seria simplificada em uma tradução simultânea que solucionaria os ruídos do diálogo. Se eficaz, a tecnologia poderia resolver diversos problemas de comunicação que aflingem cerca de 10 milhões de cidadãos surdos no Brasil, cerca de 5% da população brasileira, segundo o IBGE.

Porém, Gabriel Sales enfrenta desafios em seu projeto, como limitações de hardware e recursos para a coleta de dados essenciais. Ele busca contribuições para adquirir um computador mais potente, câmeras de alta qualidade e recursos para avançar na pesquisa e desenvolvimento do projeto, através de uma vakinha online.

O projeto liderado unicamente por Gabriel Sales não apenas reflete sua paixão pela tecnologia, mas também destaca o poder da inteligência artificial para criar soluções inovadoras com impacto social significativo. Postando vídeos sobre as atualizações da sua IA no Instagram, @projeto_ia_libras, Gabriel já conseguiu mais de 86,1 mil seguidores, além de milhares de visualizações em seus posts.

Entrevista com o criador da IA
Para entender melhor a funcionalidade dessa IA na transcrição, em tempo real, de diálogos envolvendo a linguagem de sinais, entrevistamos o programador e idealizador do projeto, o estudante de estatística Gabriel Sales.

Quem é o programador e aluno de estatística da UFF por trás do projeto? E como você chegou até essa ideia?

Meu nome é Gabriel, eu sou do Rio de Janeiro. Sou um estudante apaixonado por tecnologia. Tive meu primeiro computador aos dez anos e, desde lá, entrei nessa área da computação. Comecei a estudar programação desde os doze anos de idade, e fui evoluindo até chegar na ciência de dados. Quando eu descobri a área eu achei muito legal, principalmente a parte da inteligência artificial, onde os robôs pensam de forma quase humana, então isso me deixou muito fascinado. E então fui estudar essas coisas. Eu entrei na faculdade de estatística da UFF, já que a estatística é uma base importante para ciência de dados. E comecei a minha jornada nessa área de inteligência artificial.

Comecei a me aprofundar mais na IA, comecei a fazer vários projetos pequenos. E então eu tive uma matéria de libras na minha faculdade, no primeiro semestre do ano passado, e fiquei muito fascinado pela história da professora, porque ela era surda e conseguiu virar doutora, mesmo com todas as dificuldades que ela citou na história dela.

Então fui pensando o que eu poderia fazer de interessante e inclusivo para essa comunidade, para ajudar eles. E aí eu comecei com uma ideia de inteligência artificial que classificasse os alfabetos de libras. Tipo: letra a, letra b, letra c, etcétera. Tudo isso por vídeo. Essa foi minha primeira ideia, meu primeiro teste para ver como seria difícil isso, como seria complexo, e depois eu fui evoluindo, comecei a adicionar sinais robustos e aprimorando o conhecimento da IA.

Como você define o seu projeto? O que você pretende mudar na realidade atual, especialmente para deficientes auditivos, com ele?

Principal objetivo é revolucionar a comunicação entre surdos e ouvintes, porque existe uma barreira muito grande entre essas pessoas. Porque, obrigatoriamente, você precisa saber Libras para conseguir se comunicar com o surdo, então você tendo esse sistema de inteligência artificial, você consegue quebrar um pouco essa barreira. A gente consegue aplicar isso em empresas, em atendimento ao público, em acessibilidade digital. O cliente surdo vai lá, consegue com clareza dizer o que ele quer. Se ele quer comprar alguma coisa, se ele precisa de algum atendimento especial, isso sem depender de um intérprete de libras, tudo pode ser feito digitalmente com a IA.

Também em hospitais, em situações de emergência, onde a pessoa precisa de cuidados rápidos e às vezes você não tem alguém que saiba falar Libras, né? Às vezes você precisa saber o tipo sanguíneo dela, tu precisa saber se ela tem alguma doença, ou alguma coisa do tipo, e com esse sistema também isso seria possível.

Na educação também, para ensinar Libras, esse sistema na educação vai ser muito eficiente para testar a precisão dos alunos, se eles estão fazendo os sinais corretamente, se eles estão aprendendo bem. E até mesmo para professores surdos, que nem todos têm a habilidade de falar, porque tem alguns surdos que conseguem desenvolver a habilidade de falar, mas nem todos conseguem, o sistema também seria útil nesse caso. Então são várias as aplicações que dá para fazer.

Como você descreve o funcionamento dessa IA?

São três IAs. Uma para capturar os pontos-chave do corpo, então ela vai mapear todo o corpo da pessoa, o rosto, o ombro, o cotovelo, as mãos, os dedos, e isso no decorrer dos frames, porque a gente precisa fazer isso em vídeo. Então esse mapeamento vai ser feito no decorrer dos frames. E depois disso, vai ser passado para um classificador. Ele vai classificar esses dados, dos pontos-chave do corpo, e vai dizer qual opcional que seja.

E a última IA é pqra fazer o contexto dos sinais. Então depois que ela passou o mapeamento do corpo, depois que ela classificou qual sinal que é, ela vai juntar a lista de sinais previstos e vai transformar isso numa mensagem, uma mensagem natural que seja legível de entender. Então essa IA vai montar o contexto dos sinais que já foram previstos pela segunda IA.

Como um todo, o seu projeto é único ou tem projetos semelhantes envolvendo IA para auxiliar surdos dessa forma?

Deve ter projetos semelhantes com certeza. Mas nenhum deles foram pra frente, talvez por falta de investimento no Brasil. As pessoas acabam indo para fora do país, até pelo acesso fácil a tecnologia. Mas não sei se estão desenvolvidos (outros projetos), pode haver protótipos.

Em novembro de 2023, o Showmetech noticiou que a Lenovo pretende lançar, ainda em 2024, uma IA capaz de interpretar e traduzir linguagem de sinais.

Nesse caso, para você, qual é o grande diferencial do seu projeto?

A capacidade de escalabilidade, ele pode escalar muito fácil com investimento e ser desenvolvido mais rápido… O principal diferencial é vencermos a barreira de comunicação dos surdos, pois isso vai ajudar na educação, economia, cultura e politica.

Do que você precisaria para fazer o projeto escalar?

Preciso de dados, pois a IA precisa de vídeos para ser treinada… É como se fosse ensinar para uma criança, precisamos mostrar qual é o sinal e repetir várias vezes até entender. E também um equipamento para processar todos eles, já que estaremos criando um Big Data dessa forma.

Gabriel lançou, no final de 2023, uma Vakinha para que outras pessoas pudessem apoiar o desenvolvimento do projeto.

Quais são seus próximos passos com o projeto?

Eu estou procurando uma empresa parceira faz um tempinho, tem uma que tem me ajudado no meu site. E agora eu estou atrás de uma parceria com algumas pessoas influentes nesse mercado, para talvez abriu uma startup, conseguir investidores e aí conseguir escalar mais fácil. A ideia é vender para empresas que queiram possuir acessibilidade digital para oferecer isso aos seus clientes.

Como você protege sua IA para que ela não seja “plagiada”?

Quando se trata de inteligência artificial, é difícil plagiar. Pode fazer semelhante, mas igual, é bem difícil. É como o Elon Musk fazer uma IA semelhante ao ChatGPT, ele pode conseguir, mas ambas vão ter respostas diferentes. Pois o que interfere nisso são os dados disponíveis, e em libras é escasso. Precisa de investimento em coleta de dados.

Quais são os testes que você submete para entender que a IA está interpretando corretamente os sinais em libras?

Vou fazendo testes em real-time, fazendo diferentes sinais para verificar a precisão. O pouco de conhecimento em libras que aprendi durante a matéria da faculdade, eu vou aplicando e vou vendo vídeos pela internet para desenvolver o treinamento da IA.

Fonte