Compra con-Migo

Desenvolvimento de um jogo terapêutico que simula a realização de compras num supermercado através do uso de tecnologia NFC.

Descrição geral do projeto

Compra com-Migo é uma aplicação terapêutica que simula a experiência de fazer compras num supermercado utilizando tecnologia NFC/RFID. O utilizador deve selecionar produtos de um conjunto de objetos, passá-los por um leitor e colocá-los num cesto virtual. O objetivo é melhorar a autonomia das pessoas com deficiência intelectual nas atividades da vida diária, promovendo a tomada de decisões, o planeamento e a gestão do dinheiro em situações reais.

A seleção dos produtos e a interface do jogo foram desenhadas tendo em conta as recomendações de profissionais e utilizadores, incorporando pictogramas, etiquetas com cores diferenciadas e opções de leitura fácil para facilitar a compreensão. Além disso, foram configuradas opções de acessibilidade que permitem uma utilização adaptada às capacidades motoras e cognitivas de cada participante.

Detalhamento técnico do projeto

A aplicação Compra com-Migo foi desenvolvida em Android Studio, utilizando Java como principal linguagem de programação e XML para o design da interface. Esta escolha permitiu aproveitar as funcionalidades nativas do sistema operativo Android e simplificar o acesso, além de tirar partido da experiência prévia do desenvolvedor na plataforma.

A interface do utilizador foi personalizada, com botões e logotipos desenhados externamente, garantindo uma experiência adaptada às necessidades dos utilizadores. Para o armazenamento de informações sobre objetos e listas de compras, foi utilizada uma base de dados local SQLite, que permite criar todas as tabelas necessárias e manter controlo total sobre os dados da aplicação. A distribuição é feita através de um ficheiro APK, facilitando a instalação direta nos tablets sem necessidade de acesso a lojas online.

A aplicação inclui várias atividades educativas e lúdicas orientadas para a simulação de compras e o desenvolvimento cognitivo:

  • Jogo de compras no supermercado:
    O cuidador seleciona uma lista de objetos a partir da base de dados. O utilizador localiza os objetos físicos e digitaliza cada um deles através do NFC. O sistema fornece feedback positivo ou negativo conforme a identificação correta. No final, o utilizador realiza o “pagamento” digitalizando moedas e notas físicas; apenas é aceite o pagamento exato.

  • Jogo de acompanhamento de receita:
    O utilizador completa uma lista de objetos um a um, reforçando a sequenciação e o planeamento.

  • Jogo com listas aleatórias:
    O cuidador define o número de objetos, se o utilizador efetuará o pagamento e o nível de dificuldade. Existem três níveis que variam consoante a presença de objetos da mesma cor e o tamanho da lista.

  • Jogo de reconhecimento de cores:
    O cuidador seleciona uma cor e o número de objetos que o utilizador deve identificar, reforçando a aprendizagem visual de forma interativa.

  • Intervenção:
    Esta atividade deixa de ter um caráter lúdico para adquirir um enfoque académico e de investigação. O objetivo é realizar uma intervenção nos centros CAPD da Galiza, com a finalidade de avaliar a melhoria dos utilizadores após o uso da ferramenta. A intervenção é estruturada em torno de cinco listas de compras, executadas de forma sequencial. A própria aplicação regista automaticamente o número de erros de seleção, os erros de contagem durante o pagamento e o tempo total gasto para completar cada lista. O objetivo final é publicar os resultados desta investigação, contribuindo assim para a geração de evidência científica sobre o uso de ferramentas digitais como apoio à intervenção cognitiva e funcional.

O suporte físico para o tablet e os objetos foi desenhado e fabricado utilizando várias ferramentas. Em primeiro lugar, foi utilizado o Fusion 360 para o modelamento CAD e o design 3D. Posteriormente, a preparação dos ficheiros para impressão 3D e a otimização das configurações foram realizadas com o Creality Print. Por fim, foi utilizada a impressora Creality K1 Max AI, que oferece alta precisão, para fabricar os componentes adaptados às necessidades dos utilizadores.

O suporte final inclui:

  • Espaço dedicado para o tablet.

  • Cesto para organizar os objetos.

  • Marcador para localizar o sensor NFC.

  • Ranhura USB-C para ligação a um ecrã externo.

  • Pega ergonómica para facilitar o manuseamento e melhorar a acessibilidade.

As funcionalidades adicionais permitem aos cuidadores modificar a base de dados, adicionando ou removendo objetos e listas, garantindo a atualização constante do conteúdo. A interação com os objetos físicos é realizada através da tecnologia NFC integrada no tablet Galaxy Tab Active4 Pro, que também permite ligação a um monitor externo através de USB-C DisplayPort.

A aplicação segue um design modular que permite uma navegação clara e sem interrupções. O menu principal fornece acesso às diferentes funcionalidades e definições, enquanto durante as atividades os botões secundários desaparecem para evitar interrupções acidentais. Todas as ações do utilizador são registadas para avaliar o progresso, a interação e a participação. A combinação da interação física com objetos e do feedback visual e auditivo permite reforçar as competências cognitivas e motoras de forma lúdica e segura.

Equipa de trabalho

  • Dra. María Martínez Pérez, Engenharia Informática, Grupo de Investigação LIA[2]

  • Jorge Rivadulla Brey, Engenharia Informática, Grupo de Investigação TALIONIS

  • Paula de Santos Dorrego, Terapeuta Ocupacional, Grupo de Investigação TALIONIS

  • Raúl Fraiz Gómez, Terapeuta Ocupacional

  • Manuel Lagos Rodríguez, Engenheiro Informático, Grupo de Investigação TALIONIS

  • Iago Fernández Garrido, Engenheiro Informático, Grupo de Investigação TALIONIS

Produção académica e de divulgação

Rivadulla Brey, J., de Santos Dorrego, P., Lagos Rodríguez, M., Rodríguez Padín, R. e Martínez Pérez, M. (2024, 14–15 de outubro). Optimizing supermarket shopping simulation using NFC: An inclusive approach for people with disabilities. Em Atas do Congresso XoveTIC 2024 (A Corunha, Espanha). Universidade da Corunha.

Apresentação e teste da ferramenta em diferentes contextos de divulgação, entre eles:

  • Dia da Ciência na Rua

  • Cullerciencia

  • Open Science Cambre

  • OSHWDEM

  • Maker Faire Galicia

Logo Xunta de Galicia Política Social
LOGO COLOR
ES_Financiado_por_la_Unión_Europea_RGB_POS