O departamento de sistemas de informação da TU Darmstadt obtém regularmente classificações muito boas, como o segundo lugar na classificação universitária da revista “WirtschaftsWoche”. Os resultados da investigação também são impressionantes. Uma equipa internacional de investigadores da TU Darmstadt, da Universidade de Cambridge, da empresa de ciência e tecnologia Merck e do Klinikum rechts der Isar da TU Munique estudou, no âmbito de uma colaboração internacional e interdisciplinar, a forma como os sistemas de software recolhem, processam e avaliam informações relevantes específicas de uma tarefa, apoiando assim o trabalho dos seres humanos, neste caso, os radiologistas. O estudo, agora premiado com o Best Paper Award, fornece dados empíricos sobre a influência dos sistemas de aprendizagem automática (sistemas ML) na aprendizagem humana. Mostra também como é importante para os utilizadores finais que os resultados dos métodos de aprendizagem automática sejam compreensíveis e entendíveis. Estes conhecimentos não são apenas relevantes para os diagnósticos médicos em radiologia, mas para todos os que se tornam revisores dos resultados de aprendizagem automática através da utilização diária de ferramentas de IA, como o ChatGPT.

O projeto de investigação, liderado pelos investigadores da TU Sara Ellenrieder e pelo Professor Peter Buxmann, investigou a utilização de sistemas de apoio à decisão baseados em ML em radiologia, especificamente na segmentação manual de tumores cerebrais em imagens de MRI. O objetivo era saber como os radiologistas podem aprender com estes sistemas para melhorar o seu desempenho e a confiança na tomada de decisões. Os autores compararam diferentes níveis de desempenho dos sistemas de ML e analisaram a forma como a explicação dos resultados do ML melhorou a compreensão dos resultados por parte dos radiologistas. O objetivo da investigação é descobrir como os radiologistas podem beneficiar destes sistemas a longo prazo e utilizá-los de forma segura.

Para o efeito, a equipa do projeto realizou uma experiência com radiologistas de várias clínicas. Foi pedido aos médicos que segmentassem tumores em imagens de MRI antes e depois de receberem apoio à decisão baseado em ML. Foram fornecidos a diferentes grupos sistemas de AM de desempenho ou explicabilidade variáveis. Para além de recolherem dados quantitativos de desempenho durante a experiência, os investigadores também recolheram dados qualitativos através de protocolos “think-aloud” e de entrevistas subsequentes.

Na experiência, os radiologistas efectuaram 690 segmentações manuais de tumores cerebrais. Os resultados mostram que os radiologistas podem aprender com as informações fornecidas pelos sistemas de ML de elevado desempenho. Através da interação, melhoraram o seu desempenho. No entanto, o estudo também mostra que a falta de explicabilidade dos resultados de ML em sistemas de baixo desempenho pode levar a uma diminuição do desempenho dos radiologistas. Curiosamente, o facto de fornecer explicações sobre os resultados do ML não só melhorou os resultados de aprendizagem dos radiologistas, como também evitou a aprendizagem de informações falsas. De facto, alguns médicos conseguiram mesmo aprender com os erros cometidos por sistemas de baixo desempenho, mas explicáveis.

“O futuro da colaboração homem-IA reside no desenvolvimento de sistemas de IA explicáveis e transparentes que permitam aos utilizadores finais, em particular, aprender com os sistemas e tomar melhores decisões a longo prazo”, resume o Professor Peter Buxmann da TU Darmstadt.

Aceda a mais conteúdos da Revista HealthNews #16 aqui.