Universidade Federal do Ceará
Mestrado e Doutorado em Ciências da Computação

Título: Revelando as relações entre métodos explicativos e desempenho de agentes de aprendizado por reforço

Data: 29/08/2024
Horário: 14h00
Local:  Sala de Seminários – Bloco 952

Resumo:

O avanço da tecnologia e da inteligência artificial tem impulsionado o uso de algoritmos de aprendizado por reforço em áreas como educação e videogames. Apesar do sucesso dessas aplicações, ainda não está claro quais fatores os agentes aprendem que garantem seu desempenho elevado. Compreender como essas características impactam os resultados é essencial para aumentar a confiança dos usuários e identificar falhas, especialmente em aplicações críticas.Este trabalho investiga a influência do desempenho e da robustez de modelos de aprendizado de máquina nas características que os agentes observam ao resolver problemas. O estudo analisa se as mudanças na explicabilidade são perceptíveis entre agentes com diferentes níveis de robustez, utilizando métodos de Inteligência Artificial Explicável, e se essas alterações podem prever o desempenho dos agentes em ambientes fora do conjunto de treinamento.Para realizar a análise, foram conduzidos dois experimentos. No primeiro, agentes com diferentes níveis de robustez foram analisados usando os métodos de Grad-CAM, Gradientes Integrados, SHAP e LIME para gerar explicações. Avaliou-se o impacto da robustez na explicabilidade dos agentes por meio de análises qualitativas e quantitativas. No segundo experimento, foram comparadas variações de modelos e cenários para identificar semelhanças e correlações com as recompensas obtidas por cada agente, visando compreender a relação entre o desempenho do agente e as características observadas.Os resultados mostram variações significativas na explicabilidade entre agentes com diferentes níveis de robustez, que podem ser usadas para prever o desempenho do modelo em ambientes desconhecidos. Observou-se também que o desempenho do agente está correlacionado com a similaridade das explicações: agentes cujas explicações se assemelham às de modelos bem-sucedidos têm maior probabilidade de alcançar alto desempenho. Conclui-se, portanto, que a robustez e o desempenho de um agente estão ligados às características aprendidas para solucionar um problema.

Banca examinadora:

• Prof. Dr. Joaquim Bento Cavalcante Neto (MDCC/UFC – Orientador)
• Prof. Dr. Yuri Lenon Barbosa Nogueira (MDCC/UFC – Coorientador)
• Prof. Dr. Creto Augusto Vidal (MDCC/UFC)
• Prof. Dr. José Gilvan Rodrigues Maia (UFC)
• Me. Paulo Bruno de Sousa Serafim (GSSI/Itália)