Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE: MATHEWS CARVALHO ARAUJO
DATA: 23/10/2026
HORA: 14:30
LOCAL: PPGCC - Sala de videoconferência
TÍTULO: Protocolo para Avaliação de Qualidade de Sínteses Geradas por LLMs em Revisões da Literatura Científica
PALAVRAS-CHAVES: Síntese de Evidências, Modelos de Linguagem de Grande Porte, LLM como Avaliador, Revisão Rápida, Engenharia de Software Baseada em Evidências
PÁGINAS: 60
GRANDE ÁREA: Ciências Exatas e da Terra
ÁREA: Matemática
RESUMO:

A síntese de evidências é uma etapa central das revisões da literatura e uma das mais custosas de sua condução. Modelos de linguagem de grande porte (Large Language Models – LLMs) passaram a ser empregados para automatizar essa etapa, mas a qualidade das sínteses produzidas permanece difícil de avaliar: os frameworks existentes medem sobretudo a fidelidade da saída ao contexto recebido pelo modelo, aqui denominada correção interna, e não se o conteúdo sintetizado corresponde ao que humanos considerariam relevante e correto, aqui denominada correção externa, nem se a síntese respeita o protocolo da revisão. Este trabalho, conduzido segundo a Design Science Research, propõe e avalia um protocolo de validação de sínteses de evidência científica geradas por ferramentas assistidas por inteligência artificial. O protocolo combina uma camada humana, que confronta a síntese com achados atômicos extraídos de Evidence Briefings elaborados por especialistas, e uma camada automática, baseada em um LLM local empregado como avaliador (AutoJudge), que mede a aderência ao protocolo PICOC, a fidelidade por afirmação, as perdas de extração e a integração entre estudos. As duas camadas compartilham rótulos, o que permite estimar a validade do avaliador automático frente ao julgamento humano. O protocolo é demonstrado sobre três sistemas de capacidade distinta, aplicados aos mesmos conjuntos de estudos: a RRTool, ferramenta desenvolvida neste trabalho que extrai evidências a partir do texto integral de cada estudo; um sistema de geração aumentada por recuperação mínimo; e um LLM sem acesso ao conteúdo dos estudos. A avaliação estima a confiabilidade da rubrica humana entre avaliadores, a concordância entre o AutoJudge e os avaliadores humanos e a sensibilidade do protocolo às diferenças de qualidade entre os sistemas, verificada também pela inserção controlada de erros. Espera-se que o protocolo diferencie sínteses fiéis ao contexto daquelas corretas frente à referência de especialistas e indique em quais dimensões a avaliação automática pode substituir a humana ou não. Como contribuições, o trabalho oferece um protocolo reaplicável a qualquer sistema de síntese, evidência empírica sobre a validade de LLMs como avaliadores de síntese científica e um conjunto aberto de rubricas, sínteses e scripts de análise.

MEMBROS DA BANCA:
Presidente - 1744590 - GUILHERME AMARAL AVELINO
Interno - 2167802 - PEDRO DE ALCANTARA DOS SANTOS NETO
Interno - 1226761 - RAIMUNDO SANTOS MOURA

Cadastrada em: 06/10/2026