Avaliação de docstrings utilizando LLMs: uma análise baseada em atributos de qualidade

Abstract

A documentação de código é fundamental para a compreensão e manutenção de sistemas de software. As docstrings, por estarem integradas ao código, são amplamente utilizadas e favorecem a atualização contínua da documentação. O avanço dos Large Language Models tem impulsionado esforços para automatizar tanto a geração quanto a avaliação desse tipo de conteúdo. Métodos tradicionais de avaliação apresentam limitações, seja pela baixa expressividade de métricas automáticas, seja pela subjetividade e alto custo da avaliação manual. Então, este trabalho investiga o uso de LLMs como avaliadores automatizados da qualidade de docstrings, com base nos critérios de completude, acurácia, legibilidade e relevância. Foram testadas diferentes estratégias de prompting, incluindo few-shot prompting, e comparadas com avaliações humanas. Os resultados mostram que modelos como o GPT-4.1 apresentam forte correlação com os julgamentos manuais em todos os critérios, mesmo com instruções simples. Também foi demonstrada a viabilidade de utilizar os modelos para corrigir automaticamente docstrings com base em justificativas, elevando a qualidade final da documentação. Conclui-se que os LLMs são ferramentas promissoras para compor pipelines automatizados de geração, avaliação e refinamento de docstrings, embora a supervisão humana ainda seja necessária em casos mais críticos.