PRIORITTVS : um processo que se destina a apoiar os pesquisadores a priorizar ameaças à validade e suas ações de mitigação ao planejar experimentos da área de engenharia de software

Abstract

Em geral, os pesquisadores argumentam que as ameaças à validade é um dos componentes mais complexos de um plano experimental em Engenharia de Software (ES). Um dos motivos da dificuldade se deve ao fato do grande número de possibilidades de problemas que podem transcorrer desde o planejamento até a divulgação dos resultados da avaliação experimental, bem como, o tratamento da uma ameaça pode resultar no surgimento de novas ameaças à validade, não identificadas inicialmente. Embora existam estudos que abordam esta temática, a literatura não fornece apoio ao experimentador na priorização dos riscos mais relevantes ao propósito de seu estudo experimental. Isto resulta na dificuldade em elaborar ações de controle assertivas para mitigar os riscos. O principal objetivo desta pesquisa é desenvolver um processo estruturado, a fim de apoiar experimentadores, principalmente iniciantes, na identificação e também priorização de ameaças à validade e suas correspondentes ações de controle no contexto de um planejamento experimental em ES. Inicialmente, foi realizado um survey com 115 experimentadores experientes para compreender principais procedimentos para o controle das ameaças à validade, verificar suas percepções em relação às práticas reais de tratamento destas ameaças e coletar as referências mais utilizadas na literatura por estes especialistas. Em seguida, processo foi proposto e avaliado através de diferentes objetivos, tais como, completude, facilidade de uso, percepção de satisfação e aprendizagem, além de ser avaliado por abordagens distintas como experimento controlado, questionários e entrevistas. Como resultado desta pesquisa foi desenvolvido o PRIORITTVS, processo de suporte para priorizar ameaças à validade e sugerir ações de mitigação no planejamento de experimentos da área de ES, como também foi desenvolvido uma ferramenta web para viabilizar o processo de forma semiautomática aos experimentadores. Tanto o processo quanto a ferramenta foram avaliados a partir dos estudos experimentais com diferentes objetivos e perspectivas, por 26 participantes iniciantes e experientes. Os resultados das avaliações realizadas trazem evidências que o processo e ferramenta propostos são viáveis e possuem um bom nível de completude, facilidade de uso, percepção de satisfação e aprendizagem. No entanto, faz-se necessária a realização de mais estudos de avaliação, para que resultados possam ser generalizados. A estratégia possibilita, principalmente aos experimentadores menos experientes, acesso ao processo estruturado, que possa ajudar a fornecer suporte à identificação e priorização de ameaças a validade e suas respectivas ações de mitigação. Por fim, pretende-se estender a abordagem para gerenciar as ameaças específicas para os diferentes contextos de experimentos em ES.