Understanding and supporting the decision-making whether to use grey literature in software engineering research

Abstract

Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso.