Avaliação de desempenho das estratégias de particionamento de grandes volumes de dados aplicada ao JuMP

Abstract

O aumento exponencial na geração de dados, impulsionado por dispositivos conectados, redes sociais e aplicativos móveis, tem gerado grandes desafios para a análise e processamento dessas informações. No contexto do Poder Judiciário Brasileiro, o crescente volume de processos judiciais eletrônicos demanda soluções eficientes para o gerenciamento e processamento desses dados massivos. O Judiciário com Mineração de Processos (JuMP), desenvolvido em parceria entre o Conselho Nacional de Justiça (CNJ) e o V-Lab da Universidade Federal de Pernambuco (UFPE), utiliza técnicas de mineração de processos para otimizar o fluxo processual e identificar gargalos no sistema judiciário. No entanto, o aumento contínuo no número de processos resulta em um volume de dados ainda maior, o que cria novos desafios e exige estratégias adequadas de particionamento e gerenciamento. Este estudo avaliou quatro estratégias de particionamento de dados aplicadas ao JuMP: por Chave, Intervalo, Hash e Híbrido (Intervalo + Lista e Intervalo + Hash), com o objetivo de identificar a abordagem mais eficaz para o armazenamento, processamento e análise de grandes volumes de dados heterogêneos e dinâmicos. A pesquisa foi conduzida por meio de experimentos que avaliaram o desempenho das estratégias com base em parâmetros como tempo de resposta, escalabilidade, custo de redistribuição e taxa de transferência. Os resultados indicaram que a estratégia Híbrida (Intervalo + Lista) obteve o melhor desempenho, com 0,89 segundos de tempo de resposta e uma taxa de transferência de 404.061 registros por segundo, sendo capaz de suportar até 21 usuários simultâneos. Embora a estratégia Híbrida (Intervalo + Hash) também tenha mostrado bons resultados, ela apresentou custos elevados de redistribuição. Por outro lado, o particionamento por Chave revelou-se ineficiente, com falhas superiores a 20% após 13 usuários simultâneos. Conclui-se que, para o JuMP, a estratégia Híbrida (Intervalo + Lista) é a mais indicada, especialmente em cenários de crescimento das partições, desde que o impacto dos custos de redistribuição seja monitorado cuidadosamente.