Esteira de Matching XML Otimizada, Eventos de Auditoria (Wagtail) e corrige parâmetros de Forçar Reprocessamento em Lote

[robertatakenaka]

📋 Descrição

Este PR eleva a versão do sistema para v2.12.3 e introduz melhorias profundas de performance e rastreabilidade no ecossistema de identificação de documentos (pid_provider). Além disso, traz flexibilidade operacional para a re-migração forçada de artigos e fascículos controlados pelo app proc.

---

🚀 Principais Mudanças

1. Novo Modelo de Auditoria e Logs Estruturados

• PidProviderXMLRegistration: Acoplamento de uma nova tabela e modelo de dados para registrar, de forma resiliente, cada transação síncrona ou assíncrona da esteira de PIDs. Os eventos salvos assumem status granulares (created, updated, skipped, forbidden, conflict, unmatched, bad_request, error).
• Interface Administrativa (Wagtail): Integração do novo modelo em wagtail_hooks.py sob a aba PID Registration Events, disponibilizado como visualização em modo Read-Only, com paginação de 50 itens, barramento de pesquisa por PID v3/pacote e filtros dinâmicos por tipo de erro.
• Database Migration: Inclusão da migração nativa 0014_pidproviderxml_readable_data_and_more.py gerada para o Django 5.2, contendo os índices de performance para buscas rápidas por status e data de criação.

2. Otimização de Performance, Redução de I/O e Nova Busca Cascata

• readable_data: Campo JSONField adicionado ao PidProviderXML para atuar como cache local estruturado dos principais metadados textuais do XML (títulos, autores, links, corpo resumido), mitigando leituras custosas e recorrentes de disco ou S3.
• Estratégia Multicamadas de Fallback: O algoritmo de localização do método get_records foi redesenhado para varrer candidatos em 3 etapas sequenciais baseadas em escopos lógicos (1. Identificadores diretos; 2. Periódico + Fascículo + Dados textuais; 3. Periódico + Dados textuais).
• Eficiência no ORM: Aplicação de .select_related("current_version") e materialização de querysets avaliados para evitar requisições redundantes ($N+1$). Otimização do loop de invalidação em mark_items_as_invalid para gravação síncrona via bulk_update.

3. Refatoração e Modularização da Suíte de Testes 🧪

• O arquivo centralizador de testes legado foi removido da raiz do app.
• Criação do pacote encapsulado pid_provider/tests/ isolando testes por unidades funcionais:
• test_register.py: Garante os contratos de comportamento do orquestrador register() analisando o retorno do dicionário e a gravação correspondente em PidProviderXMLRegistration.
• test_get_records.py: Valida o funcionamento rigoroso das 3 camadas de busca e estratégias de fallback.
• test_best_matches.py: Cobre os critérios de desempate por ordenação de data e linhas de corte de similaridade (percentual_score).

4. Ajustes Operacionais e Rollout de Migração (proc)

• Forçar Reprocessamento de Documentos/Arquivos: Alteração nas assinaturas de IssueProc.select_items e nas tarefas assíncronas do Celery (task_migrate_and_publish_articles_by_journal), adicionando as flags explícitas force_migrate_document_records e force_migrate_document_files. Se ativas, atualizam em lote o progresso de status dos registros de documentos/arquivos para PROGRESS_STATUS_REPROC.
• Wagtail Hardening: Campo pid_status da visualização do ArticleProc alterado para read_only=True na interface visual do painel.

---

🛠️ Como Testar?

1. Rodar Migrações do Banco de Dados:

python manage.py migrate

2. Executar a Nova Suite de Testes:

python manage.py test pid_provider.tests

3. Validar Eventos no Admin: Execute a migração de artigos. Abra a interface do Wagtail, navegue até PID Registration Events e verifique se as requisições idênticas geraram corretamente eventos estruturados com o status skipped contendo os detalhes do payload JSON mapeados.