mirror of https://github.com/interlegis/sapl.git
Browse Source
Feat(Materializacao): fila de prioridade materializa materia protocolada em segundos AB#1480pull/3858/head
Kemuel-sepulvida
3 weeks ago
committed by
GitHub
GitHub
12 changed files with 455 additions and 29 deletions
@ -0,0 +1 @@ |
|||
default_app_config = 'sapl.integracao_hub.apps.IntegracaoHubConfig' |
|||
@ -0,0 +1,31 @@ |
|||
import django.db.models.deletion |
|||
from django.db import migrations, models |
|||
|
|||
|
|||
class Migration(migrations.Migration): |
|||
|
|||
dependencies = [ |
|||
('materia', '0094_add_anexoproposicao'), |
|||
('integracao_hub', '0005_painel_materializacao'), |
|||
] |
|||
|
|||
operations = [ |
|||
migrations.AlterField( |
|||
model_name='passadamaterializacao', |
|||
name='disparo', |
|||
field=models.CharField(choices=[('laco', 'Laço automático'), ('manual', 'Disparo manual pela tela'), ('prioridade', 'Fila de prioridade')], default='laco', max_length=10, verbose_name='Origem do disparo'), |
|||
), |
|||
migrations.CreateModel( |
|||
name='MateriaParaMaterializar', |
|||
fields=[ |
|||
('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')), |
|||
('marcada_em', models.DateTimeField(help_text='Avança a cada remarcação. O tick de prioridade só remove a marca se ela não avançou depois da leitura — retificação no meio da conversão não se perde.', verbose_name='Marcada em')), |
|||
('materia', models.OneToOneField(on_delete=django.db.models.deletion.CASCADE, related_name='+', to='materia.MateriaLegislativa', verbose_name='Matéria Legislativa')), |
|||
], |
|||
options={ |
|||
'verbose_name': 'Matéria na Fila de Materialização', |
|||
'verbose_name_plural': 'Matérias na Fila de Materialização', |
|||
'ordering': ('marcada_em', 'materia_id'), |
|||
}, |
|||
), |
|||
] |
|||
@ -0,0 +1,49 @@ |
|||
"""Marca a matéria para materialização imediata — o lado 'evento' do ADR 0014. |
|||
|
|||
O `post_save` de `MateriaLegislativa` é deliberadamente o ÚNICO ponto de escuta: |
|||
todos os caminhos que interessam (protocolo efetivado, texto_original salvo ou |
|||
retificado, proposição incorporada, edição pelo CRUD) terminam num save da |
|||
matéria. Escutar cada view seria uma lista que envelhece; escutar o modelo é uma |
|||
linha que não envelhece. |
|||
|
|||
O receiver só grava a marca (um upsert) — quem converte é o laço do |
|||
`materializar_pdfs_para_assinatura`, no tick de prioridade. O request nunca |
|||
paga a conversão OnlyOffice (§5.1: a conversão tem UM dono). |
|||
""" |
|||
import logging |
|||
|
|||
from django.db.models.signals import post_save |
|||
from django.dispatch import receiver |
|||
from django.utils import timezone |
|||
|
|||
from sapl.materia.models import MateriaLegislativa |
|||
|
|||
logger = logging.getLogger(__name__) |
|||
|
|||
|
|||
@receiver(post_save, sender=MateriaLegislativa, |
|||
dispatch_uid='integracao_hub_marcar_para_materializar') |
|||
def marcar_para_materializar(sender, instance, raw=False, **kwargs): |
|||
# A retificação feita pela PRÓPRIA rotina salva a matéria (zera a |
|||
# assinatura, §5.1) — remarcar aqui criaria um ciclo: cada passada |
|||
# alimentaria a fila que ela mesma consome. |
|||
if getattr(instance, '_materializacao_em_curso', False): |
|||
return |
|||
if raw: # loaddata/fixtures não é evento de negócio |
|||
return |
|||
# Só matéria que a materialização enxerga (mesmo filtro da varredura): |
|||
# protocolada e com texto. As demais entrariam na fila para o tick |
|||
# descartar — ruído puro. |
|||
if not instance.numero_protocolo or not instance.texto_original: |
|||
return |
|||
from sapl.integracao_hub.models import MateriaParaMaterializar |
|||
try: |
|||
MateriaParaMaterializar.objects.update_or_create( |
|||
materia=instance, |
|||
defaults={'marcada_em': timezone.now()}) |
|||
except Exception as exc: # noqa — a marca é aceleração, não requisito: |
|||
# falhar aqui NUNCA pode derrubar o save da matéria; a varredura |
|||
# completa (rede de segurança) materializa no ciclo dela. |
|||
logger.warning( |
|||
'integracao_hub: falha ao marcar matéria %s para materialização ' |
|||
'(%s) — a varredura completa cobre', instance.pk, exc) |
|||
@ -0,0 +1,175 @@ |
|||
"""Fila de prioridade da materialização (ADR 0014). |
|||
|
|||
O contrato sob teste: o save da matéria protocolada com texto MARCA (post_save, |
|||
custo de um upsert), e só o tick da rotina CONVERTE (`--fila` é o tick avulso). |
|||
O request nunca paga conversão; a matéria vira pendência em segundos; a |
|||
varredura completa segue existindo como rede de segurança. |
|||
""" |
|||
import hashlib |
|||
|
|||
import pytest |
|||
from django.core.files.base import ContentFile |
|||
from django.core.management import call_command |
|||
from model_bakery import baker |
|||
|
|||
from sapl.integracao_hub.models import (DocumentoParaAssinatura, |
|||
MateriaParaMaterializar, |
|||
PassadaMaterializacao) |
|||
from sapl.materia.models import MateriaLegislativa |
|||
|
|||
PDF = b'%PDF-1.4 conteudo-original' |
|||
|
|||
|
|||
@pytest.fixture(autouse=True) |
|||
def base_url_configurada(settings): |
|||
settings.SAPL_INTERNAL_URL = 'http://sapl-interno:8000' |
|||
settings.SITE_URL = '' |
|||
|
|||
|
|||
def criar_materia(protocolo=100, conteudo=PDF, nome='texto.pdf'): |
|||
materia = baker.make(MateriaLegislativa, numero_protocolo=protocolo) |
|||
if conteudo is not None: |
|||
materia.texto_original.save(nome, ContentFile(conteudo), save=True) |
|||
return materia |
|||
|
|||
|
|||
# --------------------------------------------------------------------------- |
|||
# O evento marca — e só marca o que a materialização enxerga |
|||
# --------------------------------------------------------------------------- |
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_save_de_materia_protocolada_com_texto_entra_na_fila(db): |
|||
materia = criar_materia() |
|||
|
|||
assert MateriaParaMaterializar.objects.filter(materia=materia).exists() |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_materia_sem_protocolo_ou_sem_texto_fica_fora_da_fila(db): |
|||
criar_materia(protocolo=None) |
|||
baker.make(MateriaLegislativa, numero_protocolo=101) # sem texto |
|||
|
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_dois_saves_da_mesma_materia_sao_uma_marca_so(db): |
|||
materia = criar_materia() |
|||
materia.save() |
|||
|
|||
assert MateriaParaMaterializar.objects.filter( |
|||
materia=materia).count() == 1 |
|||
|
|||
|
|||
# --------------------------------------------------------------------------- |
|||
# O tick converte — só as marcadas, e esvazia a fila |
|||
# --------------------------------------------------------------------------- |
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_tick_materializa_so_as_marcadas_e_esvazia_a_fila(db): |
|||
marcada = criar_materia(protocolo=100) |
|||
fora_da_fila = criar_materia(protocolo=101) |
|||
MateriaParaMaterializar.objects.filter(materia=fora_da_fila).delete() |
|||
|
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
alvo = DocumentoParaAssinatura.objects.get(materia=marcada) |
|||
assert alvo.hash_sha256 == hashlib.sha256(PDF).hexdigest() |
|||
# A não marcada fica para a varredura completa — o tick não varre acervo. |
|||
assert not DocumentoParaAssinatura.objects.filter( |
|||
materia=fora_da_fila).exists() |
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
|
|||
passada = PassadaMaterializacao.objects.get() |
|||
assert passada.disparo == PassadaMaterializacao.DISPARO_PRIORIDADE |
|||
assert passada.gerados == 1 |
|||
assert passada.terminada_em is not None |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_tick_com_fila_vazia_nao_grava_passada(db): |
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
assert not PassadaMaterializacao.objects.exists() |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_retificacao_pelo_tick_regenera_e_nao_realimenta_a_fila(db): |
|||
"""O save que a retificação faz (zerar assinatura) não pode remarcar. |
|||
|
|||
Sem a supressão, cada passada de retificação realimentaria a fila que ela |
|||
mesma consome — a matéria nunca sairia do tick. |
|||
""" |
|||
materia = criar_materia() |
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
|
|||
retificado = b'%PDF-1.4 texto-retificado' |
|||
materia.texto_original.save('texto.pdf', ContentFile(retificado), |
|||
save=True) |
|||
assert MateriaParaMaterializar.objects.filter(materia=materia).exists() |
|||
|
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
alvo = DocumentoParaAssinatura.objects.get(materia=materia) |
|||
assert alvo.hash_origem == hashlib.sha256(retificado).hexdigest() |
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_falha_desmarca_para_nao_martelar_o_onlyoffice(db, monkeypatch): |
|||
"""Falha registra a matéria travada e sai da fila — retenta na varredura. |
|||
|
|||
Manter a marca faria o tick retentar a cada 15s com o ambiente quebrado. |
|||
""" |
|||
materia = criar_materia(nome='texto.docx', conteudo=b'docx-qualquer') |
|||
|
|||
monkeypatch.setattr( |
|||
'sapl.integracao_hub.management.commands.' |
|||
'materializar_pdfs_para_assinatura._origem_servida_confere', |
|||
lambda materia, hash_origem: (True, None)) |
|||
monkeypatch.setattr( |
|||
'sapl.materia.views_assinatura._gerar_pdf_da_materia', |
|||
lambda materia, request: (None, 'OnlyOffice fora do ar')) |
|||
|
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
assert not DocumentoParaAssinatura.objects.filter( |
|||
materia=materia).exists() |
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
assert materia.falha_materializacao.motivo == 'OnlyOffice fora do ar' |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_lock_ocupado_dispensa_o_tick_e_preserva_a_marca(db): |
|||
"""Varredura no meio: o tick é dispensado e a fila espera o próximo. |
|||
|
|||
É o mesmo lock único de `em_andamento` — a marca não pode se perder só |
|||
porque a varredura estava rodando na hora. |
|||
""" |
|||
materia = criar_materia() |
|||
PassadaMaterializacao.objects.create() # em_andamento=True (lock) |
|||
|
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
assert not DocumentoParaAssinatura.objects.filter( |
|||
materia=materia).exists() |
|||
assert MateriaParaMaterializar.objects.filter(materia=materia).exists() |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_materia_que_saiu_do_filtro_desmarca_sem_converter(db): |
|||
"""Protocolo anulado entre o evento e o tick: desmarca, não processa. |
|||
|
|||
Processar seria materializar matéria fora do filtro da rotina; manter a |
|||
marca seria fila que nunca esvazia. |
|||
""" |
|||
materia = criar_materia() |
|||
materia.numero_protocolo = None |
|||
materia.save() # o receiver ignora (sem protocolo), a marca antiga fica |
|||
|
|||
call_command('materializar_pdfs_para_assinatura', '--fila') |
|||
|
|||
assert not DocumentoParaAssinatura.objects.filter( |
|||
materia=materia).exists() |
|||
assert not MateriaParaMaterializar.objects.exists() |
|||
Loading…
Reference in new issue