sapl/scripts/deduplica_parlamentares.py

from django.db.models import Count

from sapl.base.models import Autor
from sapl.comissoes.models import Participacao
from sapl.materia.models import Relatoria, UnidadeTramitacao, Autoria, Proposicao
from sapl.norma.models import AutoriaNorma
from sapl.parlamentares.models import (
    Parlamentar,
    ComposicaoMesa,
    Dependente,
    Filiacao,
    Mandato,
    Frente,
    Votante,
)
from sapl.protocoloadm.models import Protocolo, DocumentoAdministrativo
from sapl.sessao.models import (
    IntegranteMesa,
    JustificativaAusencia,
    OradorExpediente,
    PresencaOrdemDia,
    RetiradaPauta,
    SessaoPlenariaPresenca,
    VotoParlamentar,
    OradorOrdemDia,
)


models = [
    ComposicaoMesa,
    Dependente,
    Filiacao,
    IntegranteMesa,
    JustificativaAusencia,
    Mandato,
    OradorOrdemDia,
    OradorExpediente,
    Participacao,
    PresencaOrdemDia,
    Relatoria,
    RetiradaPauta,
    SessaoPlenariaPresenca,
    UnidadeTramitacao,
    VotoParlamentar,
    Votante,
]

# Tratar FRENTE pois ela é 1-to-many (campo parlamentares) com Parlamentar

models_autor = [
    AutoriaNorma,
    Autoria,
    Frente,
    Proposicao,
    Protocolo,
    DocumentoAdministrativo,
]

## Verificar se TipoAutor é sempre 1 para parlamentar e ContentType é sempre 26 para parlamentar.
TIPO_PARLAMENTAR = 1
CONTENT_TYPE_PARLAMENTAR = 26


def recupera_parlamentares():
    return [
        [
            parlamentar
            for parlamentar in Parlamentar.objects.filter(
                nome_parlamentar=nome_parlamentar
            ).order_by("id")
        ]
        for nome_parlamentar in Parlamentar.objects.values_list(
            "nome_parlamentar", flat=True
        )
        .annotate(qntd=Count("nome_parlamentar"))
        .filter(qntd__gt=1)
    ]


def deduplica_parlamentares(parlamentares):
    for parlamentar in parlamentares:
        parlamentar_principal = parlamentar[0]
        print("Corrigindo parlamentar {}".format(parlamentar_principal))
        for clone in parlamentar[1:]:
            if parlamentar_principal.biografia and clone.biografia:
                parlamentar_principal.biografia += (
                    f"\n\n------------------------\n\n{clone.biografia}"
                )
                parlamentar_principal.save()
            elif clone.biografia:
                parlamentar_principal.biografia = clone.biografia

            autor_principal = Autor.objects.filter(
                tipo_id=TIPO_PARLAMENTAR,
                content_type_id=CONTENT_TYPE_PARLAMENTAR,
                object_id=parlamentar_principal.id,
            )

            for a in Autor.objects.filter(
                tipo_id=TIPO_PARLAMENTAR,
                content_type_id=CONTENT_TYPE_PARLAMENTAR,
                object_id=clone.id,
            ):
                if not autor_principal:
                    print("Ajustando autor de %s" % parlamentar)
                    a.object_id = parlamentar_principal.id
                    try:
                        a.save()
                    except Exception as e:
                        print(
                            f"Erro ao mover referencia de autor do model {ma} para {autor_principal[0]}"
                        )
                        print(e)
                else:
                    print("Movendo referencias de autor")
                    for ma in models_autor:
                        for ra in ma.objects.filter(autor=a):
                            ra.autor = autor_principal[0]
                            try:
                                ra.save()
                            except Exception as e:
                                print(
                                    f"Erro ao mover referencia de autor do model {ma} para {autor_principal[0]}"
                                )
                                print(e)
                    a.delete()

            # Muda apontamento de models que referenciam parlamentar
            for model in models:
                print(f"Mudando apontamento de model {model}...")
                for obj in model.objects.filter(parlamentar_id=clone.id):
                    obj.parlamentar = parlamentar_principal
                    try:
                        obj.save()
                    except Exception as e:
                        print(
                            f"Erro ao alterar parlamentar do model {model} para a instancia {obj}"
                        )
                        print(e)
            clone.delete()


def estatisticas(parlamentares):
    stats = []
    for ps in parlamentares:
        for p in ps:
            d = {
                "id": p.id,
                "nome": p.nome_parlamentar,
                "stats": {
                    m.__name__: m.objects.filter(parlamentar=p).count() for m in models
                },
            }
            for m in models_autor:
                d["stats"].update(
                    {
                        m.__name__: m.objects.filter(
                            autor__object_id=p.id,
                            autor__content_type=CONTENT_TYPE_PARLAMENTAR,
                            autor__tipo_id=TIPO_PARLAMENTAR,
                        ).count()
                    }
                )
            stats.append(d)
    for s in stats:
        print("---------------------------------------------------")
        print(s["id"], s["nome"])
        print(s["stats"])


def main():
    parlamentares = recupera_parlamentares()
    estatisticas(parlamentares)
    deduplica_parlamentares(parlamentares)
    estatisticas(parlamentares)


if __name__ == "__main__":
    main()