mirror of https://github.com/interlegis/sapl.git
Browse Source
GET /api/sessao/sessaoplenaria/{id}/painel/ devolve numa única requisição
sessão, mesa, parlamentares, presenças, expediente, ordem do dia, matérias,
autorias, votações, votos, leituras e oradores, no mesmo formato dos
endpoints de listagem.
Segue as permissões de leitura de cada model e a visibilidade pública das
sessões. O número de consultas ao banco não cresce com o tamanho da sessão.
pull/3866/head
Samuel Zwinglio
2 weeks ago
5 changed files with 427 additions and 2 deletions
@ -0,0 +1,78 @@ |
|||
# API: dados da Sessão Plenária para painel |
|||
|
|||
``` |
|||
GET /api/sessao/sessaoplenaria/{id}/painel/ |
|||
``` |
|||
|
|||
Devolve numa única requisição tudo o que um painel eletrônico ou integração |
|||
precisa para montar uma sessão plenária. É o par de leitura do |
|||
[lote de gravação](api-sessao-lote.md): a integração baixa a sessão no início |
|||
com este endpoint, trabalha localmente e envia tudo no fim com o lote. |
|||
|
|||
## Requisições por sessão |
|||
|
|||
Para montar o painel pelos endpoints de listagem, uma integração precisa |
|||
buscar sessão, tipo, casa, parlamentares, mandatos, presenças, pauta, |
|||
expediente, matérias, autorias, autores, registros de votação, votos, |
|||
leituras e cadastros auxiliares, paginando de 100 em 100. Numa Casa com 21 |
|||
parlamentares e 20 matérias votadas nominalmente, só os votos (420) ocupam 5 |
|||
páginas. |
|||
|
|||
| | Endpoints de listagem | Este endpoint | |
|||
|---|---|---| |
|||
| Montar o painel (início da sessão) | ~20, usando `expand` e filtros `__in`; bem mais sem eles | **1** | |
|||
| Sincronizar a sessão (fim) | 522 (ver [lote](api-sessao-lote.md)) | **1** com o lote | |
|||
|
|||
## Permissões |
|||
|
|||
Mesmas regras dos endpoints de listagem: todos os models devolvidos são de |
|||
leitura pública no SAPL, então o endpoint dispensa autenticação. Se alguma |
|||
dessas regras deixar de ser pública, o endpoint passa a exigir a permissão de |
|||
listagem de cada model e responde `403` indicando quais faltam. |
|||
|
|||
A visibilidade da sessão segue a consulta pública: sessões futuras |
|||
cadastradas com antecedência (não iniciadas e sem pauta publicada) respondem |
|||
`404` para usuários não autenticados. |
|||
|
|||
## Resposta |
|||
|
|||
Cada bloco usa o mesmo serializer da listagem do model correspondente, então |
|||
cada registro tem exatamente o formato de `/api/<app>/<model>/`. |
|||
|
|||
| Chave | Model | Conteúdo | |
|||
|---|---|---| |
|||
| `sessao_plenaria` | `SessaoPlenaria` | objeto da sessão | |
|||
| `tipo_sessao` | `TipoSessaoPlenaria` | objeto do tipo da sessão | |
|||
| `casa_legislativa` | `CasaLegislativa` | lista | |
|||
| `parlamentares` | `Parlamentar` | com mandato na legislatura da sessão ou citados nela (presença, mesa, voto, orador) | |
|||
| `mandatos` | `Mandato` | da legislatura da sessão | |
|||
| `filiacoes` | `Filiacao` | dos parlamentares acima | |
|||
| `partidos` | `Partido` | das filiações acima | |
|||
| `cargos_mesa` | `CargoMesa` | todos | |
|||
| `integrantes_mesa` | `IntegranteMesa` | mesa da sessão | |
|||
| `presencas_sessao` | `SessaoPlenariaPresenca` | da sessão | |
|||
| `presencas_ordem_dia` | `PresencaOrdemDia` | da sessão | |
|||
| `tipos_expediente` | `TipoExpediente` | todos | |
|||
| `expedientes` | `ExpedienteSessao` | da sessão | |
|||
| `expedientes_materia` | `ExpedienteMateria` | da sessão | |
|||
| `ordens_dia` | `OrdemDia` | da sessão | |
|||
| `materias` | `MateriaLegislativa` | da ordem do dia e do expediente | |
|||
| `autorias` | `Autoria` | dessas matérias | |
|||
| `autores` | `Autor` | dessas autorias | |
|||
| `tipos_autor` | `TipoAutor` | todos | |
|||
| `tipos_resultado_votacao` | `TipoResultadoVotacao` | todos | |
|||
| `registros_votacao` | `RegistroVotacao` | da ordem do dia e do expediente | |
|||
| `votos` | `VotoParlamentar` | da ordem do dia e do expediente | |
|||
| `registros_leitura` | `RegistroLeitura` | da ordem do dia e do expediente | |
|||
| `oradores` | `Orador` | explicações pessoais | |
|||
| `oradores_expediente` | `OradorExpediente` | da sessão | |
|||
| `oradores_ordem_dia` | `OradorOrdemDia` | da sessão | |
|||
|
|||
Os blocos não são paginados. |
|||
|
|||
## Desempenho |
|||
|
|||
O número de consultas ao banco não cresce com o tamanho da sessão: |
|||
relacionamentos usados no `__str__`, campos many-to-many e `metadata` são |
|||
carregados de uma vez por bloco. Numa sessão com cerca de 600 registros, a |
|||
resposta faz menos de 100 consultas. |
|||
@ -0,0 +1,193 @@ |
|||
""" |
|||
Leitura, em uma única requisição, de tudo o que um painel eletrônico ou |
|||
integração precisa para montar uma Sessão Plenária: sessão, mesa, |
|||
parlamentares, presenças, expediente, ordem do dia, matérias, autorias, |
|||
votações, votos, leituras e oradores. Ver docs/api-sessao-painel.md. |
|||
|
|||
Cada bloco usa o mesmo serializer do endpoint de listagem do model, então |
|||
os registros têm o mesmo formato de /api/<app>/<model>/. |
|||
""" |
|||
from django.contrib.contenttypes.models import ContentType |
|||
from django.db.models import Q, prefetch_related_objects |
|||
|
|||
from drfautoapi.drfautoapi import ApiViewSetConstrutor |
|||
from sapl.api.permissions import SaplModelPermissions |
|||
from sapl.base.models import Autor, CasaLegislativa, Metadata, TipoAutor |
|||
from sapl.materia.models import Autoria, MateriaLegislativa |
|||
from sapl.parlamentares.models import (CargoMesa, Filiacao, Mandato, |
|||
Parlamentar, Partido) |
|||
from sapl.sessao.models import (ExpedienteMateria, ExpedienteSessao, |
|||
IntegranteMesa, Orador, OradorExpediente, |
|||
OradorOrdemDia, OrdemDia, PresencaOrdemDia, |
|||
RegistroLeitura, RegistroVotacao, |
|||
SessaoPlenariaPresenca, TipoExpediente, |
|||
TipoResultadoVotacao, TipoSessaoPlenaria, |
|||
VotoParlamentar) |
|||
|
|||
|
|||
def serializar(request, model, objs, many=True): |
|||
"""Serializa com o serializer da listagem do model. Metadata e campos |
|||
many-to-many de todos os registros são lidos de uma vez, em vez de uma |
|||
consulta por registro.""" |
|||
serializer_class = ApiViewSetConstrutor.get_viewset_for_model( |
|||
model).serializer_class |
|||
lista = list(objs) if many else [objs] |
|||
prefetch_related_objects( |
|||
lista, *(f.name for f in model._meta.many_to_many)) |
|||
content_type = ContentType.objects.get_for_model(model) |
|||
metadata = dict.fromkeys(((model._meta.label, o.pk) for o in lista), {}) |
|||
metadata.update({ |
|||
(model._meta.label, m.object_id): m.metadata |
|||
for m in Metadata.objects.filter( |
|||
content_type=content_type, |
|||
object_id__in=[o.pk for o in lista])}) |
|||
return serializer_class( |
|||
lista if many else objs, many=many, |
|||
context={'request': request, 'metadata': metadata}).data |
|||
|
|||
|
|||
def por_id(objs): |
|||
return {o.pk: o for o in objs} |
|||
|
|||
|
|||
class SessaoPainel: |
|||
|
|||
# Models lidos, para conferir a permissão de leitura de cada um com as |
|||
# mesmas regras dos endpoints de listagem. |
|||
MODELS = ( |
|||
TipoSessaoPlenaria, CasaLegislativa, Parlamentar, Mandato, Filiacao, |
|||
Partido, CargoMesa, IntegranteMesa, SessaoPlenariaPresenca, |
|||
PresencaOrdemDia, TipoExpediente, ExpedienteSessao, |
|||
ExpedienteMateria, OrdemDia, MateriaLegislativa, Autoria, Autor, |
|||
TipoAutor, TipoResultadoVotacao, RegistroVotacao, VotoParlamentar, |
|||
RegistroLeitura, Orador, OradorExpediente, OradorOrdemDia, |
|||
) |
|||
|
|||
def __init__(self, sessao, request): |
|||
self.sessao = sessao |
|||
self.request = request |
|||
|
|||
def models_sem_permissao(self): |
|||
permissao = SaplModelPermissions() |
|||
sem = [] |
|||
for model in self.MODELS: |
|||
# SaplModelPermissions confere a permissão pelo queryset da view. |
|||
view = type('View', (), {'queryset': model.objects.none()})() |
|||
if not permissao.has_permission(self.request, view): |
|||
sem.append('{}.{}'.format(model._meta.app_label, |
|||
model._meta.model_name)) |
|||
return sem |
|||
|
|||
def dados(self): |
|||
""" |
|||
Os registros da sessão recebem a própria sessão já carregada, e |
|||
votações, votos e leituras recebem os itens da pauta já carregados: |
|||
o __str__ de cada um sobe por essas relações e, sem isso, faria |
|||
consultas por registro. |
|||
""" |
|||
s = self.sessao |
|||
r = self.request |
|||
|
|||
def da_sessao(model, *relacionados): |
|||
objs = list(model.objects.filter( |
|||
sessao_plenaria=s).select_related(*relacionados)) |
|||
for o in objs: |
|||
o.sessao_plenaria = s |
|||
return objs |
|||
|
|||
ordens = da_sessao(OrdemDia, 'materia__tipo') |
|||
expedientes_materia = da_sessao(ExpedienteMateria, 'materia__tipo') |
|||
ordens_por_id = por_id(ordens) |
|||
expedientes_por_id = por_id(expedientes_materia) |
|||
da_pauta = Q(ordem_id__in=ordens_por_id) | \ |
|||
Q(expediente_id__in=expedientes_por_id) |
|||
|
|||
def na_pauta(objs): |
|||
for o in objs: |
|||
if o.ordem_id: |
|||
o.ordem = ordens_por_id[o.ordem_id] |
|||
if o.expediente_id: |
|||
o.expediente = expedientes_por_id[o.expediente_id] |
|||
return objs |
|||
|
|||
registros_votacao = na_pauta(list(RegistroVotacao.objects.filter( |
|||
da_pauta).select_related('tipo_resultado_votacao'))) |
|||
registros_por_id = por_id(registros_votacao) |
|||
votos = na_pauta(list(VotoParlamentar.objects.filter( |
|||
da_pauta).select_related('parlamentar'))) |
|||
for v in votos: |
|||
if v.votacao_id in registros_por_id: |
|||
v.votacao = registros_por_id[v.votacao_id] |
|||
registros_leitura = na_pauta(list(RegistroLeitura.objects.filter( |
|||
da_pauta).select_related('materia__tipo'))) |
|||
|
|||
materias_ids = {o.materia_id for o in ordens + expedientes_materia} |
|||
materias = list(MateriaLegislativa.objects.filter( |
|||
id__in=materias_ids).select_related('tipo')) |
|||
autorias = list(Autoria.objects.filter( |
|||
materia_id__in=materias_ids).select_related( |
|||
'autor__tipo', 'materia__tipo').prefetch_related( |
|||
'autor__autor_related')) |
|||
autores = {a.autor_id: a.autor for a in autorias} |
|||
|
|||
presencas = da_sessao(SessaoPlenariaPresenca, 'parlamentar') |
|||
presencas_ordem = da_sessao(PresencaOrdemDia, 'parlamentar') |
|||
mesa = da_sessao(IntegranteMesa, 'parlamentar', 'cargo') |
|||
expedientes = da_sessao(ExpedienteSessao, 'tipo') |
|||
oradores = {model: da_sessao(model, 'parlamentar') |
|||
for model in (Orador, OradorExpediente, OradorOrdemDia)} |
|||
|
|||
# Parlamentares com mandato na legislatura da sessão e qualquer |
|||
# outro citado nela (presença, mesa, voto ou orador). |
|||
mandatos = list(Mandato.objects.filter( |
|||
legislatura_id=s.legislatura_id).select_related( |
|||
'parlamentar', 'legislatura')) |
|||
parlamentares_ids = {o.parlamentar_id for o in ( |
|||
mandatos + presencas + presencas_ordem + mesa + votos + |
|||
[o for lista in oradores.values() for o in lista])} |
|||
filiacoes = list(Filiacao.objects.filter( |
|||
parlamentar_id__in=parlamentares_ids).select_related( |
|||
'parlamentar', 'partido')) |
|||
|
|||
return { |
|||
'sessao_plenaria': serializar(r, type(s), s, many=False), |
|||
'tipo_sessao': serializar( |
|||
r, TipoSessaoPlenaria, s.tipo, many=False), |
|||
'casa_legislativa': serializar( |
|||
r, CasaLegislativa, CasaLegislativa.objects.all()), |
|||
'parlamentares': serializar( |
|||
r, Parlamentar, Parlamentar.objects.filter( |
|||
id__in=parlamentares_ids)), |
|||
'mandatos': serializar(r, Mandato, mandatos), |
|||
'filiacoes': serializar(r, Filiacao, filiacoes), |
|||
'partidos': serializar(r, Partido, Partido.objects.filter( |
|||
id__in={f.partido_id for f in filiacoes})), |
|||
'cargos_mesa': serializar(r, CargoMesa, CargoMesa.objects.all()), |
|||
'integrantes_mesa': serializar(r, IntegranteMesa, mesa), |
|||
'presencas_sessao': serializar( |
|||
r, SessaoPlenariaPresenca, presencas), |
|||
'presencas_ordem_dia': serializar( |
|||
r, PresencaOrdemDia, presencas_ordem), |
|||
'tipos_expediente': serializar( |
|||
r, TipoExpediente, TipoExpediente.objects.all()), |
|||
'expedientes': serializar(r, ExpedienteSessao, expedientes), |
|||
'expedientes_materia': serializar( |
|||
r, ExpedienteMateria, expedientes_materia), |
|||
'ordens_dia': serializar(r, OrdemDia, ordens), |
|||
'materias': serializar(r, MateriaLegislativa, materias), |
|||
'autorias': serializar(r, Autoria, autorias), |
|||
'autores': serializar(r, Autor, autores.values()), |
|||
'tipos_autor': serializar(r, TipoAutor, TipoAutor.objects.all()), |
|||
'tipos_resultado_votacao': serializar( |
|||
r, TipoResultadoVotacao, TipoResultadoVotacao.objects.all()), |
|||
'registros_votacao': serializar( |
|||
r, RegistroVotacao, registros_votacao), |
|||
'votos': serializar(r, VotoParlamentar, votos), |
|||
'registros_leitura': serializar( |
|||
r, RegistroLeitura, registros_leitura), |
|||
'oradores': serializar(r, Orador, oradores[Orador]), |
|||
'oradores_expediente': serializar( |
|||
r, OradorExpediente, oradores[OradorExpediente]), |
|||
'oradores_ordem_dia': serializar( |
|||
r, OradorOrdemDia, oradores[OradorOrdemDia]), |
|||
} |
|||
@ -0,0 +1,127 @@ |
|||
from datetime import timedelta |
|||
|
|||
import pytest |
|||
from django.db import connection |
|||
from django.test.utils import CaptureQueriesContext |
|||
from django.utils import timezone |
|||
from model_bakery import baker |
|||
from rest_framework.test import APIClient |
|||
|
|||
from sapl.base.models import Autor |
|||
from sapl.materia.models import Autoria |
|||
from sapl.parlamentares.models import Mandato, Parlamentar |
|||
from sapl.sessao.models import (ExpedienteMateria, IntegranteMesa, OrdemDia, |
|||
OradorExpediente, PresencaOrdemDia, |
|||
RegistroLeitura, RegistroVotacao, |
|||
SessaoPlenaria, SessaoPlenariaPresenca, |
|||
VotoParlamentar) |
|||
|
|||
|
|||
def url(sessao): |
|||
return '/api/sessao/sessaoplenaria/{}/painel/'.format(sessao.pk) |
|||
|
|||
|
|||
@pytest.fixture |
|||
def sessao(): |
|||
return baker.make(SessaoPlenaria, data_inicio=timezone.localdate(), |
|||
iniciada=True) |
|||
|
|||
|
|||
@pytest.fixture |
|||
def sessao_completa(sessao): |
|||
"""Casa com 21 parlamentares e 20 matérias votadas nominalmente.""" |
|||
parlamentares = baker.make(Parlamentar, ativo=True, _quantity=21) |
|||
for p in parlamentares: |
|||
baker.make(Mandato, parlamentar=p, legislatura=sessao.legislatura) |
|||
baker.make(SessaoPlenariaPresenca, sessao_plenaria=sessao, |
|||
parlamentar=p) |
|||
baker.make(PresencaOrdemDia, sessao_plenaria=sessao, parlamentar=p) |
|||
baker.make(IntegranteMesa, sessao_plenaria=sessao, |
|||
parlamentar=parlamentares[0]) |
|||
for _ in range(20): |
|||
ordem = baker.make(OrdemDia, sessao_plenaria=sessao) |
|||
baker.make(Autoria, materia=ordem.materia, autor=baker.make(Autor)) |
|||
registro = baker.make(RegistroVotacao, ordem=ordem, |
|||
materia=ordem.materia) |
|||
for p in parlamentares: |
|||
baker.make(VotoParlamentar, ordem=ordem, votacao=registro, |
|||
parlamentar=p, voto='Sim') |
|||
for _ in range(5): |
|||
expediente = baker.make(ExpedienteMateria, sessao_plenaria=sessao) |
|||
baker.make(RegistroLeitura, expediente=expediente, |
|||
materia=expediente.materia) |
|||
baker.make(OradorExpediente, sessao_plenaria=sessao, |
|||
parlamentar=parlamentares[1]) |
|||
return sessao |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_publico_traz_toda_a_sessao(sessao_completa): |
|||
response = APIClient().get(url(sessao_completa)) |
|||
assert response.status_code == 200 |
|||
r = response.json() |
|||
|
|||
assert r['sessao_plenaria']['id'] == sessao_completa.pk |
|||
assert r['tipo_sessao']['id'] == sessao_completa.tipo_id |
|||
assert len(r['parlamentares']) == 21 |
|||
assert len(r['mandatos']) == 21 |
|||
assert len(r['presencas_sessao']) == 21 |
|||
assert len(r['presencas_ordem_dia']) == 21 |
|||
assert len(r['integrantes_mesa']) == 1 |
|||
assert len(r['ordens_dia']) == 20 |
|||
assert len(r['expedientes_materia']) == 5 |
|||
assert len(r['materias']) == 25 |
|||
assert len(r['autorias']) == 20 |
|||
assert len(r['autores']) == 20 |
|||
assert len(r['registros_votacao']) == 20 |
|||
assert len(r['votos']) == 420 |
|||
assert len(r['registros_leitura']) == 5 |
|||
assert len(r['oradores_expediente']) == 1 |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_mesmo_formato_da_listagem(sessao_completa): |
|||
c = APIClient() |
|||
painel = c.get(url(sessao_completa)).json() |
|||
lista = c.get('/api/sessao/ordemdia/', { |
|||
'sessao_plenaria': sessao_completa.pk, 'page_size': 100}).json() |
|||
assert sorted(painel['ordens_dia'], key=lambda o: o['id']) == \ |
|||
sorted(lista['results'], key=lambda o: o['id']) |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_nao_mistura_outras_sessoes(sessao_completa): |
|||
outra = baker.make(SessaoPlenaria, data_inicio=timezone.localdate()) |
|||
baker.make(OrdemDia, sessao_plenaria=outra) |
|||
baker.make(SessaoPlenariaPresenca, sessao_plenaria=outra) |
|||
|
|||
r = APIClient().get(url(outra)).json() |
|||
assert len(r['ordens_dia']) == 1 |
|||
assert len(r['presencas_sessao']) == 1 |
|||
assert r['votos'] == [] |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_numero_de_consultas_limitado(sessao_completa): |
|||
with CaptureQueriesContext(connection) as consultas: |
|||
assert APIClient().get(url(sessao_completa)).status_code == 200 |
|||
# ~620 registros serializados: o número de consultas não pode crescer |
|||
# com o volume (sem N+1 em __str__, metadata e many-to-many). |
|||
assert len(consultas) < 100 |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_sessao_futura_oculta_ao_publico(admin_user): |
|||
futura = baker.make(SessaoPlenaria, iniciada=False, publicar_pauta=False, |
|||
data_inicio=timezone.localdate() + timedelta(days=3)) |
|||
assert APIClient().get(url(futura)).status_code == 404 |
|||
|
|||
c = APIClient() |
|||
c.force_authenticate(admin_user) |
|||
assert c.get(url(futura)).status_code == 200 |
|||
|
|||
|
|||
@pytest.mark.django_db(transaction=False) |
|||
def test_painel_sessao_inexistente(): |
|||
response = APIClient().get('/api/sessao/sessaoplenaria/999999/painel/') |
|||
assert response.status_code == 404 |
|||
Loading…
Reference in new issue