Cria projeto inicial para acomodar gerenciador de logs, cálculo de métricas de acesso e api sushi by pitangainnovare · Pull Request #1 · scieloorg/usage

pitangainnovare · 2024-04-08T01:50:18Z

O que esse PR faz?

Este PR cria, inicialmente, uma estrutura baseada nos templates scms (core, upload, entre outros) para acomodar, numa única app, as funcionalidades de:

Gerente de logs de acesso
Cálculo de métricas COUNTER
Disponibilização de relatórios de acesso SUSHI

Este PR abarca a construção inicial do projeto, com os apps de rastreamento de erros (tracker), execução de tarefas assíncronas (Celery), modelagem de gerente de logs (log_manager) e indexação de dados (Solr).

Por onde a revisão poderia começar?

Sugere-se revisar por commits. A partir do commit 682519d códigos novos, de fato, são adicionados ao projeto. Antes dele, alguns trechos aproveitados dos projetos core e upload são maioria - ainda assim, sugere-se também analisar os arquivos de configuração do projeto (config) e requirements.

Como este poderia ser testado manualmente?

Pode-se seguir os seguintes passos para construir e rodar a aplicação, estando na raiz do projeto:

make build compose=local.yml
make django_makemigrations
make django_migrate
make django_createsuperuser
make up

Após o quinto passo, a aplicação deverá estar funcional e acessível por meio da url http://0.0.0.0:8009/admin

Acesse a url http://0.0.0.0:8009/admin/
Entre com as credenciais do superusuário
Observe que há, no menu principal, um item chamado Log Manager, que, quando acionado, lista os cinco items seguintes: Application Configuration, Collection Configuration, Log File Dates, Log File e Log Processed Row.

Para testar a aplicação, é preciso realizar algumas adições de conteúdo, como ter uma lista de coleções e configurações associadas à aplicação e às coleções. Os passos 9 a 11 ilustram como fazer isso:

Adicione coleções acessando o django shell e aproveitando-se da task da app collections

# Entre no django shell
make django_shell
# Carregue as coleções
from collection import tasks
tasks.task_load_collections(username="NOME-DO-SUPERUSER")

Crie configurações para diretório de suplementos, suplementos de mapa de geolocalizações, arquivos de bots COUNTER, e extensões de log suportadas, como mostra a imagem

Crie uma configuração de coleção para indicar qual é o diretório de arquivos de logs, como mostra a imagem seguinte

Copie alguns arquivos de log para o diretório indicado no passo 11 (obtenha esses arquivos no servidor Matomo ou contato o autor deste PR)

Adicione period_tasks para fazer download dos insumos de bots COUNTER e de mapa de geolocalizações (informe o parâmetro username: "SEU_NOME_DE_USUARIO" no campo keyword arguments, além dos parâmetros "url_robots" e "url_mmdb", como mostra a imagem e dicionário seguintes)

{
"username": "SEU_NOME_DE_USUARIO", "url_robots": "https://raw.githubusercontent.com/atmire/COUNTER-Robots/master/COUNTER_Robots_list.json", "url_mmdb": "https://download.db-ip.com/free/dbip-city-lite-2024-03.mmdb.gz",
}

Entre no django_shell e execute a task discover_logs, como indicado (acesse o shell por meio de make django_shell). Também é possível configurar periodic_task, bastando acrescentar o username no campo keyword arguments.

fromlog_managerimporttasks# descubra novos logstasks.task_discover(collection_acron2="wi", username="SEU_NOME_DE_USUARIO")
# confira os logs na tela Log Files

Valide e prorocesse logs

fromlog_managerimporttasks# valide logs para mudar o status de "CREATED" para "QUEUE" (ou "INVALIDATED")tasks.task_validate_logs(collection_acron2="wi", user_id=1)
# processo os logs em QUEUEtasks.task_parse_logs(collection_acron2="wi", username="SEU_NOME_DE_USUARIO")
# confira os resultados na tela Log Processed Row

O último passo é indexar os dados no Solr. Faça

make django_bash
python manage.py update_index

Confira os resultados no Solr

Algum cenário de contexto que queira dar?

N/A

Screenshots

N/A

Quais são tickets relevantes?

N/A

Referências

N/A

gitnnolabs · 2024-04-26T19:02:40Z

Grato! Em sex., 26 de abr. de 2024 às 11:11, Pitanga Innovare < ***@***.***> escreveu:

…

@rafaelpezzuto <https://github.com/rafaelpezzuto> Poderia me enviar alguns arquivos de logs para exemplo ? Para realizar alguns testes de execução. Grato! Bom dia, sim, claro. Acabei de enviar alguns exemplares para seu e-mail @ innolabs.com.br. Qualquer dúvida, estou à disposição. — Reply to this email directly, view it on GitHub <#1 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AUXWFJQFSVTCPKUIGO4EAN3Y7JN7RAVCNFSM6AAAAABF32E6W2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZZGQ3TIOBQGA> . You are receiving this because your review was requested.Message ID: ***@***.***>

-- Jamil Atta Junior * innoLabs* www.innolabs.com.br

samuelveigarangel · 2024-05-02T01:18:59Z

+User = get_user_model()
+
+
+def _get_user(request, username=None, user_id=None):


Utilizar a funcao '_get_user' que esta localizado em core/utils/utils.py e apagar esta

Essa app foi extraída do repositório core. Fiz alguns ajustes para padronizar com o sugerido. Obrigado.

samuelveigarangel · 2024-05-02T01:20:32Z

+ ...
+
+
+class EventReportDeleteEventsError(Exception):


Talvez seja melhor colocar essas execeções em um arquivo excepetions.py

samuelveigarangel · 2024-05-02T01:23:29Z

@@ -0,0 +1,24 @@
+from rest_framework import serializers


Esses modulos de APi vao ser utilizados?

Não no contexto da app core e sim em uma app nova (sushi).

samuelveigarangel · 2024-05-02T01:29:40Z

+
+@celery_app.task(bind=True)
+def task_load_collections(self, user_id=None, username=None):
+ if user_id:


Utilizar funcao '_get_user'

samuelveigarangel · 2024-05-02T01:52:59Z

+
+ @classmethod
+ def get(cls, config_type, sorting_field='-version_number'):
+ return cls.objects.filter(


Alterar o nome do método para de acordo com o função. Ou alterar a query para cls.objects.get(config_type=config_type)

Preciso que seja filter. Mudarei o nome.

samuelveigarangel · 2024-05-02T01:53:10Z

+ @classmethod
+ def create(cls, user, config_type, value, is_enabled=True, version_number=None):
+ try:
+ last_config = cls.objects.filter(config_type=config_type).order_by('-version_number').first()


Com esse trecho de código, não acontecerá a exceção 'cls.DoesNotExist'.

Verdade, só ocorre com get. Obrigado. Corrigi.

samuelveigarangel · 2024-05-02T01:56:10Z

+ base_form_class = CoreAdminModelForm
+
+ panels = [
+ FieldPanel('collection'),


Utilizar AutocompletePanel.
fromwagtailautocomplete.edit_handlersimportAutocompletePanelpanels= [ AutocompletePanel("collection") ]

samuelveigarangel · 2024-05-02T01:56:48Z

+
+ @classmethod
+ def get(cls, collection_acron2, config_type, is_enabled=True):
+ return cls.objects.filter(


Utilizar get.

Não devp, pois aqui posso obter mais de um elemento (como num outro caso já citado). Mudei o nome do método para ser mais claro. Obrigado.

samuelveigarangel · 2024-05-02T01:57:22Z

+
+ panel = [
+ FieldPanel('date'),
+ FieldPanel('log_file')


AutocompletePanel

samuelveigarangel · 2024-05-02T01:58:21Z

+ @classmethod
+ def create(cls, user, collection, path, stat_result, hash, status=None):
+ try:
+ obj = cls.objects.get(hash=hash)


cls.get(hash=hash)

samuelveigarangel · 2024-05-02T01:58:44Z

+ FieldPanel('path'),
+ FieldPanel('stat_result'),
+ FieldPanel('status'),
+ FieldPanel('collection'),


AutocompletePanel

samuelveigarangel · 2024-05-02T01:59:15Z

+ "date",
+ "log_file__collection",
+ )
+ search_fields = ()


Sim, ficará vazio por enquanto.

samuelveigarangel · 2024-05-02T01:59:44Z

+ base_form_class = CoreAdminModelForm
+
+ panels = [
+ FieldPanel('log_file'),


AutocompletePanel

samuelveigarangel · 2024-05-02T02:15:05Z

+ """
+ col = Collection.objects.get(acron2=collection_acron2)
+
+ col_configs_dirs = models.CollectionConfig.get(


No método de classe CollectionConfig.get(), ao mudar de filter() para get(), esse trecho de código ficaria com mais clareza e garantiria que trataremos a ausência do objeto esperado de forma explícita
try: col_configs_dirs=models.CollectionConfig.get( collection_acron2=collection_acron2, config_type=choices.COLLECTION_CONFIG_TYPE_DIRECTORY_LOGS, is_enabled=is_enabled, ) exceptmodels.CollectionConfig.DoesNotExist: raiseexceptions.UndefinedCollectionConfigError('ERROR. Please, add a Collection Config for the Logs Directory.')

Ou então utilizar filter

Exato. A confusão esteve em nomear como "get" um elemento que usa filter. Corrigi o nome e creio ter ficado mais claro.

samuelveigarangel · 2024-05-02T02:19:03Z

+
+
+def temporal_reference_to_datetime(text):
+ text = text.lower()


Colocar esta linha dentro do if para evitar erros de NoneType

samuelveigarangel · 2024-05-02T02:26:04Z

+ Returns:
+ None.
+ """
+ if username:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:30:47Z

+
+
+@celery_app.task(bind=True, name=_('Create Log File'))
+def task_create_log_file(self, collection, path, user_id=None, username=None):


celery precisa serializar os argumentos para envia-los ao workers. Então, seria interessante voce passar algum identificador de collection para você obter ele dentro da task e assim passar o objeto collection para o método create()

samuelveigarangel · 2024-05-02T02:32:57Z

+
+@celery_app.task(bind=True, name=_('Validate Log'), timelimit=-1)
+def task_validate_log(self, log_file_hash, user_id=None, username=None):
+ if username:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:36:56Z

+ Returns:
+ None.
+ """
+ if username:


Utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:37:30Z

+
+@celery_app.task(bind=True, name=_('Download Supplies'))
+def task_download_supplies(self, url_robots, url_mmdb, user_id=None, username=None):
+ if user_id:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:41:08Z

+
+# Django
+# ------------------------------------------------------------------------------
+django==4.2.7


Atualizar django e wagtail para versões mais recente

samuelveigarangel · 2024-05-02T03:12:02Z

+ context: .
+ dockerfile: ./compose/local/django/Dockerfile
+ image: scielo_core_local_django
+ container_name: scielo_core_local_django


mudar nome dos containers tanto em local.yml como em production.yml.
Sugestão: scielo_usage_local...

samuelveigarangel · 2024-05-02T03:59:11Z

@@ -78,3 +78,32 @@ def task_discover(self, collection_acron2, is_enabled=True, temporal_reference=N

 if not (temporal_reference or from_date) or file_ctime > obj_from_date:
 task_create_log_file(col, file_path, user_id, username)


task_create_log_file.apply_async(args=(collection_acron2, file_path, user_id, username))

gitnnolabs · 2024-05-02T13:20:37Z

@pitangainnovare solicitei para o @samuelveigarangel realizar a validação! Assim que possível por gentileza, verifique a possibilidade dos ajustes solicitado pelo @samuelveigarangel

gitnnolabs · 2024-05-06T10:28:24Z

Pessoal irei aprovar esse PR para que tenhamos um ambiente de homologação.

rafaelpezzuto added 30 commits April 7, 2024 22:22

Adiciona a .gitignore o diretório de dados Solr
da01689

Adiciona app tracker
7ae17a3

Adiciona diretório de requirements
e43f61f

Adiciona diretório de traduções
c230449

Adiciona diretório de documentações
ec9fc36

Adiciona módulo Celery
317b58b

Adiciona app core
72afbcc

Adiciona app core_settings
5cf7255

Adiciona diretório de configurações
18226ac

Adiciona diretório compose
46095ee

Adiciona app collection
b17d697

Adiciona configurações github
d42a867

Adiciona diretório de credenciais
97fbdde

Adiciona arquivos de configuração do repositório
ad0e033

Adiciona outros arquivos de configuração do repositório e do projeto
30d4316

Adiciona yml
6cb5d37

Adiciona configuração Solr
682519d

Adiciona arquivos iniciais do app log_manager
446d2fa

Adiciona arquivo choices para log_manager
4cc0915

Adiciona arquivo com exceptions de log_manager
0a7526a

Adiciona arquivo de utilitários inicial
bf457e4

Adiciona modelo ApplicationConfig em app log_manager
aea4cb1

Adiciona modelo CollectionConfig em app log_manager
26da4fa

Adiciona modelo LogFileDate em app log_manager
afb4e23

Adiciona modelo LogFile em app log_manager
3eba0b5

Adiciona modelo LogProcessedRow em app log_manager
2268fb4

Adiciona Snipet que agrupa Fragmentos em wagtail de app log_manager
0b02dc3

Adiciona task que descobre logs
e95d705

Adiciona task que cria registro de arquivo de log
37de3af

Adiciona tasks de validação de log(s)
ba9a01f

samuelveigarangel reviewed May 2, 2024
View reviewed changes

Comment threadlog_manager/models.py
base_form_class = CoreAdminModelForm

panels = [
FieldPanel('log_file'),
samuelveigarangelMay 2, 2024
Copy link
Copy Markdown
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
AutocompletePanel

samuelveigarangel reviewed May 2, 2024
View reviewed changes

gitnnolabs merged commit 00bb1d7 into scieloorg:mainMay 6, 2024

pitangainnovare mentioned this pull request May 9, 2024
Aplica correções sugeridas pela revisão realizada no Pull Request #1 #12
Merged

pitangainnovare mentioned this pull request May 25, 2024
Cria funcionalidade para notificar ausência de arquivos de log #15
Merged

		User = get_user_model()


		def _get_user(request, username=None, user_id=None):



		def temporal_reference_to_datetime(text):
		text = text.lower()



		@celery_app.task(bind=True, name=_('Create Log File'))
		def task_create_log_file(self, collection, path, user_id=None, username=None):

		@@ -78,3 +78,32 @@ def task_discover(self, collection_acron2, is_enabled=True, temporal_reference=N

		if not (temporal_reference or from_date) or file_ctime > obj_from_date:
		task_create_log_file(col, file_path, user_id, username)

Uh oh!

Conversation

pitangainnovare commented Apr 8, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

O que esse PR faz?

Por onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Uh oh!

gitnnolabs commented Apr 26, 2024 via email

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangelMay 2, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovareMay 9, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangelMay 2, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangelMay 2, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovare commented Apr 8, 2024•
edited
Loading

samuelveigarangelMay 2, 2024•
edited
Loading

pitangainnovareMay 9, 2024•
edited
Loading

samuelveigarangelMay 2, 2024•
edited
Loading

samuelveigarangelMay 2, 2024•
edited
Loading