Pular para o conteúdo principal

📊 DataPulseCM - Sistema de Monitoramento ETL

Bem-vindo ao DataPulseCM, um sistema completo de monitoramento centralizado para jobs de ETL (Extract, Transform, Load).

Código-fonte: github.com/ClaudioMatheusDev/DataPulseCM

🎯 O que é o DataPulseCM?​

DataPulseCM é uma solução moderna que permite:

  • Rastreamento em tempo real de execuções de jobs ETL
  • Visualização clara de métricas e estatísticas
  • Análise detalhada de falhas e erros
  • Histórico completo de execuções
  • Dashboard intuitivo para acompanhamento operacional

✨ Principais Funcionalidades​

📈 Dashboard Interativo​

  • Cards com estatísticas em tempo real (total, sucessos, falhas, taxa de sucesso)
  • Tabela de execuções recentes com filtros
  • Atualização automática a cada 30 segundos

🔍 Detalhamento de Execuções​

  • Visualização completa de cada execução
  • Timeline de steps individuais
  • Mensagens de erro detalhadas
  • Métricas de duração e registros processados

🔌 API REST Completa​

  • Endpoints para consulta e gerenciamento
  • Documentação interativa com Swagger
  • Suporte a filtros avançados
  • Integração fácil com jobs existentes

📊 Monitoramento Avançado​

  • Logs estruturados com Serilog
  • Integração opcional com Seq
  • Health checks para monitoramento de infraestrutura

🚀 Casos de Uso​

Cenário 1: Monitoramento de Jobs de Integração​

Uma empresa executa múltiplos jobs ETL diariamente (importação de vendas, atualização de estoque, consolidação de dados). Com DataPulseCM, a equipe pode:

  • Ver em tempo real quais jobs estão executando
  • Receber alertas imediatos em caso de falha
  • Analisar histórico para identificar padrões

Cenário 2: Análise de Desempenho​

Desenvolvedores precisam otimizar jobs lentos. DataPulseCM oferece:

  • Métricas de duração por execução
  • Comparação entre execuções
  • Identificação de steps problemáticos

Cenário 3: Auditoria e Compliance​

Para atender requisitos de auditoria, o sistema fornece:

  • Histórico completo de todas as execuções
  • Rastreabilidade de dados processados
  • Logs estruturados para análise forense

📚 Próximos Passos​

Explore a documentação completa:

  1. Instalação - Guia passo a passo de instalação
  2. Arquitetura - Entenda a estrutura do projeto
  3. API Reference - Documentação completa da API
  4. Exemplos - Exemplos práticos de uso

🤝 Contribuindo​

Contribuições são bem-vindas! Entre em contato para saber como contribuir.

📄 Licença​

Este projeto está licenciado sob a Licença MIT.

👨‍💻 Autor​

Claudio Matheus