Logs EID PDI

-Log de execução de Jobs e Transformações:

Todo processo executado no PDI terá informações de saída relacionadas ao log do fluxo de trabalho. Isso fornece detalhes sobre o que está acontecendo durante a execução. Os logs podem ser monitorados através do cliente PDI ou da interface online do PDI via navegador: IP_SERVIDOR:8080

Aqui está uma lista de itens com os quais o log pode ajudar:

• Fornece informações relevantes sempre que uma execução do processo apresenta um erro, como etapas que estão falhando e rastreiam com a descrição principal do erro

• Fornece informações sobre um fluxo de trabalho se houver divisão de decisão

• Detecta gargalos e etapas de desempenho abaixo do padrão com base na duração de um procedimento; por exemplo, os tempos de execução armazenados podem ser usados ​​para detectar se um processo está demorando mais do que habitual

• Mostra o status dos processos atualmente em execução. Os logs fornecem informações sobre quando o processo iniciado, onde está atualmente, e dados relacionados ao seu status.

• Rastreia o que foi feito e quando.

Durante a execução dos jobs e transformações no PDI Cliente conseguimos verificar o log de execução da ferramenta.

Neste log conseguimos visualizar os detalhes sobre a execução como tempo restante, número de registros, erros de conexão com as bases de origem ou destino, erros na transformação de dados, excessões, etc

Para acessar este log basta clicar no ícone de engrenagem disponível logo abaixo a tela de exibição do Job:

Existem 7 configurações possíveis para o detalhamento de logs no Spoon:

Nothing - O log está ativado, mas não registra nenhuma saída.

Error - Mostra apenas linhas de erro.

Minimal - Usa apenas o log mínimo. Fornece informações sobre o status dos fluxos de trabalho.

Basic- Recomendação: Use o nível de log Básico (padrão). Ele mostra informações relacionadas a cada etapa.

Detailed - Use isto para solução de problemas: fornece uma saída detalhada de login.

Debug- Uma saída detalhada para fins de depuração. O nível de log de depuração nunca deve ser usado em um ambiente de produção.

Row Level (Very Detailed) - Registrando em um detalhe no nível da linha. Isso gera uma enorme quantidade de dados de saída de log.

Recomendamos usar o log Basic que registra basicamente as informações mais importantes da execução do Job.

Já quando existem erros no processo o tipo Error pode ser útil para identificar o problema rapidamente, e o tipo Row Level para identificar a linha que gerou o erro.

- Log Tomcat e PDI Server

O PDI Server roda no servidor de aplicação Tomcat. O Tomcat possui logs próprios, desta forma quanto o PDI não está disponível o primeiro log que devemos verificar é o do Tomcat.

/opt/pentaho-server/tomcat/logs

Logs disponíveis:

Catalina.out - Loga a maioria dos erros que acontecem na administração da ferramenta WEB

localhost.log -

localhost_access_log.2020-07-31.txt - Logs de acesso

host-manager.2018-08-07.log

manager.data.log

pentaho.log - O log próprio do PDI Server (pentaho.log) também disponível na pasta pode ser consultado para verificar problemas na ferramenta.

- Log do cliente Spoon:

O Spoon (cliente utilizado para acessar o PDI Server) também possui um log onde é possível verificar problemas que impedem a ferramenta de funcionar. Este log fica localizado em: /opt/dataintegration/logs/spoon.log

-Práticas recomendadas para níveis de log:

Os níveis de log devem ser mais baixos em um ambiente de produção ou controle de qualidade, mas podem ser mais altos em um ambiente de desenvolvimento ou não de produção.

O nível de log de depuração nunca deve ser usado em um ambiente de produção.

Os níveis de log também podem ser especificados quando o processo é executado com o PDI Client ou qualquer outra ferramenta de linha de comando.

O desempenho do processo pode ser afetado se o nível de registro de log form muito detalhado. Isso também aumentara a quantidade de informações armazenadas no log.

- Relatório de Erros:

Acesso via IP:8080