Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Importação do template de uma máquina virtual pré-configurada para ser o servidor do Pentaho Data Integration (PDI) 9.0.
Este será o aplicativo responsável pela importação dos dados das bases acadêmicas da instituição e exportação para a base LDAP que será utilizada na autenticação dos serviços da Federação CAFe.
Possuir um hypervisor que irá hospedar o host;
Um endereço IP válido na internet;
Os requisitos mínimos de hardware informados pelo fornecedor da Suite Pentaho 8.0 são os seguintes:
Processador: Intel EM64T ou AMD64 Dual-core
Memória RAM: 10 GB, com 6 GB dedicados ao Pentaho Server 8.0
Espaço em disco: 20 GB livres após a instalação.
Todavia, recomendamos como configuração ideal:
Processador: para viabilizar o processamento paralelo, recomendamos utilizar processadores com pelo menos 4 núcleos.
Memória RAM: 20 GB, com 10 GB dedicados ao Pentaho Server 9.0
Espaço em disco: 50 GB livres após a instalação.
Criado no formato OVF (Open Virtualization Format)
Sistema Operacional Ubuntu 18.04 LTS com instalação otimizada para ambientes de virtualização;
Arquitetura de 64 bits;
Obs: Apesar da VM possuir essa configuração, a instituição pode adequar de acordo com a disponibilidade de recurso, respeitando os pré-requisitos.
Baixe o arquivo da VM: https://svn.cafe.rnp.br/arquivos/DAGSER-CAFE-PDI.zip
Importe o arquivo transferido para seu Hypervisor.
Ligue o servidor virtual recém importado, segue as informações de Login na VM:
4. Realizar as configurações de rede da VM.
5. Start no servidor Pentaho:
O serviço do Pentaho é inicializado automaticamente pelo sistema operacional. Todavia, pode-se utilizar os comandos abaixo para intervenções manuais, inicializando e parando, respectivamente:
6. Disponibilizar o Driver para conexão com a base Mysql (utilizado pela base intermediária) Baixar aqui Driver Mysql: (https://svn.cafe.rnp.br/repos/CAFe/conf/shibboleth-idp/shib-v3/pdi-pentaho/mysql-connector-java-5.1.45-bin.jar) Baixar também o Driver do banco que a instituição utiliza nas bases acadêmicas (Oracle, SQLServer ou Postgresql). Copiar os dois drivers (Mysql e o Driver usado pela base da instituição) para as seguintes pastas na VM do Servidor:
ATENÇAO:
Certifique-se que na pasta /opt/pentaho-server/tomcat/lib/ não exista mais de uma versão do driver Mysql.
Se existir outro driver mysql em outra versão, como por exemplo, o mysql-connector-java-5.1.17-bin.jar ele deve ser apagado.
A versão correta do driver mysql que deve ficar na pasta é mysql-connector-java-5.1.45-bin.jar.
7. Verificar se o serviço do Mysql está rodando na VM:
8. Acessar via navegador o Pentaho que está instalado na VM do passo anterior, através da seguinte URL: http://IP_SERVIDOR:8080/
9. Verificar se o login ocorreu com sucesso.
http://www.na-df.rnp.br/repositorio/CAFe/VMs/CAFe-Pentaho-TemplateV3-OVF.zip => Template VM versão 8
Descreve os objetivos e as características dos Jobs e Transformações implementadas no EID-PDI.
Limpa a base EID ( tabelas do EID e tabelas de Stage)
Importa todos os registros da base de origem validando os CPFs e emails inválidos, carrega vínculos, emails e contas.
Exporta todos estes dados para o LDAP, comparando o que já existe para remover usuários que tenham sido desativados.
Caso apenas um vinculo do usuário seja desativado e a pessoa continue ativa, este vinculo não é apagado do LDAP, apenas do EID.
Usuários encontrados com CPFs duplicados são unificados sempre preservando o registro mais recente e/ou a base mais confiável (base com baseOrigem=1) e evidenciando a unificação no relatório de "Pessoas Duplicadas".
Contas duplicadas são unificadas escolhendo de acordo com o parâmetro configurado e/ou de acordo com o critério da base mais confiável. A unificação é evidenciada no relatório de "Contas duplicadas".
full-job-atualizacao-diaria-truncate
Faz exatamente as mesmas cargas que o full-jobs-atualizacao=diaria, porém antes de inserir os dados no LDAP, ele faz um truncate em toda a base LDAP para só então inserir os dados na base.
Lembrando que por apagar todos os usuários da base LDAP, este job deixa o serviço indisponível enquanto faz a nova carga dos usuários na base.
Por isso recomenda-se que este Job seja executado em horários que o uso dos serviços seja mínimo, por exemplo durante a madrugada.
Um job mais leve e rápido para ser executado com pouco intervalo de tempo, por exemplo de hora em hora.
Este Job faz a carga apenas de Identificação e Conta. Para garantir que novos alunos, ou pessoas que trocaram a senha tenham esta mudança refletida no diretório LDAP rapidamente.
Limpa todas as tabelas de logs existentes na base EID.
Este Job pode ser executado para liberar armazenamento e melhorar o desempenho do Servidor Pentaho.
Limpa todas as tabelas da Base EID exceto os logs.
Pode ser executado quando se deseja zerar toda as exportações realizadas.
Limpa todas as tabelas de estatísticas do EID.
O atributo eppn é gerado a partir do atributo "uid" do usuário.
É gerado um hash do atributo uid e concatenado com o domínio da instituição. O formato sempre é escopado. Ex: xxx@rnp.br
O backup pode ser feito de toda a VM fazendo snapshots regulares e também é possível fazer o backup apenas de todas as transformações/ jobs e relatórios do servidor.
Acessar a interface de cliente do PDI Http://IP_SERVIDOR:8080
Logar com usuario e senha mesmos utilizados no login no cliente.
Acessar Browse Files/ Eid/Cafe/Visualização/Dashboards.
O PDI sempre irá apagar da base LDAP usuários que não estão mais nas Views criadas.
Desta forma se o usuário desativado for removido da View ele será removido da base LDAP na próxima execução do PDI.
Os vínculos depois de inseridos na base LDAP não são removidos.
O que pode ser feito é informar a data de fim do vinculo no atributo "brExitDate" ou remover todo o usuário caso ele não tenha mais nenhum vinculo ativo.
Os usuários são todos exportados para o metadiretório e depois os dados são cruzados analisando quem possui mesmo CPF estes são unificados e exibidos no relatório.
Apenas um registro com os dados daquele cpf é enviado para a base LDAP. Quando existem mais de uma base de dados a prioridade é enviar para o LDAP o registro que vem da base 1. Que deve ser a base com maior credibilidade.
Da mesma forma que com uma base, mas a prioridade para envio ao LDAP será do registro mais recente, considerado mais atualizado e por isso é o registro enviado para o LDAP.
As pessoas serão agrupadas e o registro mais recente será o enviado para a base LDAP. Os demais registros serão descartados e exibidos no relatório de pessoas duplicadas.
Apenas uma conta pode ser enviada para a base LDAP. Quando um usuário possui mais de uma conta o sistema irá escolher entre uma delas para ser enviada a base LDAP, e as demais serão descartadas e exibidas no relatório de pessoas com contas duplicadas. É possível definir via parâmetro do sistema qual conta é enviarda para a base LDAP, a conta mais recente ou a conta mais antiga. Está análise é feita a partir do ID da conta.
Os registros de pessoas que possuem CPFs inválidos são separados em uma lista de erros para serem exibidos para os usuários e não são exportados para a base LDAP até que o CPF esteja correto.
Os registros de email que são inválidos são separados em uma lista de erros para serem exibidos para os usuários e não são exportados para a base LDAP até que o email esteja correto.
Existe um Job específico que limpa todas as tabelas da base EID.
Através da configuração de parâmetros do job principal: full-job-atualizacao-diaria.
Parâmetro converter para base64.
Na configuração de parâmetros do job principal: full-job-atualizacao-diaria.
Acessar Browse Files/ Eid/Cafe/Visualização/Dashboards.
No momento de executar o job no PDI Cliente selecionar Executar no servidor na caixinha de execução.
Existe um Job específico que limpa todas as tabelas de log da base EID.
Na interface WEB do servidor Pentaho acessar o menu Administração/Users.
Verificar nos logs as linhas vermelhas: Elas mostram a causa do erro;
Verificar as conexões se estão todas corretas;
Verificar as Views se contém os dados e se os previews funcionam em todas.
Estes procedimentos devem ser executados em uma máquina diferente do servidor Pentaho, necessário uma máquina com interface gráfica, pode ser a máquina local do usuário.
Instalar Java JDK versão 8
Baixar o PDI( https://svn.cafe.rnp.br//arquivos/pdi-ce-9.0.0.0-423.zip )
Descompactar no diretório de preferência.
Setar variável JAVA_HOME e PENTAHO_JAVA_HOME com caminhos do JAVA JDK
Copiar o driver do Mysql disponível em https://svn.cafe.rnp.br/repos/CAFe/conf/shibboleth-idp/shib-v3/pdi-pentaho/mysql-connector-java-5.1.45-bin.jar para a seguinte pasta no cliente: pentaho/biclient/data-integration/lib
Baixar o driver correspondente a base de dados utilizada pela sua instituição (SQL Server, Oracle, Postgresql, etc) e disponibilizar na seguinte pasta no cliente PDI: pentaho/biclient/data-integration/lib
Executar o arquivo spoon.bat para iniciar o cliente PDI.
Instalar Java JDK 8:
2. Configuração da JAVA_HOME:
3. Criar diretório:
4. Baixar PDI e descompactar:
5. Copiar Driver Mysql para o cliente:
Baixar também o driver correspondente a base de dados utilizada pela sua instituição (SQL Server, Oracle, Postgresql, etc) e disponibilizar na seguinte pasta no cliente PDI: /opt/pentaho/biclient/data-integration/lib
6. inicializar o cliente PDI:
PDI - Pentaho Data Integration - Configuração da conexão com Pentaho BI Server
Clique em Connect (canto superior direito)
Clique em repository manager
Clique em ADD:
Clique Get Started:
Preencha
Display Name: EID-PDI Server
FINISH
Clique em Connect Now
Digite usuário, senha e clique em connect:
User: admin
Senha: password
Versão 8 PDI Cliente: https://svn.cafe.rnp.br/repos/CAFe/conf/shibboleth-idp/shib-v3/pdi-pentaho/pdi-ce-8.0.0.0-28.zip
Apenas para instituições que não utilizarão a VM
Esse roteiro apresenta o conjunto de ações necessárias para a configuração de um servidor Linux Ubuntu, 18.04 LTS, com os aplicativos necessários para o funcionamento do EID-PDI.
Os requisitos mínimos de hardware informados pelo fornecedor da Suite Pentaho 9.0 são os seguintes:
Processador: Intel EM64T ou AMD64 Dual-core
Memória RAM: 10 GB, com 8 GB dedicados ao Pentaho Server 8.0
Espaço em disco: 20 GB livres após a instalação.
Todavia, recomendamos como configuração ideal:
Processador: Para viabilizar processamento paralelo, recomendamos utilizar processadores com pelo menos 4 núcleos.
Memória RAM: 20 GB, com 10 GB dedicados ao Pentaho Server 9.0
Espaço em disco: 50 GB livres após a instalação.
3.1. Atualização do sistema operacional.
3.2. Instalação da máquina virtual Java - JDK (1.8).
3.3. Instalação do unzip.
3.4 Instalação do Pentaho 9.0
3.5 Copiar o driver JDBC do MySQL para os diretórios do Pentaho (* incluir os driver dos SGBDS: SQL Server, Oracle, Postgres)
ATENÇAO:
Certifique-se que na pasta /opt/pentaho-server/tomcat/lib/ não exista mais de uma versão do driver Mysql.
Se existir outro driver mysql em outra versão, como por exemplo, o mysql-connector-java-5.1.17-bin.jar ele deve ser apagado.
A versão correta do driver mysql que deve ficar na pasta é mysql-connector-java-5.1.45-bin.jar.
Ao atualizar o pentaho ou o driver é necessário testar se o driver novo é compatível com a versão. O Driver mysql-connector-java-5.1.17-bin.jar dá erro na execução dos jobs.
3.6. Instalação do plugin Saiku Analytics
3.7 Iniciar o serviço do Pentaho BI Server
3.8 Instalação do Pentaho Data Integration
3.9 Configuração do Servidor Pentaho BI Server
Acesse a o Pentaho BI Server, por meio de um browser, na URL http://localhost:8080, utilizando o usuário Admin e a senha password.
O primeiro passo será a criação do usuário e o perfil EID, conforme os passos abaixo:
Criar usuário EID:
a) Clicar no menu superior à esquerda: (Home v).
b) Selecionar opção Administration
c) Selecionar opção Manage Roles
d) Selecionar New role (+)
e) Digitar o nome EID e clicar em OK.
f) Marcar as permissões:
Schedule Content
Read Content
Publish Content
Create Content
Execute
Manage Data Sources
g) Selecionar a aba Manage Users:
h) Mantenha a tecla CTRL pressionada e selecione os usuários abaixo:
pat
suzy
tiffany
i) Preencher os dados do usuário EID, com a respectiva senha (na VM padrão: eidpdi) , e clicar em OK.
j) Selecione o usuário EID:
k) Selecione a Role EID e clique na sinal > :
l) Alterar a senha do usuário ADMIN, selecionando o usuário e clicando em EDIT Password.
m) Digite a nova senha no campo New Password. Repita a senha no campo Confirm Password. Digite a senha atual (cujo padrão é: password) no campo Administrator Password e clique em OK.
3.10 Acessar o PDI - Pentaho Data Integration
3.11 - Verificar se a conexão das bases com os dataSources no PDI estão configuradas corretamente tendo acesso a base Local Mysql, na interface Web do PDI.
3.12 Configurar o acesso ao repositório
a) Clique no menu superior à direita (Connect v) e selecione Repository Manager
b) Selecione ADD > Get Started e preencha:
Display Name: EID - Repositório CAFe
Selecione FINISH.
c) Clique no menu superior à direita (Connect v) e selecione EID - Repositório CAFe e digite o usuário EID e a respectiva senha. Clique em connect.
3.13 Importar transformações/Jobs/Relatórios EID-PDI para o Servidor Pentaho:
a) Acesse a VM Pentaho Server e via linha de comando baixe o arquivo abaixo e salve na pasta /opt/eid:
b) Execute o seguinte comando para importar as transformações e Jobs para o servidor Pentaho:
Acesse o cliente PDI e verifique se todos os Jobs, transformações e relatórios foram importados com sucesso.
É possível também fazer a importação das transformações via interface gráfica no Cliente PDI:
1) Clique na barra de menu TOOLS > Repositório > Import Repository
Selecione o arquivo que contém as ETLS e Jobs e clique em OK.
Na janela de confirmação para criação de regras, clique em Não.
selecione a pasta / e clique em ok.
Fazer backup das transformações/Jobs/Relatorios do PDI:
a) Acesse a VM Pentaho Server e via linha de comando execute:
O arquivo de backup será gerado em: /opt/eid/backup_eid_full.zip
"https://svn.cafe.rnp.br/repos/CAFe/conf/shibboleth-idp/shib-v3/pdi-pentaho/pdi-ce-8.0.0.0-28.zip" => cliente versao 8
"https://svn.cafe.rnp.br/repos/CAFe/conf/shibboleth-idp/shib-v3/pdi-pentaho/pentaho-server-ce-8.0.0.0-28.zip" => pentaho-server-ce-8.0.0.0-28.zip
| Página | Descrição |
|---|---|
Pentaho é um software de código aberto para inteligência empresarial, desenvolvido em Java. A solução cobre as tarefas de ETL (Extraction, Transformation and Load), reporting, OLAP e mineração de dados (data-mining). Desenvolvido desde 2004 pela Pentaho Corporation o software foi considerado uma das melhores aplicações para inteligência empresarial em 2008 pela InfoWorld.
Realiza análises de big data, trabalha nativamente com bancos de dados NoSQL e Hadoop, além de poder processar dados de forma distribuída nativamente em cluster, pode rodar sobre o Hadoop em cluster alcançando velocidades extremamente rápidas.
Vídeo explicando as principais funcionalidades implementadas no EID-PDI, bem como a organização de seus jobs e transformações.
Vídeo explicando a configuração dos parâmetros de execução dos jobs de atualização do EID-PDI.
Página com o detalhamento do modelo de dados utilizado no EID, incluindo a área de staging, dados, estatísticas e logs.
O EID PDI realiza a integração do cadastro de usuários das instituições que fazem parte da CAFe por meio da leitura de suas bases de dados e posterior sincronização com o servidor LDAP da comunidade.
A configuração padrão desse serviço realizar a integração das seguintes entidades:
Identificação
Conta
Aluno
Professor
Técnico
Para cada entidade listada acima, a instituição precisa disponibilizar uma VIEW no seu banco de dados com as seguintes características:
OBS. : Caso a sua instituição não deseje importar para a base LDAP os dados de alguma das Views como por exemplo Professor, a estrutura da View deve ser criada mesmo assim e deverá ficará vazia sem nenhum dado.
01. IDENTIFICAÇÂO
Nome da view: Pessoas
| Atributo | Descrição | Valor Padrão | Obrigarótio | Tipo |
|---|
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão"
02. CONTA
Nome da view: Conta
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão".
03. EMAIL
Nome da view: Email
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão".
04. ALUNO
Nome da view: Aluno
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão".
05. PROFESSOR
Nome da view: Professor
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão".
06. TÉCNICO
Nome da view: Tecnico
Todos os campos acima precisam existir na view. Caso a instituição não deseje informar os campos não obrigatórios, ainda assim deve criá-lo na view, com o seu conteúdo como definido na coluna "Valor Padrão".
Instruções para o preenchimento dos parâmetros dos Jobs utilizados no EID-PDI
OBS: Estes parâmetros precisam ser configurados nos seguintes jobs:
full-job-atualizacao-diaria
full-job-atualizacaoo-diaria-truncate
job-atualizacao-contas-intradia
Antes de executar estes jobs no PDI é necessário preencher os parâmetros obrigatórios.
Os parâmetros configuráveis nesta tela se dividem em :
Parâmetros para configuração de envio de email com alertas e erros na execução dos Jobs:
indicadorEnvioEmailAtivo - Quando informado com o valor "True" os alertas gerados serão enviados para o email configurado, caso configurado com o valor "False" nenhum email de alertas será enviado. Obrigatório.
AuthenticationPassword - Senha do usuário no servidor SMTP em texto plano.
pentahoAddress - Ip público e porta do servidor pentaho. Ex.: 138.121.71.89:8080 , necessário para enviar o link do relatório de inconsistências encontradas durante o processamento no email de alerta.
serverSMTPPort - Porta do servidor SMTP da Instituição. Ex.: 587
serverSMTPServer - Endereço do servidor SMTP da Instituição. Exemplo: smtp.rnp.br Estes parâmetros informados acima serão obrigatórios apenas se o parâmetro "indicadorEnvioEmailAtivo" for informado com o valor "True".
Parâmetros para conexão com a base LDAP:
host_address_ldap - Incluir o IP ou nome do servidor LDAP. Ex.: 138.121.71.89 ou ldap.rnp.br. (Obrigatório)
host_port_ldap - Incluir a porta do servidor LDAP. Ex.: 389 (Obrigatório)
raiz_base_ldap - Incluir a raiz do LDAP configurada no servidor. Ex.: dc=rnp,dc=br (Obrigatório)
admin_ldap - Usuário configurado na base Ldap com permissão de leitura e escrita na base. Ex: cn=admin,dc=rnp,dc=br (Obrigatório)
senha_admin_ldap - Senha em texto plano do usuário configurado no parâmetro "admin_ldap". (Obrigatório)
dominio_Instituicao - Incluir o domínio da instituição. Ex.: rnp.br, utilizado para gerar atributos escolados como "Eppn" por exemplo. (Obrigatório)
Parâmetro para escolher forma de unificação de Conta:
manterContaMaisRecente - Quando o PDI detecta mais de uma conta cadastrada para o mesmo usuário é necessário escolher apenas uma para ser enviada ao servidor LDAP. Ao preencher este parâmetro com "True" a conta mais recente será enviada ao LDAP, para detectar que a conta é mais recente o PDI verifica o ID do registro importado e compara qual é maior. No caso de mais de uma base de dados é possível também definir a prioridade pela base configurada como mais confiável, que no caso é sempre a primeira a ser importada com o campo "baseOrigem=1" . (Obrigatório)
Parâmetro para converter a senha para base64:
castToB64 - Em algumas situações, o hash SHA e MD5 das senhas é armazenado como uma sequência de caracteres hexadecimais nas bases institucionais. Para envio da senha para o LDAP via LDIF é necessário que esse hash esteja em base64. Ao informar este parâmetro como "True" um algoritmo é usado durante a importação dos dados para transformar o valor hexa em base64, de forma a preservar o hash original da senha no diretório. Caso a senha já esteja no formato base64, ou esteja em texto plano o parâmetro deve ser informado com o valor "false". (Obrigatório) É importante ressaltar que o campo algoritmoSenha, configurado na transformação de "Conta" deve estar preenchido corretamente:
SHA, para senhas com hash SHA
MD5, para senhas com hash MD5
CRYPT, para senhas crypt
vazio, para senhas em texto plano
i) Clique em excluir e confirme:
h) Clique em adicionar usuário :
| Atributo | Descrição | Valor Padrão | Obrigatório | Tipo |
|---|
| Atributo | Descrição | Valor Padrão | Obrigatório | Tipo |
|---|
| Atributo | Descrição | Valor Padrão | Obrigatório | Tipo |
|---|
| Atributo | Descrição | Valor Padrão | Obrigatório | Tipo |
|---|
| Atributo | Descrição | Valor Padrão | Obrigatório | Tipo |
|---|
AuthenticationUser - Usuário de autenticação no servidor SMTP, com endereço completo. Ex.:
destinationAddress - Email que receberá os alertas quando o PDI encontrar erros. Caso queira enviar para mais de um email , informar separados por vírgula. Ex.: , alerta2@cafe.rnp.br
senderAddress - Email que enviará as alertas. . Ex.:
Vídeo explicando as principais funcionalidades implementadas no EID-PDI, bem como a organização de seus jobs e transformações.
Vídeo explicando a configuração dos parâmetros de execução dos jobs de atualização do EID-PDI.
Página com o detalhamento do modelo de dados utilizado no EID, incluindo a área de staging, dados, estatísticas e logs.
Descreve os objetivos e as características dos Jobs e Transformações implementadas no EID-PDI.
Instruções para o preenchimento dos parâmetros dos Jobs utilizados no EID-PDI
Id | É a chave primária no cadastro de pessoas da instituição. | - | x | String |
Nome | Nome completo da pessoa. | - | x | String |
Sexo | Sexo da pessoa. Informar F ou M. | String vazia |
| String |
Nascimento | Data de nascimento da pessoa. | - | x | YYYY-MM-DD |
Documento | Número do documento de identificação da pessoa. | String vazia |
| String |
NomePai | Nome completo do pai da pessoa. | String vazia |
| String |
NomeMae | Nome completo da mãe da pessoa. | String vazia |
| String |
cpf | Número do cpf da pessoa, sem máscara, com o dígito. Ex.: 01234567890 | - | x | String |
Id | É a chave primária no cadastro de contas da instituição. | - | x | String |
Login | Login atribuído à conta. | - | x | String |
Senha | Senha da conta, em formato hexadecimal. | - | x | String |
AlgoritmoSenha | Algoritmo utilizado para encriptar a senha. Exemplo: SHA, MD5, CRYPT, etc... | Nulo apenas para senha em texto plano | x | String |
IDPessoa | É a chave estrangeira referente à pessoa portadora dessa conta. Deve ser validada no cadastro de Pessoas | - | x | String |
sambaNTPassword | É a senha no formato MSCHAPV2 para dispositivos IOS e Windows conseguirem acessar o Eduroam | Nulo |
| String |
sambaSID | Identificador único obrigatório para o esquema Samba. | Nulo |
| String |
Id | É a chave primária no cadastro de contas da instituição. | - | x | String |
Email válido para uma pessoa | - | x | String |
IDPessoa | É a chave estrangeira referente à pessoa portadora dessa conta. Deve ser validada no cadastro de Pessoas | - | x | String |
Id | É a chave primária no cadastro de contas da instituição. | - | x | String |
Nome_Curso | Descrição do curso do aluno. | - | x | String |
CodInepCapes_Curso | Código do curso do aluno no Inep. | String Vazia |
| String |
Nivel_Curso | Descrição do nível do curso do aluno. Ex.: Graduação, Mestrado, Etc. | String Vazia |
| String |
dataInicioVinculo | Data do início do vínculo com o curso. | - | x | YYYY-MM-DD |
dataFimVinculo | Data do fim do vínculo com o curso | Nulo |
| YYYY-MM-DD |
IDPessoa | É a chave estrangeira referente à pessoa portadora dessa conta. Deve ser validada no cadastro de Pessoas. | - | x | String |
Id | É a chave primária no cadastro de contas da instituição. | - | x | String |
siape | Matrícula do servidor no siape. | Nulo |
| String |
nível | Nível do professor. | String vazia |
| String |
titulacao | Titulação do professor. | String vazia |
| String |
dataInicioVinculo | Data do início do vínculo como Professor | - | x | YYYY-MM-DD |
dataFimVinculo | Data do fim do vínculo como Professor, caso o vínculo já tenha se encerrado | Nulo |
| YYYY-MM-DD |
IDPessoa | É a chave estrangeira referente à pessoa portadora dessa conta. Deve ser validada no cadastro de Pessoas. | - | x | String |
Id | É a chave primária no cadastro de contas da instituição. | - | x | String |
siape | Matrícula do servidor no siape. | Nulo |
| String |
nivelCapacitacao | Nível de capacitacao do técnico. | String vazia |
| String |
funcaoPrincipal | Função principal do técnico. | String vazia |
| String |
dataInicioVinculo | Data do início do vínculo como Técnico | - | x | YYYY-MM-DD |
dataFimVinculo | Data do fim do vínculo como técnico, caso o vínculo já tenha se encerrado. | Nulo |
| YYYY-MM-DD |
IDPessoa | É a chave estrangeira referente à pessoa portadora dessa conta. Deve ser validada no cadastro de Pessoas. | - | x | String |
O PDI (Pentaho Data Integration) pode rastrear versões e comentários de trabalhos, transformações e informações de conexão quando você os salvar.
Você pode ativar ou desativar o controle de versão e o rastreamento de comentários modificando suas instruções relacionadas no arquivo de texto repository.spring.properties.
Por padrão, o controle de versão e o rastreamento de comentários estão desativados (definido como falso).
Para ativar o de controle de versão do PDI:
1- Saia e feche do cliente PDI (também chamado de Spoon).
2- Pare o servidor Pentaho:
3- Abra o arquivo pentaho-server/pentaho-solution/system / repository.spring.properties. Para habilitar o controle de versão
edite a instrução versioningEnabled e defina-a como true.
versioningEnabled = true
Caso deseje também habilitar a opção de inserir comentários a cada arquivo modificado altere também a propriedade versionCommentsEnabled = true
versionCommentsEnabled = true
Se você deseja controle de versão, mas não rastreamento de comentários:
Edite a instrução versioningEnabled e defina-a como true.
Edite a instrução versionCommentsEnabled e defina-a como false.
versioningEnabled = true
versionCommentsEnabled = false
Salve e feche o arquivo.
Se você desativar o controle de versão, o rastreamento de comentários também será desativado.
4- Inicie o servidor Pentaho:
cd /opt/pentaho-server
./start-pentaho.sh
Verificando a opção de controle de versão ativada no PDI:
Inicie o PDI Client (também chamado de Spoon).
Verifique se o controle de versão está definido como pretendido.
Conecte-se ao Repositório Pentaho
No PDI Client, clique em Tools > Repository > Explore
Na janela Repository Explorer, clique na guia Browse e clique no nome de um arquivo:
Verifique se o controle de versão está ativado ou desativado:
Ativado - Você pode ver a guia Controle de acesso e a guia Histórico da versão está visível.
Desativado - Você pode ver a guia Controle de acesso, mas a guia Histórico de versões está oculta.
Verifique se o rastreamento de comentários está ativado ou desativado:
Ativado - a guia Histórico da versão é exibida com o campo Comentários. Quando você salva uma transformação, job ou informações de conexão, uma caixa para inserir um comentário é exibida.
Desativado - a guia Histórico da versão é exibida e o campo Comentário está oculto. Quando você salva informações de transformação, job ou conexão, não é mais necessário inserir um comentário. O controle de versão está ativo, mas sem exibir comentários.
Esta página visa auxiliar o cliente na localização dos relatórios do Pentaho Web
Os relatórios são usados para gerenciamento da base através do Pentaho, auxiliando na identificação de contas duplicadas, monitoramento de cadastro e agendamento dos Jobs.
O painel de relatório pode ser encontrado no caminho abaixo:
Home > eid > cafe > visualizacao > dashboards
Segue abaixo a imagem ilustrando a localização dos painéis de monitoramento:
Os relatórios a serem abertos são os de ícone azul, os demais são código fonte, e não devem ser abertos.
Para abrir o relatório, selecione-o e vá na opção "Open in a new window", conforme abaixo:
O relatório PainelPessoas.wcdf nos mostram os usuários que foram importados para a nova base, utilizando o Pentaho. Na listagem, é exibida as pessoas e seus vínculos.
Os relatórios são abertos em formas de Pop-Up, que podem acabar sendo bloqueadas pelo navegador.
O relatório a seguir nos mostra os Jobs que foram executados, resultados e se houve erro durante o processo.
Para abrir o relatório, selecione-o e vá na opção "Open in a new window", conforme abaixo:
Podemos verificar o histórico de Jobs executados, os concluídos e abortados. No exemplo abaixo, mostra que tivemos uma ocorrência, indicando que um usuário em específico não foi migrado devido a um erro de formato no e-mail. Neste caso, o e-mail possui um espaço.
O relatório a seguir, exibe as pessoas com o mesmo CPF na base.
Para abrir o relatório, selecione-o e vá na opção "Open in a new window", conforme abaixo:
No exemplo de base abaixo, não temos evidências de cadastros com CPF's duplicados. Mas caso exista na base do cliente, o Pentaho mostrará a lista na tela abaixo.
O relatório a seguir funciona de forma similar ao anterior, porém, o resultado nos trás as contas duplicadas na base.
Para abrir o relatório, selecione-o e vá na opção "Open in a new window", conforme abaixo:
No exemplo abaixo, a base não possui contas duplicadas. Mas caso exista na base do cliente, o Pentaho mostrará a lista na tela abaixo.
Esta página visa auxiliar o cliente no agendamento de jobs do Pentaho Web
O agendamento é efetuado para automatizar a execução de um Job em específico. No exemplo, utilizamos o full-job-atualizacao-diaria.
Segue abaixo o caminho dos Jobs:
Home > eid > cafe (selecionar o job no qual sera feito o agendamento)
Após selecionar o Job, vá na opção Schedule, aparecerá a imagem abaixo:
Marque a opção "Append timestamp to generated content", as opções abaixo irão aparecer:
o diretório /home/admin ficará salvo os logs dos agendamentos
Indo em "Next" será apresentada a tela abaixo:
Nela podemos escolher o tipo de recorrência na execução do Job.
Feita a escolha de agendamento, é só ir em "Next".
Os parâmetros foram definidos durante a configuração do Client Pentaho. O "Finish" encontra-se indisponível pois neste servidor já existe esse Schedule cadastrado, portanto o Pentaho nao permite cadastrar outro, apenas alterar o mesmo Schedule para evitar duplicata.
Para verificar os agendamentos, basta ir no caminho abaixo:
Browser Files > Schedules
Esta opção nos permite gerenciar os agendamentos configurados no servidor Pentaho.
Ao acessar o Client Web do Pentatho, a tela acima será exibida, solicitando login e senha.
Efetuado o login, entraremos na página inicial da aplicação, onde teremos algumas opções de gerenciamento.
Vá em Home > Administration
Dentro desta sessão, teremos o gerenciamento dos Usuários (criação), Roles e perfis do Pentaho Server, conforme imagem abaixo:
Gerenciamento de Roles:
Configuração do SMTP para envio de e-mail:
Configuração relacionada a remoção de arquivos antigos, como os logs gerados após so agendamentos nas execuções dos Jobs:
Efetue o download do Apache referente ao seu sistema operacional.
https://directory.apache.org/studio/downloads.html
Efetue a instalação do Java JDK 11:
https://svn.cafe.rnp.br/arquivos/jdk-11.0.18_windows-x64_bin.exe
O próximo passo será configurar o Java na variável de ambiente no Windows. Indo em Propriedades;
Selecione Configurações avançadas do sistema;
Selecione Variáveis de Ambiente...
Dois cliques na opção Path nas Variáveis do sistema;
Clique em Novo e cole o caminho da pasta Bin do Java, conforme imagem abaixo, e dê OK;
Clique em Next;
Clique em I Agree;
Clique em Install;
Clique em Next;
Clique em Finish.
Instalação finalizada.
-Log de execução de Jobs e Transformações:
Todo processo executado no PDI terá informações de saída relacionadas ao log do fluxo de trabalho. Isso fornece detalhes sobre o que está acontecendo durante a execução. Os logs podem ser monitorados através do cliente PDI ou da interface online do PDI via navegador: IP_SERVIDOR:8080
Aqui está uma lista de itens com os quais o log pode ajudar:
• Fornece informações relevantes sempre que uma execução do processo apresenta um erro, como etapas que estão falhando e rastreiam com a descrição principal do erro
• Fornece informações sobre um fluxo de trabalho se houver divisão de decisão
• Detecta gargalos e etapas de desempenho abaixo do padrão com base na duração de um procedimento; por exemplo, os tempos de execução armazenados podem ser usados para detectar se um processo está demorando mais do que habitual
• Mostra o status dos processos atualmente em execução. Os logs fornecem informações sobre quando o processo iniciado, onde está atualmente, e dados relacionados ao seu status.
• Rastreia o que foi feito e quando.
Durante a execução dos jobs e transformações no PDI Cliente conseguimos verificar o log de execução da ferramenta.
Neste log conseguimos visualizar os detalhes sobre a execução como tempo restante, número de registros, erros de conexão com as bases de origem ou destino, erros na transformação de dados, excessões, etc
Para acessar este log basta clicar no ícone de engrenagem disponível logo abaixo a tela de exibição do Job:
Existem 7 configurações possíveis para o detalhamento de logs no Spoon:
Nothing - O log está ativado, mas não registra nenhuma saída.
Error - Mostra apenas linhas de erro.
Minimal - Usa apenas o log mínimo. Fornece informações sobre o status dos fluxos de trabalho.
Basic- Recomendação: Use o nível de log Básico (padrão). Ele mostra informações relacionadas a cada etapa.
Detailed - Use isto para solução de problemas: fornece uma saída detalhada de login.
Debug- Uma saída detalhada para fins de depuração. O nível de log de depuração nunca deve ser usado em um ambiente de produção.
Row Level (Very Detailed) - Registrando em um detalhe no nível da linha. Isso gera uma enorme quantidade de dados de saída de log.
Recomendamos usar o log Basic que registra basicamente as informações mais importantes da execução do Job.
Já quando existem erros no processo o tipo Error pode ser útil para identificar o problema rapidamente, e o tipo Row Level para identificar a linha que gerou o erro.
- Log Tomcat e PDI Server
O PDI Server roda no servidor de aplicação Tomcat. O Tomcat possui logs próprios, desta forma quanto o PDI não está disponível o primeiro log que devemos verificar é o do Tomcat.
/opt/pentaho-server/tomcat/logs
Logs disponíveis:
Catalina.out - Loga a maioria dos erros que acontecem na administração da ferramenta WEB
localhost.log -
localhost_access_log.2020-07-31.txt - Logs de acesso
host-manager.2018-08-07.log
manager.data.log
pentaho.log - O log próprio do PDI Server (pentaho.log) também disponível na pasta pode ser consultado para verificar problemas na ferramenta.
- Log do cliente Spoon:
O Spoon (cliente utilizado para acessar o PDI Server) também possui um log onde é possível verificar problemas que impedem a ferramenta de funcionar. Este log fica localizado em: /opt/dataintegration/logs/spoon.log
-Práticas recomendadas para níveis de log:
Os níveis de log devem ser mais baixos em um ambiente de produção ou controle de qualidade, mas podem ser mais altos em um ambiente de desenvolvimento ou não de produção.
O nível de log de depuração nunca deve ser usado em um ambiente de produção.
Os níveis de log também podem ser especificados quando o processo é executado com o PDI Client ou qualquer outra ferramenta de linha de comando.
O desempenho do processo pode ser afetado se o nível de registro de log form muito detalhado. Isso também aumentara a quantidade de informações armazenadas no log.
- Relatório de Erros:
Acesso via IP:8080
Apache Directory Studio (ApacheDS) é uma ferramenta gráfica para manipulação de bases LDAP. O ApacheDS possui uma série de funcionalidade como por exemplo manipulação de entradas, atributos, arquivos LDIF, etc. Essa ferramenta é baseada na IDE Eclipse e possui versões para Linux, MacOS e Windows. O download pode ser feito através do seguinte link http://dire ctory.apache.org/studio/ Neste tutorial básico serão apresentadas algumas das funcionalidades básicas desta ferramenta que serão úteis para o projeto E-AA.
Para que o ApacheDS possa manipular um diretório LDAP deve-se inicialmente configurar o acesso a tal diretório na ferramenta. Para fazer tal configuração deve-se executar o seguinte roteiro:
Estando o ApacheDS em execução, clique em FILE > NEW. Expanda a o item LDAP Browser, selecione a opção LDAP Connection e clique em NEXT . A Figura 1 apresenta a tela descrita.
Tão logo a tela Network Parameter seja exibida informe um nome para esta conexão LDAP (campo Connection name), o endereço IP ou hostname do servidor LDAP (campo Hostname) e utilize os valores padrões para os campos porta (Port: 389) e método de encriptação (Encryption method: no encryption). A Figura 2 apresenta a tela descrita.
Uma vez preenchido os campos, clique sobre o botão Check Network Parameter a fim de verificar se existe conectividade entre o ApacheDS e o servidor LDAP. Se tudo ocorrer de forma adequada, será exibida uma tela conforma ilustrada na Figura 3. Clique sobre OK para fechar a tela e clique em NEXT na tela Network Parameter.
Na tela Authentication deverão ser preenchidos os campos relativos a autenticação no diretório LDAP. O método de autenticação deverá ser o padrão (Authentication Method: Simple Authentication), o Bind DN ou usuário deverá ser o administrador (i.e.: Bind DN or User: cn=admin,dc=cpd,dc=ufrgs,dc=br) já a senha deverá ser a senha do administrador informada durante a instalação do LDAP. A Figura 4 apresenta a tela descrita.
Uma vez preenchido os campos, clique sobre o botão Check Authentication a fim de verificar se existe a autenticação com o LDAP está correta. Se tudo ocorrer de forma adequada, será exibida uma tela conforma ilustrada na Figura 5. Clique sobre OK para fechar a tela e clique em NEXT na tela Au thentication.
Na tela Browser Options utilize os valores padrões e clique sobre NEXT. A Figura 6 apresenta a tela descrita.
Na tela Edit Options utilize os valores padrões e clique sobre FINISH. A Figura 7 apresenta a tela descrita.
Após seguir os passos anteriores a conexão ao Diretório LDAP estará configurada e será exibida uma tela conforma ilustrada na Figura 8.
Entradas são tidas como a unidade básica na qual uma informação é armazenada em um diretório. Entradas representam objetos do mundo real e são compostas por uma coleção de atributos. A seguir será apresentado como fazer a manipulação básica de entradas através do ApacheDS. Vale lembrar que para realizar as tarefas a seguir presume-se que o ApacheDS já possua uma conexão configurada e ativa junto ao diretório LDAP.
Para fazer a inserção de uma entrada, clique com o botão direito no mouse sobre algum item já existente no Diretório e selecione NEW > NEW ENTRY.
Na janela Entry Creation Method selecione a opção Create entry from scratch e clique sobre NEXT. A Figura 9 apresenta a ação descrita.
Na janela Object Classes selecione a(s) classe(s) de objeto(s) que irão compor a entrada. Para fazer a seleção, você deverá escolher um item presente na lista Avaliable Object Classes e depois clicar sobre Add. Feito isto, o referido item passará a compor a lista Selected Object Classes. Repita este processo até adicionar todas as classes de objetos necessárias. Clique sobre NEXT para avançar para próxima tela. A Figura 10 apresenta a tela descrita.
Na janela Distinguished Name deverá ser informado a entrada pai (Parent) bem como o RDN. Ao concluir a preenchimento desta janela clique em NEXT. Um exemplo desta configuração é apresentada na Figura 11.
Caso seja selecionada alguma classe de objeto que possua atributos de preenchimento obrigatório, estes serão exibidos na janela Attributes conforme ilustrado pela Figura 12. Para mudar o valor de algum atributo, clique sobre o campo Value na linha correspondente ao atributo em questão.
Caso algum destes atributos seja uma senha, será exibida a tela Password Editor (conforme ilustrado pela Figura 13). Preencha o campo Enter new password e selecione o método de Hash SHA. Após clique em OK.
Concluso o preenchimento dos atributos obrigatórios clique em FINISH.
Neste momento a entrada estará inserida no diretório LDAP.
A funcionalidade de renomear entrada é útil uma vez que se deseje alterar o nome de uma entrada já presente no diretório. O roteiro para renomear uma entrada é o seguinte:
Clique com o botão direito do mouse sobre a entrada e clique na opção Rename Entry.
Será exibida uma tela onde será possível alterar o RDN. Através desta alteração é que é possível renomear uma entrada. Altere o RDN para o novo nome da entrada e clique em OK. A Figura 14 apresenta a tela descrita.
Concluso este roteiro, a entrada estará renomeada.
A funcionalidade de exclusão de entrada é útil uma vez que se deseje excluir uma entrada presente no diretório. O roteiro para exclusão de uma entrada é o seguinte:
Clique com o botão direito do mouse sobre a entrada e clique na opção Delete Entry.
Será exibida uma tela solicitando a confirmação da exclusão e advertindo que eventuais entradas filho da entrada em questão também serão excluídas. Clique em OK para confirmar a exclusão. A Figura 15 apresenta a tela descrita.
Concluso este roteiro, a entrada estará excluída.
Atributos contêm as informações sobre um dado objeto. Todo atributo deve possuir um tipo e pode ser multi-valorado. A seguir será apresentado como fazer a manipulação básica de atributos através do ApacheDS. Vale lembrar que para realizar as tarefas a seguir presume-se que o ApacheDS já possua uma conexão configurada e ativa junto ao diretório LDAP.
Para fazer a inserção de um atributo, selecione a entrada a qual pertencerá o atributo e clique sobre o botão New Attribute conforme ilustrado na Figura 16.
Na janela Attribute Type selecione o tipo de atributo a ser inserido e clique em FINISH conforme ilustrado na Figura 17.
Ao retornar para a janela principal do ApacheDS, clique no campo VALUE e insira o valor do novo atributo conforme conforme ilustrado na Figura 18.
Concluso este roteiro, o atributo estará inserido.
A edição de um atributo presta-se a alterar as caracteristicas de um atributo já existente e pode ocorrer de duas formas distintas
Para editar o valor do atributo clique sobre uma entrada e depois clique sobre o campo VALUE do atributo em questão, conforme já exemplificado através da Figura 18.
Concluso este roteiro, o valor do atributo estará editado.
Para editar a descrição do atributo, ou seja, o tipo de atributo, clique com o botão direito do mouse sobre o atributo e clique na opção Edit Attribute Description.
Na janela Attribute Type selecione o novo tipo do atributo e depois clique em FINISH. Tal janela já foi ilustrada através da Figura 17.
Concluso este roteiro, a descrição do atributo estará editado.
A funcionalidade de exclusão de atributo é útil uma vez que se deseje excluir um atributo presente em uma entrada no diretório. O roteiro para exclusão de uma atributo é o seguinte:
Clique com o botão direito do mouse sobre o atributo e clique na opção Delete Value.
Será exibida uma tela solicitando a confirmação da exclusão. Clique em OK para confirmar a exclusão. A Figura 19 apresenta a tela descrita.
Concluso este roteiro, o atributo estará excluído.
LDIF é um formato de arquivo aceito pelo LDAP no qual pode ser descrito um conjunto de entradas ou sentenças de atualização. A seguir será apresentado como como executar LDIF já existentes através do ApacheDS.
Clique sobre o menu FILE > NEW
Expanda o item LDAP BROWSER, selecione o item LDIF FILE e clique em FINISH conforme ilustrado na Figura 20.
Feito isto, será exibida uma tela similar a da Figura 21.
Clique sobre BROWSE... para selecionar o conexão ao LDAP conforme ilustrado na Figura 22. Clique sobre a conexão desejada e depois clique em OK.
Na área de edição, insira o conteúdo do LDIF e posteriormente clique sobre o botão EXECUTE LDIF conforme ilustrado na Figura 23.
Se tudo ocorrer corretamente, o LDIF será executado e o diretório sofrerá as modificações que constam no LDIF. No caso deste exemplo o LDIF prestava-se a inserção de uma entrada chamada ou=people. Como pode ser visto, a inserção de tal entrada ocorreu perfeitamente e pode ser visualizada na Figura 24.
