Documentação e tutoriais

Introdução

Este material foi desenvolvido para fornecer diretrizes sobre o uso adequado e o tratamento eficaz de dados estratégicos na Prefeitura de Belo Horizonte (PBH), com foco nos serviços e tecnologias de análise e gestão de dados oferecidos pela Prodabel. O material aborda as práticas recomendadas para a geração e utilização de dados, detalhando desde as fontes de dados transacionais até o uso de tecnologias avançadas, como Business Intelligence (BI), Data Marts (DMs), e ferramentas de análise como Power BI, SAP Business Objects e QlikSense.

A importância da organização e do tratamento eficiente dos dados é fundamental para apoiar a tomada de decisões gerenciais, garantir a integração e a qualidade das informações e facilitar a criação de relatórios e painéis de controle. Este guia também explica os fluxos de solicitação para serviços estratégicos, como a criação de novos Data Marts, alterações em bases de dados existentes, e a capacitação dos usuários nas ferramentas de acesso e análise de dados.

Além disso, o material ressalta a infraestrutura robusta de processamento e armazenamento, com ambientes dedicados para desenvolvimento, homologação e produção, garantindo um funcionamento contínuo e seguro. A relevância desse processo é destacada pela integração de dados de diversas áreas da PBH, que contribuem para a geração de insights valiosos e para a eficiência dos serviços públicos prestados à população.

Por fim, o material também oferece orientações sobre como solicitar consultoria, capacitação e novos serviços relacionados ao tratamento de dados, assegurando que todos os departamentos da PBH tenham o suporte necessário para a gestão eficiente da informação estratégica.

Glossário

BI – Business Intelligence (Inteligência de Negócio) é um conjunto de técnicas e conceitos. Esse processo passa por coleta, organização e análise dos dados, elaboração de relatórios ou dashboards e todo o acompanhamento, possibilitando a tomada de decisão inteligente utilizando dados passados.

Ciência de Dados - É um subconjunto da inteligência artificial (IA) e se refere mais às áreas sobrepostas de estatísticas, métodos científicos e análise de dados - todas as quais são usadas para extrair significado e percepções dos dados.

DM - Data Marts (DMs) são divisões do armazém de dados em partes menores (por assunto) que facilitam o desenvolvimento. São organizados de acordo com a relevância dos assuntos no ambiente estudado, no caso a PBH.

DW – Data warehouse (DW) é, literalmente, um armazém de dados que fica disponível para os usuários e é mantido independente dos sistemas transacionais. Contêm dados extraídos periodicamente desses sistemas, porém selecionados e integrados para o processamento analítico de consultas para apoio às decisões gerenciais. Os dados são armazenados em um banco de dados próprio (no ambiente estratégico da Prodabel / PBH) e ferramentas são utilizadas pelos usuários para acessarem os dados.

ETL – Ferramentas ETL (extração, transformação e carregamento)- As ferramentas ETL são utilizadas nos processos de reunir dados das diversas origens, independente de sua forma e localização, transformá-los e carregá-los em um determinado banco de dados de saída.

GINDA – Gerência de Inteligência de Dados / Prodabel – É a área da Prodabel responsável por assuntos relativos à BI / DW / ETL / OLAP / Ciência de Dados.

GR – Gerentes de relacionamento da Prodabel que realizam o relacionamento entre o corpo técnico da empresa e os usuários da Prefeitura de Belo Horizonte (PBH) com o objetivo de oferecer soluções para as demandas da administração pública.

OLAP – Ferramentas OLAP (do inglês, Online Analytical Processing) - As ferramentas OLAP são capazes de navegar pelos dados de uma base, possuindo uma estrutura adequada tanto para a realização de pesquisas como para a apresentação de informações. Referem-se ao processo de organização, análise, compartilhamento e monitoramento de informações utilizadas pelos gestores em qualquer nível da organização, para apoio à tomada de decisão empresarial.

Arquitetura do ambiente estratégico existente na Prodabel / PBH

Arquitetura do Data Lake

Implement medallion lakehouse architecture in Fabric - Microsoft Fabric | Microsoft Learn

Fontes de dados: são os dados que dão origem ao DM ou Base corporativa. Normalmente - provenientes de sistemas transacionais e que devem ser extraídos e carregados na Área de Transporte de Dados (Área Intermediária ou Stage ). Fontes de dados estruturadas de outras formas e dados de fontes externas à empresa também podem vir a ser considerados.

Área de Transporte de Dados ou Stage: é uma área de armazenamento e um conjunto de processos que limpa, transforma, combina, armazena e prepara os dados extraídos para serem carregados no ambiente estratégico. Os processos são implementados na área de transporte de dados utilizando-se de ferramentas ETL (Extract, Transform and Load ) e de sistemas gerenciadores de bancos de dados (SGBD). A compatibilização dos novos dados carregados com os dados já armazenados na Stage é planejada no caso de DMs para tentar garantir a sua integração. É fundamental a participação dos analistas dos sistemas transacionais envolvidos.

Ferramentas de acesso (BUSINESS OBJECTS , POWER BI, QLIK SENSE): as ferramentas de acesso são aquelas que possibilitam ao usuário final explorar o DM ou a Base corporativa. Incluem ferramentas de consultas ad hoc, geradores de relatório, aplicações para usuários finais que acessem os dados, ferramentas OLAP e ferramentas de busca de dados (data mining). Para que se complete a definição da arquitetura tecnológica, deve-se selecionar, dentre as diversas ferramentas disponíveis, aquelas mais adequadas para a realidade em questão.

Infraestrutura

Para o perfeito funcionamento do ambiente estratégico, são necessários os seguintes ambientes:

Ambiente de carga em desenvolvimento: neste são construídos, configurados e testados os mapeamentos/programas que extraem, transformam e carregam os dados dos DMs e Bases corporativas que estão sendo desenvolvidos.

Ambiente de carga em homologação: neste o usuário fará os testes dos dados carregados e o cliente validará o DM ou Base corporativa antes de ir para produção.

Ambiente de carga em produção: nele são feitas cargas periódicas do DM ou Base corporativa que já foi homologado e passa para o ambiente de produção. Esses processos de carga são demorados e trabalhosos, portanto são feitos em um ambiente separado sem prejudicar o acesso do usuário aos dados atualizados na última carga.

Ambiente de acesso em produção : o usuário possui acesso direto ou indiretamente neste ambiente aos dados para alimentar seus relatórios e painéis( 24 x 7).

Ambiente para o servidor OLAP: o usuário possui acesso diretamente neste ambiente via internet para a criação dos seus relatórios e painéis ( 24 x 7).

Ambiente para prospecção de ferramentas.

Com o desenvolvimento de novos DM´s e bases tornam-se necessários o redimensionamento de hardware e software para executar o projeto, assim como a descrição detalhada da equipe necessária e respectivas funções, para a operação, administração e manutenção de todo o ambiente.

Um DM ou Base corporativa, após implantado, requer uma infraestrutura composta por equipamentos, software e pessoal qualificado para sua operação. A execução de serviços batch, tais como classificação, transformação e carga de dados fazem parte dessa operação. Os recursos para estas atividades são fundamentais para sua continuidade.

Ferramentas utilizadas e/ou recomendadas

Ferramentas do catálogo e versões

Microsoft Fabric: Uma Plataforma de Dados Integrada

O Microsoft Fabric é uma plataforma unificada de análise de dados que integra diversas ferramentas e serviços para facilitar a gestão e o processamento de informações. Projetada para atender as necessidades de empresas em transformação digital, o Fabric combina funcionalidades de armazenamento, integração, análise e visualização de dados em um único ambiente, permitindo que organizações de todos os tamanhos construam soluções de dados de forma mais eficiente.

Principais Recursos:

Armazenamento de Dados: O Fabric oferece uma infraestrutura escalável para armazenar grandes volumes de dados, garantindo segurança e alta disponibilidade.
Integração de Dados: Com suporte para uma variedade de fontes de dados, a plataforma facilita a extração, transformação e carregamento (ETL) de dados, permitindo que os usuários consolidem informações de diferentes sistemas.
Análise Avançada: Através de ferramentas de inteligência artificial e machine learning, os usuários podem realizar análises preditivas e descritivas, extraindo insights valiosos para a tomada de decisões.
Visualização de Dados: O Fabric integra-se a soluções de visualização, como o Power BI, permitindo que os usuários criem dashboards interativos e relatórios visuais de maneira intuitiva.
Governança de Dados: A plataforma prioriza a segurança e a conformidade, fornecendo recursos de governança para garantir que os dados sejam utilizados de maneira ética e em conformidade com as regulamentações.

O Microsoft Fabric é uma solução abrangente que não apenas simplifica o processo de gerenciamento de dados, mas também empodera as organizações a inovar e melhorar sua agilidade operacional, promovendo uma cultura de dados orientada por insights.

Banco de Dados – Oracle Exadata 19C

Administrado pela equipe técnica da Prodabel que disponibiliza o suporte de primeiro nível através de equipe própria e suporte avançado e as atualizações do software realizadas através do fornecedor externo.

Ferramenta ETL – Informatica PowerCenter 10.5.2

Solução OLAP / Painéis - SAP Business Objects 4.1 / MS Power BI e QlikSense

Link para o catálogo de tecnologias da PBH

Ferramentas fora do catálogo

Ferramentas que estão fora do catálogo de tecnologia da PBH (pagas ou gratuitas), podem ter servidores hospedados no datacenter da Prodabel, mediante negociação com a área responsável e no sistema de autogestão pela área solicitante (colocation). A Prodabel realiza a hospedagem, mas não realiza o suporte, evolução e atendimentos de incidentes da solução.

Fluxo para Aquisição do Power BI PRO

1. Informações sobre a ata:
As informações sobre a ata podem ser obtidas no seguinte link: Ato 431730.

2. Licenças necessárias:
As licenças deverão ser adquiridas apenas para os usuários que irão desenvolver os relatórios Power BI. Para aqueles que apenas consultarão os relatórios, não é necessária a licença.

3. Contato com a SASI:
Entre em contato com a SASI por meio da abertura de um chamado no SDM. Utilize a árvore de serviço abaixo para identificar a licença a ser adquirida:

Serviços de Tecnologia e Informação
- Sistemas de Informação
  - Inteligência de Dados
    - Suporte ao Usuário em Ferramentas de Tratamento e Análise de Dados

4. Submissão da requisição de compra:
Submeta a requisição de compra da licença para o GTTIC.

5. Aprovação do GTTIC:
Após a aprovação pelo GTTIC, envie um e-mail com um ofício para a Gerência de Licitações e Contratos (endereços: matheus.marcus@pbh.gov.br e jose.mauriciofaria@pbh.gov.br) informando a quantidade de itens que pretende adquirir, a fim de verificar se há saldo na ARP.

6. Providência do contrato:
Providencie o contrato diretamente com o fornecedor da ata. O custo das licenças será arcado pelo órgão contratante.

7. Orientação pós-contrato:
Após a assinatura do contrato, entre em contato com a Gerente de Relacionamento para receber orientações sobre os próximos passos.

Formato das bases existentes no ambiente estratégico da Prodabel / PBH

Data Lake
É um repositório de armazenamento que permite armazenar uma grande quantidade de dados em seu formato bruto e original, seja estruturado, semiestruturado ou não estruturado. Ele é projetado para acomodar dados de diversas fontes, como logs de servidores, dados de redes sociais, arquivos de texto, imagens e muito mais, sem a necessidade de um esquema rígido. Isso oferece flexibilidade e escalabilidade para análise avançada e aprendizado de máquina. Os usuários podem explorar e processar esses dados conforme necessário, utilizando ferramentas de Big Data e análise.

Data Marts
Como já explicado no glossário, os DMs são repositórios de dados criados através de rotinas de extração, transformação e carga de dados automatizadas que acessam as bases dos sistemas transacionais e carregam os modelos de dados do ambiente estratégico que podem ser acessados por diversas ferramentas de pesquisa. Os modelos, neste caso modelos dimensionais, são estruturados e planejados de acordo com o assunto do DM pensando-se em segurança, integração, padronização de tabelas e campos e desempenho no acesso aos dados.

Bases Corporativas
Bases corporativas (consolidadas/estratégicas) - não se tem a preocupação de modelos dimensionais e nem a integração entre as bases. São criadas “ilhas” de dados para atender cada demanda específica. Da mesma forma que os DMs são carregados no ambiente estratégico e podem ser acessados por diversas ferramentas de pesquisa.
A geração das Bases corporativas geralmente é feita pelos analistas dos sistemas transacionais fonte, muitas vezes são disponibilizadas através de views carregadas na periodicidade definida. O analista de sistemas gera os dados de acordo com a necessidade e com as lógicas embutidas nos sistemas existentes. Geralmente não é simplesmente importar tabelas do transacional e carregá-las no ambiente estratégico pois corre-se o risco de produto cartesiano e o usuário teria que conhecer o relacionamento entre tabelas dos sistemas.
Outra forma de gerar a Base corporativa são os espelhos do sistema de origem, é só um repositório de dados com os mesmos nomes de tabelas e campos dos sistemas transacionais, não são importadas todas as tabelas, somente aquelas necessárias e os campos necessários de cada tabela, não tem mudança de padronização, usa a padronização do sistema. Quem usa esta base tem que conhecer os campos, o que aconteceu de de-para durante os anos, o relacionamento entre as tabelas e muitas vezes depende do conhecimento e apoio do analista do sistema.

Pré Requisitos para se ter um Data Lake, DM ou uma Base Corporativa

Existência da informação: Um DM ou Base corporativa não produz dados, bem como não se trata de um desenvolvimento de um sistema. O dado tem que existir de forma estruturada em alguma base, de preferência em algum banco de dados referenciado no catálogo de tecnologias.O sistema transacional que trata a base em questão tem que já existir e estar implantado. A base deste sistema já deve estar madura o suficiente para se extrair as informações. Pontos importantes para se ter uma base de dados de qualidade: existência de dados históricos (que sejam comparáveis ao longo do tempo), dados estáveis, acessíveis e com perspectiva de atualização e duração de suas fontes. Especial atenção deve ser dada a fontes de dados que estejam sendo substituídas. A substituição das fontes de dados significa retrabalho, especialmente na fase mais longa do projeto, que é a extração, transformação e carga dos dados.A princípio, planilhas e relatórios não são considerados fonte de dados estruturadas.

Para se construir um DM ou uma Base Corporativa tem que se ter a participação do analista do sistema transacional fonte que conheça a base de dados do sistema, como ela foi construída e como foi estruturada.

Lista de DMs e Bases Corporativas disponíveis no ambiente estratégico da Prodabel / PBH

Data Marts (DMs)

Identificador	Data Mart	Resumo
1	Data Mart Atendimentos	Disponibiliza base de dados estratégica sobre os serviços solicitados pelo cidadão através dos seguintes canais: presencial, por telefone, internet e mobile que são registrados no sistema Sac Web, SIGESP e TAG.
2	Data Mart Belotur Eventos	Disponibiliza a base de dados do sistema de Eventos da PBH para a montagem de indicadores.
3	Data Mart BHISS NFSE (em desenvolvimento)	Disponibiliza a base de dados do SIAFIS sobre as Notas Fiscais Eletrônicas.
4	Data Mart BHTRANS - Rotativo	Disponibiliza base de dados estratégica sobre o sistema Rotativo Digital.
5	Data Mart BHTrans - Observatório da Mobilidade Urbana	Desenvolvimento de Projeto de Informática para a Criação de um Sistema de Informações Abrangentes sobre Transporte e Desenvolvimento Urbano - Observatório da Mobilidade Urbana, em Belo Horizonte (MG).
6	Data Mart Censo Educação (Desativado)	Disponibiliza base de dados estratégica com informações da SMED vindas do sistema SGE e do histórico estatístico anterior ao SGE.
7	Data Mart ChatBot	Disponibiliza base de dados estratégica do assistente virtual do site da PBH (pbh.gov.br).
8	Data Mart Cultura	Disponibiliza base de dados estratégica do sistema SMAPP, responsável pelo monitoramento dos projeto e serviços/atividades geridos pela secretaria de Cultura - PBH.
9	Data Mart Dívida Ativa	Disponibiliza base de dados estratégica sobre estoque de lançamentos em dívida ativa, estoque de parcelamentos e informações de crédito dos lançamentos e crédito das guias.
10	Data Mart Execução de Despesas	Disponibiliza base de dados estratégica da despesa pública da administração direta e de empresas, cujos gastos sejam controlados pelo sistema SOF (Sistema Orçamentário, Financeiro e Contábil da PBH).
11	Data Mart Fiscalização	Disponibiliza base de dados estratégica do sistema SIF para produção de indicadores de desempenho e para planejamento das ações de fiscalização, em conformidade com as diretrizes estratégicas de Governo
12	Data Mart Opus	Disponibiliza base de dados estratégica com informações para controle da execução dos processos (documentos) tramitados pela Prefeitura.
13	Data Mart PBHAPP	Disponibiliza base de dados estratégica do aplicativo PBHAPP referente a avaliação do transporte coletivo .
14	Data Mart PPAG / LOA	Disponibiliza base de dados estratégica do Plano Plurianual de Ação Governamental e da Lei Orçamentária Anual através de informações originadas do SOF (Sistema Orçamentário, Financeiro e Contábil da PBH).
15	Data Mart Saúde - Atendimentos (em desenvolvimento)	Disponibiliza a base de dados sobre os atendimentos da secretaria de saúde para montagem de indicadores para painéis do Power BI.
16	Data Mart Saúde - Visitas ACS	Disponibiliza base de dados estratégica do sistema E-SUS sobre visitas domiciliares dos profissionais de saúde.
17	Data Mart Tributos Imobiliários	Disponibiliza base de dados estratégica sobre o cadastro de imóveis de BH, sobre o IPTU (Imposto Predial e Territorial Urbano) e diversas taxas imobiliárias além de informações sobre ITBI (Imposto sobre a Transmissão de Bens Imóveis).