Usando Dataflows e Datasets (Conjuntos de Dados) para manter a Governança

Leonardo Karpinski

Leonardo Karpinski

Mestre do Power BI, criador do Curso Express de Power BI e Curso Completo de Power BI. Formou mais de 16 mil alunos nos últimos anos e participou de projetos em grandes empresas nacionais e multinacionais.

E aí, tudo bem? Deixa eu fazer mais algumas perguntas…

A empresa onde você trabalha é considerada “data driven”? Ou seja, toda e qualquer decisão tomada é baseada em dados? A área de negócios é alinhada com a área de TI? Você descobriu recentemente que sua empresa vai migrar para o Power BI e acha que todos os problemas acabarão simplesmente mantendo os mesmos processos mas trocando de ferramenta?

O Power BI nasceu como uma ferramenta de Self-Service BI destinada a usuários de negócio construírem seus relatórios com mais facilidade. E o PBI é realmente muito bom para isso mesmo, ele é excelente!

Porém, ele foi evoluindo cada vez mais e hoje já é a principal ferramenta para BI Corporativo também, onde temos relatórios complexos, cheios de cruzamentos de dados de diferentes locais, etc. Neste caso geralmente é preciso uma equipe de TI ou de BI para manter a governança adequada das informações.

Isso porque como o Power BI é muito flexível e você pode fazer diversas coisas erradas sem saber que está errado, é importantíssimo saber como construir um bom modelo de dados se você for partir para criação de relatórios mais elaborados. O que eu tenho visto é que a maior dificuldade para se conseguir isso não está relacionado à conhecimento ou tecnologia.

O maior problema está na cultura da empresa, no momento de mudar de uma empresa tradicional para se tornar se tornar uma empresa Data Driven (guiada por dados).

E isso fica muito claro pra mim quando visito uma empresa para dar treinamento e percebo que há uma falta de alinhamento e sintonia entre as áreas de negócio e a TI da empresa. Muitas vezes as áreas de negócio me contratam diretamente sem o conhecimento da TI ou sem que ela esteja participando ativamente do processo.

Isso não quer dizer que o projeto da área em começar a usar PBI não irá funcionar. Pode funcionar sim porém, pode ser que ela não esteja extraindo o máximo de valor que a ferramenta oferece, pois ela oferece mais que visuais atrativos.

Muita gente mantem os mesmos processos e só troca a ferramenta. Durante a mudança de ferramenta nós estamos com uma baita oportunidade de repensar todo o processo, as atribuições e obrigações de cada um.

Não é somente uma mudança de ferramenta, é uma mudança de cultura.

O PBI é mais que uma ferramenta para construir relatórios mais rapidamente. Ele deve ser encarado como um aliado que vai te possibilitar melhorar a área, melhorar seu trabalho, ter menos perdas, otimizar processos, etc.

Você tem que usar ele para conseguir tomar decisões também, não somente para ficar vendo o número passando na sua frente.

Só que pra isso você precisa tomar alguns cuidados:

  • Pode ser que seja necessário remodelar seus dados;
  • Precisa entender que o Power BI trabalha diferente em relação ao Excel;
  • Precisa perceber que você consegue fazer coisas diferentes em relação ao Excel. Então quando alguém fala: “eu quero ver da mesma forma que eu vejo hoje no Excel” já está começando errado!

As empresas que querem mudar sua cultura e tornarem-se Data Driven como um todo, precisam antes de mais nada alinhar os objetivos internos e ter todo mundo na mesma pegada. É fácil isso? Óbvio que não, senão todas as empresas já teriam feito.

Há várias coisas que podem ser feitas para incentivar uma cultura de dados:

– Dar mais poder às pessoas

– Definir papéis e responsabilidades

– Criar um centro de excelência

– Fornecer treinamentos e possui manual de boas práticas

– Incentivar Power Users na empresa

– Dar acesso aos dados de forma correta aos usuários

– Monitorar o uso dos relatórios e dar constantes feedbacks às áreas. Para isso pode-se usar scripts Powershell voltados à administração.

– Etc

A mudança de cultura é a tarefa mais difícil nisso tudo e que vai exigir muito esforço, até mesmo porque as pessoas não gostam de mudança.

Quando falamos de Governança muita gente pensa em perda de autonomia e processos engessados. Mas quando começamos um projeto de BI de qualquer jeito, estamos cavando nossa própria cova.

Tipos de abordagens para implementação do Power BI

Se você entrar nesse link, verá essa figura aqui mostrando os tipos de abordagens para implementação do Power BI numa empresa:

Basicamente ela mostra três tipos de implementação do Power BI. O primeiro é quando os próprios usuários de negócio fazem tudo: conectam-se na base, criam os relatórios, publicam etc. Eles têm mais envolvimento e controle do processo. Geralmente incorporam muitas fontes de dados não padronizadas e não se preocupam com governança.

A terceira opção que mostra na figura é quando a TI que faz tudo. Ou seja, os usuários de negócio precisam da TI desde a extração dos dados até a publicação do relatório. Esse tipo de implementação, em geral, requer um time de TI dedicado.

A segunda opção, representa o melhor cenário: trabalho colaborativo. É quando os usuários de negócios usam o Power BI como uma camada de relatórios sobre um Data warehouse corporativo controlado e padronizado preparado pela área da TI.

Outra referência bem bacana que encontrei é esta daqui. É um excelente material com diferentes opções de arquitetura. Não deixe de dar uma olhada.

Bom, agora vamos para a mão na massa!

Compartilhando o conjunto de dados (datasets)

Finjam que sou da área de TI… Vou simular a criação de um conjunto de dados e compartilhamento desse conjunto de dados com a área de negócio (que pertence a outro Workspace).

Vou abrir o PBI Desktop e me conectar no SQL Server. Importei duas tabelas do banco, criei uma medida simples com a soma de vendas e salvei o arquivo .pbix com nome “Modelo”. Não iremos fazer mais nada além disso, beleza?

Para publicar você precisará logar na conta do Power BI. Em seguida aparecerá uma janela para escolher o Workspace. Veja que selecionei Cursos Power BI:

Figura 1: Publicando o modelo no Power BI Online

Depois, se formos no site https://app.powerbi.com/ e realizarmos o login, conseguiremos encontrar tanto o relatório quanto o conjunto de dados que salvamos. Cliquei em WorkspaceCursos Power BI:

Figura 2: Visualizando o que foi publicado (relatório e conjunto de dados)

Note que ao realizar essas etapas, os usuários desse Workspace (Cursos Power BI) automaticamente terão acesso ao que foi compartilhado.

Como não precisaremos do relatório, podemos excluí-lo clicando naqueles “três pontinhos” que aparece quando passamos o ponteiro do mouse em cima.

Agora, vamos adicionar outro usuário que está fora desse Workspace para que ele também tenha acesso ao conjunto de dados. Basta clicar nos “três pontinhos” do Conjunto de dados chamado Modelo e depois em Gerenciar permissões.

Figura 3: Compartilhando modelo com novo usuário

Na nova página, selecione Adicionar usuário e escreva o e-mail desse usuário.

Se abrirmos um novo arquivo Power BI (deslogando da conta que compartilhou o modelo) e logarmos no usuário que acabamos de dar permissão, conseguiremos criar um relatório utilizando o conjunto de dados compartilhado. Para isso, basta ir em HomePower BI Datasets:

Figura 4: Acessando o modelo compartilhado

Importante:
O usuário deve ser PRO para acessar o conjunto de dados compartilhado por um usuário PRO.

Esse usuário então será capaz de criar um relatório com base nesse conjunto de dados (com todas as tabelas, relacionamentos e medidas já existentes) e adicionar suas próprias medidas. Porém, não será possível adicionar tabelas novas de outras fontes, por exemplo.

Em novembro será possível realizar isso através do “Composite Models”. Há um detalhamento maior o que será possível fazer aqui. Aguardem!

Continuando… Vamos supor então que a área de negócio tenha adicionado os visuais e medidas e, por fim, tenha compartilhado o relatório.

Lá no Power BI Online, conseguiremos ver de onde veio o conjunto de dados clicando em ExibiçãoLinhagem.

Figura 5: Exibindo linhagem

Repare que o Workspace que originou o Conjunto de dados que estamos utilizando no relatório aparecerá na caixinha “Modelo” em azul.

Dataflows

Digamos que o cenário da sua empresa exija que os usuários de negócio precisem ter acesso a fonte dos dados para poder realizar transformações no Power Query, por exemplo. Mas a TI não pode disponibilizar acesso ao Banco de dados.

Nesse caso, você poderia recorrer aos Dataflows. Eles podem ser definidos como “Data Warehouses” que você cria no Power BI Online. Poderíamos fazer a seguinte analogia:

Figura 6: Processo de BI utilizando dataflows

Antes de prosseguir, verifique se você está com seu Gateway configurado, beleza? Para checar, clique no botão com uma engrenagem no canto direito e selecione Gerenciar gateways. Se não tiver, configure-o!

Figura 9: Gerenciar gateway

Digamos que eu ainda sou da TI e preciso criar dataflows para permitir acesso aos usuários de negócios à base de dados mas sem precisar dar acesso ao banco. Para fazer isso, devemos voltar no Power BI Online, no Workspace de desenvolvimento da TI, e clicar em NovoFluxo de dados (dataflows):

Figura 7: Criando um fluxo de dados

Clique também em Adicionar novas entidades:

Figura 8: Adicionando novas entidades no fluxo de dados

Ao selecionar Banco de dados do SQL Server, a pagina atualizará para que você insira as informações do banco (login no banco):

Figura 9: Conexão ao banco de dados SQL Server

Você precisa inserir as informações do banco que precisa se conectar aqui:

Figura 10: Configurações de conexão

Após isso, basta selecionar as tabelas que você desejar e pronto! Você verá aquela janela do Power Query no seu navegador:

Figura 11: Power Query online

Depois de realizar as transformações, basta salvar e fechar. Aparecerá uma janela para você dar um nome ao seu conjunto de dados (dataflow).

Durante a live#39, salvei esse fluxo de dados como TabelasDW e logo em seguida cliquei em Atualizar agora:

Figura 12: Atualizando Dataflow

Repare que agora, quando você abrir o Power BI Desktop, clicar em Get DataPower BI Dataflows, você verá um botão “Transform data”, ou seja, você conseguirá realizar transformações na base de dados à vontade sem que interfira para outros usuários que utilizarem o mesmo conjunto de dados. Irado, né?!

Veja:

Figura 13: Conectando ao Dataflow

O que te mostrei foi:

  1. Ao se conectar a um Dataset, você não conseguirá transformar os dados (exemplo: “Modelo”)
  2. Ao se conectar a um Dataflow, você conseguirá transformar os dados. O Dataflow funciona como se fosse um Data Warehouse (exemplo: “TabelasDW”)

Para disponibilizar esse Dataflow para outros usuários, basta você adicioná-los ao seu Workspace lá no Power BI Online. Basta clicar em Acessar e adicionar os novos usuários:

Figura 14: Adicionando usuários no Workspace

Então, acredito que uma arquitetura sustentável seria assim:

Figura 15: Arquitetura sugerida

Dica:
Se você utilizou um Dataflow num Dataset, lembre-se de primeiro atualizar o dataflow e depois o dataset quando agendar as atualizações automáticas, beleza?

Veja como ficou o nosso fluxo de dados:

Figura 16: Fluxo de dados

Repare no quanto essas funcionalidades podem ajudar a sua empresa a ter um processo de dados bem definido, estruturado… E principalmente, a economia de horas gerada porque não mais precisam duplicar informações ou depender da área de TI para atualizar dados ou acessos para que cada área utilize fontes de dados em comum… Aproveitem!!!

Ah, durante a nossa live, mostrei uma palhinha de como ficaram os Guias de implementação do Power BI desenvolvidos pelos times que passaram para a segunda fase do 1º Bootcamp de Power BI. Se tiverem curiosidade de ver um resumo de como ficaram os projetos da galera acessem os vídeos aqui e para entrar em contato com os times acesse esse link. Confesso que fiquei bem surpreso com a qualidade dos materiais! A galera arrebentou!

Bom, fico por aqui! Qualquer dúvida ou sugestão de temas para as próximas lives, comente aqui embaixo.

Até mais,
Leonardo.

Compartilhe este post:
Compartilhar no facebook
Compartilhar no linkedin
Compartilhar no twitter
Compartilhar no pinterest