O Data Mesh, ou malha de dados, é um paradigma emergente em arquitetura de dados que ajuda as organizações a lidar com certos pontos problemáticos associados à grande escala dos dados que analisamos atualmente. No entanto, há muito mais nisso do que apenas mudanças técnicas — o Data Mesh é, antes de mais nada, uma forma de pensar e organizar os dados.
Introduzido por Zhamak Dehghani, diretora de tecnologias emergentes da Thoughtworks América do Norte, o Data Mesh tem sido recentemente um dos tópicos mais ativamente discutidos quando o assunto é plataforma e arquiteturas de dados. O Data Mesh usa uma abordagem derivada do design orientado por domínio e a introduz no mundo dos dados. A mesma abordagem já perturbou a indústria de software e a impulsionou a mudar de soluções monolíticas para arquiteturas baseadas em microsserviços, e de equipes de TI centralizadas para equipes de domínio locais.
Neste artigo, resumimos os pontos problemáticos que o Data Mesh propõe a resolver, como isso acontece e que tipos de organizações podem achar valor na utilização da abordagem. Acompanhe!
O que é o Data Mesh?
O Data Mesh é uma nova abordagem para projetar e desenvolver arquiteturas de dados. Ao contrário de uma arquitetura centralizada e monolítica baseada em um data warehouse e / ou data lake, o Data Mesh é uma arquitetura de dados altamente descentralizada.
Dessa forma, o Data Mesh desafia a perspectiva tradicional de que o Big Data deve ser centralizado para alavancar seu potencial analítico. Indo de encontro à suposição de que todos os dados precisam estar armazenados em um mesmo local e gerenciados centralmente para entregar seu valor real, o Data Mesh afirma que o Big Data pode alimentar a inovação apenas e somente quando é distribuído entre os proprietários dos dados de domínio, que então fornecem os dados como um produto.
Para facilitar esse processo, um novo modelo de governança de TI deve ser implantado com auxílio da automação, garantindo a interoperabilidade necessária. A democratização dos dados é a premissa principal sobre a qual se baseia o conceito do Data Mesh e não pode ser alcançada sem descentralização e priorização da experiência dos consumidores de dados.
Como um paradigma arquitetônico, o Data Mesh oferece a promessa de potencializar a análise em escala, fornecendo acesso rápido a conjuntos de domínios distribuídos de rápido crescimento. Isso é ainda mais verdade no caso de cenários de proliferação de consumo, como análise, aprendizado de máquina ou desenvolvimento e implantação de aplicativos centrados em dados.
Problemas que a malha de dados procura corrigir
Como mencionado antes, as limitações da arquitetura de dados tradicional provaram ser um grande obstáculo na busca das organizações de aproveitar os dados à sua disposição para ganhos tangíveis na transformação de processos e práticas de negócios. A verdadeira luta consiste em transformar montes de dados em percepções acionáveis.
O Data Mesh aborda essas preocupações corrigindo as seguintes lacunas evidentes na abordagem tradicional de gerenciamento de Big Data:
- Plataformas monolíticas não conseguem acompanhar o crescimento: plataformas de dados monolíticas, como warehouses e lagos, muitas vezes não têm a diversidade de fontes de dados e estruturas específicas de domínio necessárias para gerar insights valiosos a partir de blocos de dados crescentes. Como resultado, o conhecimento específico do domínio crucial se perde nessas plataformas centralizadas. Isso inibe a capacidade dos engenheiros de dados de fazer correlações significativas entre diferentes pontos de dados para gerar análises precisas que representam realidades operacionais;
- Os pipelines de dados criam gargalos: em sua forma tradicional, os pipelines de dados criam gargalos devido ao isolamento dos processos de ingestão, transformação e entrega de dados. Diferentes departamentos que lidam com diferentes conjuntos de dados operam sem qualquer colaboração mútua. Pedaços de dados são essencialmente passados de uma equipe para a outra, sem qualquer escopo de integração e transformação significativa.
- Especialistas em dados trabalhando com finalidades cruzadas: engenheiros de dados especialistas, proprietários de fontes e consumidores muitas vezes acabam trabalhando com finalidades cruzadas, pois operam de perspectivas completamente divergentes. Isso muitas vezes se torna um terreno fértil para a contra produtividade. A causa raiz dessa ineficácia é a falta de know-how para mapear análises de forma que as correlações possam ser estabelecidas em relação aos fundamentos de negócios.
Quais os benefícios do Data Mesh?
Os benefícios diretos para uma organização que adota esse novo conceito arquitetônico incluem:
Agilidade e escalabilidade
Há uma melhoria significativa no tempo de chegada ao mercado, escalabilidade e agilidade geral do domínio de negócios. O Data Mesh também ajuda a reduzir o backlog de TI; tudo isso por causa das operações de dados descentralizadas e da infraestrutura de dados provisionada como serviço. Isso também é resultado de equipes de projeto ágeis serem capazes de operar de forma independente, com foco em produtos de dados relevantes.
Governança central forte
O Data Mesh otimiza a governança permitindo controlar a conformidade ponta a ponta; com o rápido crescimento do número de fontes de dados e seus formatos de dados variados, a configuração da arquitetura tradicional com data lakes centralizados falha em reconciliar a semântica e o volume dos dados ingeridos. A descentralização das operações para um formato de domínio e a aplicação das diretrizes globais de governança promovem a entrega de dados de qualidade e também facilitam o acesso aos dados.
Equipes de domínio multifuncionais
Em comparação com as abordagens tradicionais de arquitetura de dados que promovem o isolamento das equipes, o Data Mesh propõe uma solução em que os especialistas e proprietários de domínio estão no comando. Isso ocorre por meio de maior conhecimento do domínio, equipes de negócios e de TI mais próximas, além de equipes virtuais ágeis.
Entrega de dados mais rápida
Configurar a infraestrutura de dados (por exemplo, processamento de dados, armazenamento de dados, monitoramento, gerenciamento de identidade etc.) é muitas vezes um obstáculo para o gerenciamento de dados. O Data Mesh fornece essa infraestrutura governável e centralizada em uma maneira de autoatendimento com a complexidade subjacente reduzida para entrega de dados mais rápida.
Para conseguir adotar a arquitetura Data Mesh com sucesso, as organizações precisam reestruturar suas plataformas de dados, redefinir as funções dos proprietários de domínio de dados e revisar as estruturas para tornar a nova abordagem viável.
Para saber mais sobre como melhorar sua arquitetura de dados, assine a newsletter do Grupo Binário e receba mais conteúdos como esse diretamente no seu e-mail!
Entre em contato
Alta performance e tecnologia de ponta ao seu alcance
Entre em contato com nossa equipe e conheça mais nossas soluções.