Neste artigo irei mostrar uma integração simples entre o Dagster e o Dask+Coiled. Discutiremos como isso tornou um problema comum, processar um grande conjunto de arquivos mensalmente, realmente uma tarefa muito fácil. O Usuário e o Problema Olá , me chamo Lucas, sou o líder do time de ciência e engenharia de dados na OnlineApp, […]
Dask, Dagster e Coiled para Processamento de Dados em Produção na OnlineApp Leia mais »
Gerenciar o schema de tabelas e views em bancos de dados com rastreabilidade (controle de versões) e confiabilidade é um problema que várias ferramentas já tentaram resolver ao longo dos anos. No mundo do desenvolvimento de software, atualmente a abordagem mais comum é utilizar algum tipo de ORM (Object-Relational Mapping), que mapeia as estruturas de
Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets Leia mais »
Recentemente estava trabalhando na arquitetura de um novo projeto de um pipeline de dados, tudo corria bem, até que o pior pesadelo de todo o engenheiro de dados que esta trabalhando com Pandas aconteceu, meu dataset era simplesmente muito grande para ser armazenado em memória (ele continha cerca de 100 GB). A solução para este
Todos nos já tivemos que lidar com dados em formato JSON pelo menos alguma vez, seja utilizando uma API ou até mesmo lendo diretamente de algum arquivo e como consequência disso acredito que a maioria de nós já se deparou com erros relacionados a qualidade ou formatação dos dados contidos nele. Neste artigo irei compartilhar
Como Validar e Tratar JSON em Python Leia mais »
Enfrentar problemas para analisar grandes volumes de dados não deve ser uma novidade para ninguém hoje em dia. Porem muitas pessoas não sabem mas já existem soluções para esse problema, uma delas é o banco de dados ClickHouse. Neste artigo iremos dar uma olhada nas duas principais categorias de bancos de dados existentes e também
Clickhouse, O Banco De Dados Mais Rápido Do Mundo Que Você Provavelmente Não Conhece Leia mais »
No dia 9 de agosto de 2022 o Dagster finalmente anunciou o lançamento da sua versão 1.0 indicando que o orquestrador finalmente esta pronto para produção. Mas oque é Dagster? Segundo eles: “Crie e realize o deploy de pipelines de dados com velocidade extraordinária. O orquestrador nativo da nuvem para todo o ciclo de vida
Tchau Tchau Airflow, Olá Dagster Leia mais »
