Neste artigo irei mostrar uma integração simples entre o Dagster e o Dask+Coiled. Discutiremos como isso tornou um problema comum, processar um grande conjunto de arquivos mensalmente, realmente uma tarefa muito fácil. O Usuário e o Problema Olá , me chamo Lucas, sou o líder do time de ciência e engenharia de dados na OnlineApp, […]
Dask, Dagster e Coiled para Processamento de Dados em Produção na OnlineApp Leia mais »
Gerenciar o schema de tabelas e views em bancos de dados com rastreabilidade (controle de versões) e confiabilidade é um problema que várias ferramentas já tentaram resolver ao longo dos anos. No mundo do desenvolvimento de software, atualmente a abordagem mais comum é utilizar algum tipo de ORM (Object-Relational Mapping), que mapeia as estruturas de
Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets Leia mais »
No dia 9 de agosto de 2022 o Dagster finalmente anunciou o lançamento da sua versão 1.0 indicando que o orquestrador finalmente esta pronto para produção. Mas oque é Dagster? Segundo eles: “Crie e realize o deploy de pipelines de dados com velocidade extraordinária. O orquestrador nativo da nuvem para todo o ciclo de vida
Tchau Tchau Airflow, Olá Dagster Leia mais »
