Neste artigo irei mostrar uma integração simples entre o Dagster e o Dask+Coiled. Discutiremos como isso tornou um problema comum, processar um grande conjunto de arquivos mensalmente, realmente uma tarefa muito fácil. O Usuário e o Problema Olá , me chamo Lucas, sou o líder do time de ciência e engenharia de dados na OnlineApp, …
Dask, Dagster e Coiled para Processamento de Dados em Produção na OnlineApp Leia mais »
Em suma, enquanto a inteligência artificial oferece um potencial significativo para reduzir o bullying online através do “efeito bolha”, é necessário um gerenciamento cuidadoso e uma atenção constante aos efeitos colaterais potenciais…
Como todo o estudante de graduação no Brasil, eu sempre fui incentivado e sonhei em seguir carreira acadêmica. Afinal, essa é uma das opções mais “respeitadas” em nosso país, todo mundo quer ser chamado de “Dr.”. Em que muitas áreas inclusive às vezes se valoriza mais o título do que a experiência prática. Porém, recentemente, eu …
Porque eu Recusei uma Oportunidade de Doutorado em uma Universidade Federal Leia mais »
Gerenciar o schema de tabelas e views em bancos de dados com rastreabilidade (controle de versões) e confiabilidade é um problema que várias ferramentas já tentaram resolver ao longo dos anos. No mundo do desenvolvimento de software, atualmente a abordagem mais comum é utilizar algum tipo de ORM (Object-Relational Mapping), que mapeia as estruturas de …
Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets Leia mais »
Uma das principais preocupações da empresa responsável pelo ChatGPT, a OpenIA, e talvez a maior preocupação dentre as empresas que estão desenvolvendo ferramentas de “chat bot” é justamente as respostas geradas por seus modelos, garantir sua confiabilidade e imparcialidade. Porem, infelizmente, devido à natureza de como o modelo foi construído, este tipo de moderação é …
DAN, a Nova e Mais Perigosa Falha de Segurança do ChatGPT Leia mais »
Todos sabemos que garantir e validar a qualidade de dados é uma tarefa que hoje em dia ainda é extremamente trabalhosa na grande maioria dos casos, e é este problema que o Great Expectations visa resolver. Hoje vamos falar sobre essa incrível ferramenta de data quality. Introdução A biblioteca “Great Expectations”, feita em Python, é uma …
Great Expectations, Valide a Qualidade De Seus Dados Com Expectativas Leia mais »
Você já deve ter ouvido falar de microexpressões faciais, a ideia é que a partir delas conseguimos extrair informações valiosas sobre como uma pessoa está pensando, sentindo e o que planeja fazer. Inovações recentes em algoritmos de visão computacional e aprendizado profundo levaram a uma enxurrada de modelos que podem ser usados para extrair pontos …
Recentemente estava trabalhando na arquitetura de um novo projeto de um pipeline de dados, tudo corria bem, até que o pior pesadelo de todo o engenheiro de dados que esta trabalhando com Pandas aconteceu, meu dataset era simplesmente muito grande para ser armazenado em memória (ele continha cerca de 100 GB). A solução para este …
Já teve dificuldades para escolher bons livros para ler relacionados ao universo de dados? Já se decepcionou com algum livro cujo conteúdo parece ter sido tirado da Wikipédia? Bom, eu sim! Por isso, após varias noites de leituras decepcionantes e dezenas de compras frustradas, decidi fazer esse top 5 com os melhores livros que já …
Todos nos já tivemos que lidar com dados em formato JSON pelo menos alguma vez, seja utilizando uma API ou até mesmo lendo diretamente de algum arquivo e como consequência disso acredito que a maioria de nós já se deparou com erros relacionados a qualidade ou formatação dos dados contidos nele. Neste artigo irei compartilhar …
