Lucas Gabriel

Líder do time de Ciência e Engenharia de dados na Online Applications. Apaixonado pelo universo de dados, mas, acima de tudo um Cientista da Computação.

Dask, Dagster e Coiled para Processamento de Dados em Produção na OnlineApp

Neste artigo irei mostrar uma integração simples entre o Dagster e o Dask+Coiled. Discutiremos como isso tornou um problema comum, processar um grande conjunto de arquivos mensalmente, realmente uma tarefa muito fácil. O Usuário e o Problema Olá , me chamo Lucas, sou o líder do time de ciência e engenharia de dados na OnlineApp, […]

Dask, Dagster e Coiled para Processamento de Dados em Produção na OnlineApp Leia mais »

Porque eu Recusei uma Oportunidade de Doutorado em uma Universidade Federal

Como todo o estudante de graduação no Brasil, eu sempre fui incentivado e sonhei em seguir carreira acadêmica. Afinal, essa é uma das opções mais “respeitadas” em nosso país, todo mundo quer ser chamado de “Dr.”. Em que muitas áreas inclusive às vezes se valoriza mais o título do que a experiência prática. Porém, recentemente, eu

Porque eu Recusei uma Oportunidade de Doutorado em uma Universidade Federal Leia mais »

Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets

Gerenciar o schema de tabelas e views em bancos de dados com rastreabilidade (controle de versões) e confiabilidade é um problema que várias ferramentas já tentaram resolver ao longo dos anos. No mundo do desenvolvimento de software, atualmente a abordagem mais comum é utilizar algum tipo de ORM (Object-Relational Mapping), que mapeia as estruturas de

Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets Leia mais »

DAN, a Nova e Mais Perigosa Falha de Segurança do ChatGPT

Uma das principais preocupações da empresa responsável pelo ChatGPT, a OpenIA, e talvez a maior preocupação dentre as empresas que estão desenvolvendo ferramentas de “chat bot” é justamente as respostas geradas por seus modelos, garantir sua confiabilidade e imparcialidade.  Porem, infelizmente, devido à natureza de como o modelo foi construído, este tipo de moderação é

DAN, a Nova e Mais Perigosa Falha de Segurança do ChatGPT Leia mais »

Great Expectations, Valide a Qualidade De Seus Dados Com Expectativas

Todos sabemos que garantir e validar a qualidade de dados é uma tarefa que hoje em dia ainda é extremamente trabalhosa na grande maioria dos casos, e é este problema que o Great Expectations visa resolver. Hoje vamos falar sobre essa incrível ferramenta de data quality. Introdução A biblioteca “Great Expectations”, feita em Python, é uma

Great Expectations, Valide a Qualidade De Seus Dados Com Expectativas Leia mais »

Analisando Microexpressões Faciais em Python

Você já deve ter ouvido falar de microexpressões faciais, a ideia é que a partir delas conseguimos extrair informações valiosas sobre como uma pessoa está pensando, sentindo e o que planeja fazer. Inovações recentes em algoritmos de visão computacional e aprendizado profundo levaram a uma enxurrada de modelos que podem ser usados para extrair pontos

Analisando Microexpressões Faciais em Python Leia mais »

Isso Vai Ser O Fim do Spark! Dask & Coiled a Forma Mais Fácil de Criar Clusters em Python

Recentemente estava trabalhando na arquitetura de um novo projeto de um pipeline de dados, tudo corria bem, até que o pior pesadelo de todo o engenheiro de dados que esta trabalhando com Pandas aconteceu, meu dataset era simplesmente muito grande para ser armazenado em memória (ele continha cerca de 100 GB).  A solução para este

Isso Vai Ser O Fim do Spark! Dask & Coiled a Forma Mais Fácil de Criar Clusters em Python Leia mais »

Rolar para cima