Lucas Gabriel

Líder do time de Ciência e Engenharia de dados na Online Applications. Apaixonado pelo universo de dados, mas, acima de tudo um Cientista da Computação.

Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets

Gerenciar o schema de tabelas e views em bancos de dados com rastreabilidade (controle de versões) e confiabilidade é um problema que várias ferramentas já tentaram resolver ao longo dos anos. No mundo do desenvolvimento de software, atualmente a abordagem mais comum é utilizar algum tipo de ORM (Object-Relational Mapping), que mapeia as estruturas de …

Adeus DBT: Como Orquestrar Seu Banco de Dados com Dagster Assets Leia mais »

DAN, a Nova e Mais Perigosa Falha de Segurança do ChatGPT

Uma das principais preocupações da empresa responsável pelo ChatGPT, a OpenIA, e talvez a maior preocupação dentre as empresas que estão desenvolvendo ferramentas de “chat bot” é justamente as respostas geradas por seus modelos, garantir sua confiabilidade e imparcialidade.  Porem, infelizmente, devido à natureza de como o modelo foi construído, este tipo de moderação é …

DAN, a Nova e Mais Perigosa Falha de Segurança do ChatGPT Leia mais »

Great Expectations, Valide a Qualidade De Seus Dados Com Expectativas

Todos sabemos que garantir e validar a qualidade de dados é uma tarefa que hoje em dia ainda é extremamente trabalhosa na grande maioria dos casos, e é este problema que o Great Expectations visa resolver. Hoje vamos falar sobre essa incrível ferramenta de data quality. Introdução A biblioteca “Great Expectations”, feita em Python, é uma …

Great Expectations, Valide a Qualidade De Seus Dados Com Expectativas Leia mais »

Analisando Microexpressões Faciais em Python

Você já deve ter ouvido falar de microexpressões faciais, a ideia é que a partir delas conseguimos extrair informações valiosas sobre como uma pessoa está pensando, sentindo e o que planeja fazer. Inovações recentes em algoritmos de visão computacional e aprendizado profundo levaram a uma enxurrada de modelos que podem ser usados para extrair pontos …

Analisando Microexpressões Faciais em Python Leia mais »

Isso Vai Ser O Fim do Spark! Dask & Coiled a Forma Mais Fácil de Criar Clusters em Python

Recentemente estava trabalhando na arquitetura de um novo projeto de um pipeline de dados, tudo corria bem, até que o pior pesadelo de todo o engenheiro de dados que esta trabalhando com Pandas aconteceu, meu dataset era simplesmente muito grande para ser armazenado em memória (ele continha cerca de 100 GB).  A solução para este …

Isso Vai Ser O Fim do Spark! Dask & Coiled a Forma Mais Fácil de Criar Clusters em Python Leia mais »

Como Fazer Uma Análise Exploratória Em Um Dataset De Vendas De Produtos

Todos já nos sentimos um pouco perdidos quando temos que analisar dados de vendas de produtos, neste artigo irei mostrar algumas técnicas que gosto de utilizar quando me deparo com análises deste tipo. Entenda seus dados O mais importante para qualquer tipo de análise de dados é o entendimento do contexto daqueles dados, oque cada …

Como Fazer Uma Análise Exploratória Em Um Dataset De Vendas De Produtos Leia mais »

Clickhouse, O Banco De Dados Mais Rápido Do Mundo Que Você Provavelmente Não Conhece

Enfrentar problemas para analisar grandes volumes de dados não deve ser uma novidade para ninguém hoje em dia. Porem muitas pessoas não sabem mas já existem soluções para esse problema, uma delas é o banco de dados ClickHouse. Neste artigo iremos dar uma olhada nas duas principais categorias de bancos de dados existentes e também …

Clickhouse, O Banco De Dados Mais Rápido Do Mundo Que Você Provavelmente Não Conhece Leia mais »

Scroll to Top