𝗖𝗼𝗺𝗼 𝘃𝗮𝗹𝗶𝗱𝗼 𝗱𝗮𝗱𝗼𝘀 𝗻𝘂𝗹𝗼𝘀 𝗮𝗻𝘁𝗲𝘀 𝗱𝗲 𝗹𝗲𝘃𝗮𝗿 𝗽𝗮𝗿𝗮 𝗮 𝗰𝗮𝗺𝗮𝗱𝗮 𝗦𝗶𝗹𝘃𝗲𝗿? (𝗔𝗿𝗾𝘂𝗶𝘁𝗲𝘁𝘂𝗿𝗮 𝗠𝗲𝗱𝗮𝗹𝗵𝗮̃𝗼)

Além de desenvolver pipelines de dados, uma das (𝙢𝙪𝙞𝙩𝙖𝙨) responsabilidades do Engenheiro de Dados é manter a qualidade dos dados.

Na 𝗮𝗿𝗾𝘂𝗶𝘁𝗲𝘁𝘂𝗿𝗮 𝗺𝗲𝗱𝗮𝗹𝗵𝗮̃𝗼 (𝗯𝗿𝗼𝗻𝘇𝗲, 𝘀𝗶𝗹𝘃𝗲𝗿 𝗲 𝗴𝗼𝗹𝗱), antes de movimentar os dados de bronze para silver, utilizo um processo de validação simples de quantidade de valores nulos para cada coluna em uma tabela do Bigquery.

𝗖𝗼𝗺𝗼 𝗳𝘂𝗻𝗰𝗶𝗼𝗻𝗮?

Durante o processo de ingestão dos dados (utilizando 𝗔𝗶𝗿𝗳𝗹𝗼𝘄 𝗲 𝗗𝗮𝘁𝗮𝗳𝗹𝗼𝘄), a 𝘥𝘢𝘨 passa os parâmetros para a query que está armazenada no 𝗗𝗮𝘁𝗮𝗳𝗼𝗿𝗺 (bem parecido com o 𝘥𝘣𝘵), fazendo com que ela gere uma tabela com os nomes de colunas, quantidade de nulos e percentual em relação ao total.

Assim, temos tempo hábil de decidir o que fazer com esses campos nulos sem impactar as demais atividades que dependem desses dados.

Tá, mas qual o problema de ter colunas com valores nulos no Bigquery?

1. Quando um valor é nulo, o Bigquery pode precisar de metadados adicionais para indicar que aquele valor “𝘯𝘢̃𝘰 𝘦𝘹𝘪𝘴𝘵𝘦”. Isso pode aumentar o espaço de armazenamento. O cenário fica pior se você tem muitas colunas com muitos registros nulos.

2. Com aumento de armazenamento, vem o 𝗮𝘂𝗺𝗲𝗻𝘁𝗼 𝗱𝗲 𝗰𝘂𝘀𝘁𝗼𝘀, não só com armazenamento, mas também com processamento. E isso pode impactar o 𝘣𝘶𝘥𝘨𝘦𝘵 do projeto.

3. Os dados nulos podem tornar as 𝗰𝗼𝗻𝘀𝘂𝗹𝘁𝗮𝘀 𝗻𝗮𝘀 𝗰𝗮𝗺𝗮𝗱𝗮𝘀 𝘀𝘂𝗽𝗲𝗿𝗶𝗼𝗿𝗲𝘀 𝗺𝗮𝗶𝘀 𝗹𝗲𝗻𝘁𝗮𝘀. [ 𝘗𝘢𝘴𝘴𝘦𝘪 por 𝘶𝘮 𝘤𝘦𝘯𝘢́𝘳𝘪𝘰 𝘰𝘯𝘥𝘦 𝘶𝘮𝘢 𝘵𝘢𝘣𝘦𝘭𝘢 𝘵𝘪𝘯𝘩𝘢 183𝘨𝘣 𝘥𝘦 𝘥𝘢𝘥𝘰𝘴, 𝘴𝘦𝘯𝘥𝘰 95% 𝘥𝘦𝘴𝘴𝘦 𝘢𝘳𝘮𝘢𝘻𝘦𝘯𝘢𝘮𝘦𝘯𝘵𝘰 𝘢𝘱𝘦𝘯𝘢𝘴 𝘤𝘢𝘮𝘱𝘰𝘴 𝘯𝘶𝘭𝘰𝘴 ]. Trabalhar com essa tabela da forma que estava era insalubre.

4. Por fim, mas não menos importante, 𝗮𝘂𝗺𝗲𝗻𝘁𝗼 𝗱𝗼 𝗰𝘂𝘀𝘁𝗼 𝗱𝗮 𝗾𝘂𝗲𝗿𝘆. O Bigquery armazena os dados em 𝗳𝗼𝗿𝗺𝗮𝘁𝗼 𝗰𝗼𝗹𝘂𝗻𝗮𝗿. Ou seja, quanto mais colunas com muitos dados nulos na sua consulta, o volume de dados processados aumenta.

Esse é apenas um exemplo de validação que podemos realizar nos nossos dados antes de enviarmos para as camadas superiores (Silver e Gold).

O legal de tudo isso que, além de ser uma boa prática, você consegue:

-> escalar a aplicação com Dataform (ou dbt) e Airflow

-> manter um controle de versão dos seus ajustes e regras para tratamentos

-> não impactar as áreas que estão dependendo dos dados

-> reduzir custos com processamento, armazenamento e tempo das consultas

 Fonte Nathã C.