Organização chilena — De 54 scripts a um motor de 11.474 regras rastreáveis

O desafio

O processamento de arquivos aduaneiros de sete países dependia de 54 scripts de Python avulsos, cerca de 50.000 linhas, um para cada modelo de arquivo.

A solução

Foi projetado um motor de 16 etapas com pandas e pandera. As 11.474 regras de negócio ficam no PostgreSQL, cada uma com o arquivo e a linha de onde saiu, e cobrem 38 modelos. O motor é sustentado por 467 testes, tipagem estrita com mypy e integração contínua no Azure DevOps, que audita a rastreabilidade a cada alteração.

Tecnologias utilizadas

• Python
• pandas
• PostgreSQL
• Azure DevOps

Resultados

• 11.474 Regras rastreáveis — Cada uma com a sua origem
• 467 Testes automatizados
• 38 Modelos de arquivo cobertos