Concil aumenta capacidade e disponibilidade da infraestrutura ao migrar para AWS

Sobre a Concil

A Concil foi fundada em 1993, com o objetivo de ajudar empresas de todos os tamanhos e segmentos a ter uma boa gestão financeira do seu negócio, proporcionando resultados mais eficientes e confiáveis. O seu propósito é transformar a gestão financeira em algo simples, unificado e inteligente. Para isso, utiliza tecnologia, informação unificada e parcerias estratégicas, para proporcionar segurança nas decisões, economia de tempo e resultados financeiros.

Atualmente, a empresa conta com mais de 6 mil clientes, através da Conciliação Contábil (Concil Contábil) e da Conciliação de Cartão (Concil Card), tornando a gestão financeira mais fácil e rápida, proporcionando resultados mais eficientes e confiáveis.

O Desafio

Por possuir uma grande variedade de clientes, a Concil processa mais de 50 milhões de transações mensalmente, gerando mais de 300 milhões de linhas de dados para serem analisadas, aplicando regras complexas de negócio para entregar resultados de conciliação de dados financeiros.



A Concil desejava aumentar a quantidade de clientes. No entanto, um grande desafio era o ganho de escala na capacidade de processamento de dados na velocidade exigida para o processo de conciliação dos dados, mantendo o preço sob controle.

A solução utilizada originalmente era baseada em processamento de dados diretamente no banco de dados Oracle, hospedado na Oracle Cloud, e as transformações complexas executadas sobrecarregam o banco, gerando lentidão nas para as análises e dificuldade de receber novos clientes.

A Solução

Para solucionar seus desafios, a Concil contou com o apoio da e-Core para desenvolver uma solução escalável e orientada a eventos na AWS, onde uma premissa era o processamento dos arquivos ser com o uso de recursos independentes, baseados em boas práticas de arquitetura de microsserviços. Ou seja, cada arquivo seria processado na maior parte do fluxo de dados utilizando recursos computacionais apenas enquanto está sendo processado, minimizando a quantidade de recursos ociosos, refletindo diretamente na otimização de custos.

A estratégia para melhorar o gerenciamento dos dados foi utilizar os conceitos presentes no Lake House possibilitando uma governança unificada de fácil movimentação dos dados e o Apache Hudi que gerencia eficientemente os requisitos de um negócio, melhorando a qualidade dos dados, além de promover ACID nos dados do Amazon S3.

Durante todo o processo, o processamento dos dados foi realizado em Apache Spark em Clusters de EMR em batch e os dados consultados por processos analíticos via Amazon Redshift.

O Resultado

Agora a Concil consegue processar milhares de arquivos em minutos, permitindo a expansão do seu negócio sem que a infraestrutura seja um gargalo para o processamento. Com a solução implementada, foi possível processar 10 vezes mais arquivos por minuto, que era um dos principais gargalos do modelo anterior, aumentando em mais de 20 vezes a capacidade de receber novos clientes, ainda facilitando a manutenção pela diminuição da complexidade dos schemas de dados.



Além disso, um outro ponto importante foi a facilidade para manutenção da solução, reduzindo em 600 vezes o número de schemas de dados.