Sobre a Cilia
O sistema Cilia é uma solução automotiva de orçamentos de veículos. O software foi criado para ajudar o trabalho das oficinas, reguladoras e seguradoras no processo de realização de orçamentos.
Com a utilização do sistema, é possível orçar reparos através do compartilhamentos de imagens e informações sobre os danos que foram causados em um sinistro. Esse processo ocorre de forma automatizada, com o uso de inteligência artificial e machine learning e tecnologias de reconhecimento de imagens. Todo o processo acontece sem a intervenção de peritos, de oficinas ou reguladoras. Além disso, o sistema Cilia fornece também um painel estatístico, que exibe dados em tempo real sobre os sinistros documentados.
Durante o processo, o Cilia lida com uma variedade de dados pessoais dos segurados de seus clientes, o que acaba exigindo uma preocupação em termos de segurança por causa do ambiente altamente regulado que é o das seguradoras.
O Desafio
O sistema Cilia possui uma solução de armazenamento com uma grande quantidade de imagens, possuindo mais de 600 milhões de fotos de veículos que servem para alimentar os algoritmos de Inteligência Artificial, facilitando na hora de ajudar as oficinas, reguladoras e seguradoras a realizar orçamentos. Para isso, esses arquivos precisam ficar armazenados em um local que consiga suportar o grande volume de arquivos e a necessidade de estar sempre disponível e de forma segura. Por isso, optou-se por armazená-los no Amazon S3 em São Paulo.
O Cilia queria reduzir os custos e começar a usar os novos serviços da AWS para aumentar a segurança do ambiente. Essa era uma das maiores necessidades da empresa, já que ela recebe informações pessoais dos clientes das seguradoras através de formulários preenchidos pelos usuários. No entanto, o S3 em São Paulo tinha algumas limitações do ponto de vista de segurança e um custo alto.
A Solução
Através da parceria de vários anos com a Solvimm, foi realizado um planejamento para solucionar os desafios encontrados, focando na otimização de custos do armazenamento e na segurança dos dados.
Como há uma grande quantidade de dados que precisam estar disponíveis o tempo todo, o ideal seria continuar armazenando no Amazon S3. Porém, com a necessidade de ter mais controle sobre a segurança dos dados, deixá-los armazenados na Região de São Paulo não seria a melhor solução por não oferecer todas as configurações de segurança necessárias.
Então, optou-se por copiar e migrar os dados para o S3 na Região de Ohio usando o Amazon S3 Batch Operations, uma ferramenta que permite gerenciar uma grande quantidade de dados usando o S3. Os dados são copiados utilizando operações em lote entre as duas regiões, economizando o tempo necessário caso a mesma atividade fosse realizada de forma manual.
Durante a migração, seria necessário uma estrutura de alta disponibilidade, com acesso aos arquivos tanto na região nova quanto na original, para entregar o conteúdo correto e rapidamente para os usuários. Para isso, foi utilizado o CloudFront, um serviço rede de entrega de conteúdo (CDN) que funciona com diversas origens da AWS, como o Amazon S3, que é altamente distribuído e ajuda a otimizar o tempo de carregamento de conteúdos.
Para aumentar ainda mais a segurança, passou-se a usar o padrão AES-256 de criptografia, utilizando chaves exclusivas em todos os objetos armazenados no S3 para que não haja roubo de informações confidenciais.
O resultado
Durante toda a migração dos mais de 600 milhões de arquivos entre as duas regiões, tivemos 100% de disponibilidade, em um trabalho feito em apenas oito dias com a utilização do AWS S3 Batch Operations. Em abordagens mais tradicionais, o mesmo trabalho poderia durar alguns meses caso não fosse possível utilizar as operações em lote.
Após a migração dos dados entre as regiões de São Paulo para Ohio, houve uma redução de 67% no tempo de resposta da aquisição do processamento das imagens pela aplicação. Com essa redução significativa do tempo, houve uma redução de custos em mais de 60%. Já na questão segurança, ao criptografar os dados armazenados com AES-256, 100% dos arquivos estão criptografados e seguros.
