Automatizando Pipelines de Machine Learning e Amazon SageMaker: Aprendizados do AWS Summit 2023

Geovana Leal • August 11, 2023

Olá! Aqui é Geovana Leal, engenheira de dados da e-Core, e estou entusiasmada para compartilhar minha experiência no AWS Summit 2023. Participar de eventos como esse é sempre uma oportunidade incrível para trocar experiências com outros profissionais da área e mergulhar em palestras enriquecedoras.


Uma das palestras que me deixou particularmente intrigada foi intitulada “Como o iFood gerencia seus pipelines de ML com o Amazon SageMaker”. Como usuária assídua do aplicativo, a perspectiva de entender como eles moldam as recomendações para nós, clientes, me chamou a atenção de imediato.


Para dar um contexto, o Amazon SageMaker é um serviço completamente gerenciado pela AWS, projetado para simplificar a preparação, construção, treinamento e implementação de modelos de machine learning de alta qualidade. Ele reúne um conjunto abrangente de recursos específicos para ML, compatíveis com diversos frameworks e linguagens de programação.


A palestra foi iniciada por Carolina Carneiro, Arquiteta de Soluções da AWS, que questionou: “O que fazer quando o modelo não está mais performando como deveria?”. Uma pergunta intrigante que nos leva a refletir sobre a necessidade de monitorar e aprimorar continuamente nossos modelos após a implementação. Carolina enfatizou que a jornada de um modelo não acaba quando ele é colocado em produção – o monitoramento constante, retreinamento e avaliação dos dados são vitais para garantir seu desempenho ao longo do tempo.


Uma das partes mais interessantes da palestra foi a exploração das etapas de reconstrução de um modelo conforme a figura a seguir (um pouco torta, pois foi uma foto tirada rapidinha para mostrar pra vocês).

A reconstrução começa com a definição clara de um problema de negócio e a categorização dos desafios. A coleta de dados precisa ser minuciosa, com foco nas características relevantes para treinar o modelo. A escolha do algoritmo é crucial, assim como a adaptação aos fluxos de trabalho automatizados para maior eficiência e escalabilidade.


Foi apresentado o conceito de MLOps – um conjunto de práticas operacionais destinadas a automatizar e padronizar o pipeline de ML. A adoção do MLOps pelo Amazon SageMaker introduziu ferramentas e integrações nativas com outros serviços da AWS, possibilitando um fluxo completo de CI/CD, automação de fluxos de trabalho de ML, observabilidade, explicabilidade e um monitoramento aprofundado. A clareza e rastreabilidade do código em cada estágio do pipeline de ML proporcionam um ambiente desacoplado e de alto desempenho.


Na sequência, Daniel Vieira, Gerente de Engenharia de ML do iFood, compartilhou insights sobre o ML Go!, uma plataforma de pipelines de ML criada pelo próprio iFood. Com mais de 120 modelos em produção, criados por 17 times distintos e que levam a 10 bilhões de recomendações, a empresa enfrentava desafios como sobrecarga operacional manual, baixa reutilização de etapas no pipeline e dependência excessiva de equipes.


O ML Go! foi desenvolvido para automatizar todo o ciclo de vida de um modelo, integrar desenvolvimento com operações e fornecer capacidades fundamentais para a gestão e manutenção de sistemas de ML. A plataforma permite a definição e análise de modelos, retreinamento, gatilhos, métricas e entradas de eventos.


Essa automação libera equipes para se concentrarem em outras tarefas, reduzindo falhas e permitindo maior agilidade. A governança por equipe evita alterações não autorizadas no pipeline, e a plataforma ajuda a avaliar quando é necessário criar ou reforçar um modelo.


O ML Go! apresenta recursos como entrega de artefatos de código do ML, construção de pipelines SageMaker, automação de acionamentos personalizados, interface declarativa e validação automática de recursos. A plataforma é baseada em serviços como SageMaker pipeline, SageMaker Studio e outros componentes da AWS.

A palestra concluiu com importantes lições:


Descentralize e integre: Evite gargalos e permita que todos tenham autonomia para implementar modelos;

Tenha uma base sólida: Pense nas bases essenciais para todos os sistemas de ML desde o início;

Reduza a complexidade: Ofereça uma experiência agradável para todas as partes envolvidas, aumentando a eficiência e a entrega de valor.


Em resumo, ficou evidente que a criação de processos bem definidos é fundamental para agilizar a entrega de soluções aos clientes. 
Processos claros reduzem a dependência de indivíduos específicos, permitindo que várias pessoas executem tarefas e criem modelos com eficiência.


Além disso, a importância do monitoramento constante foi destacada de maneira marcante. Após a implementação de um modelo, a frase “não podemos ir para casa dormir” ressoa fortemente. Devemos regularmente validar se o modelo ainda está agregando valor, evitando custos desnecessários caso o modelo não esteja mais alinhado com os objetivos.



Práticas como as que foram apresentadas pelo iFood não apenas aprimoram nossas operações internas, mas também ajudam a entregar soluções mais eficazes e valiosas aos nossos clientes. Estou ansiosa para aplicar essas lições e ver os resultados tangíveis que elas podem trazer para nossa equipe e para aqueles a quem servimos.


Agradeço ao AWS Summit por proporcionar uma visão tão inspiradora do mundo do ML e da automação.


Até a próxima!

A woman in a green jacket is smiling in a circle.

Geovana Leal
Engenheira de dados na e-Core.


e-Core

Combinamos experiência global com tecnologias emergentes para ajudar empresas como a sua a criar produtos digitais inovadores, modernizar plataformas de tecnologia e melhorar a eficiência nas operações digitais.


Isso pode te interessar:

Guia de Recursos: Técnicas de Fine Tuning em GenAI
Por e-Core 11 de agosto de 2025
Por trás da popularização de GenAI e dos benefícios em eficiência e tomada de decisões, existe um grande trabalho ao identificar padrões em enormes volumes de dados, estabelecendo relações entre essas informações que precisa ser otimizada. Nesse e-book iremos conhecer melhor uma delas, o fine tunning.
Por e-Core 7 de agosto de 2025
Durante o processo de procura de novas oportunidades de emprego é comum surgirem algumas dúvidas com relação a candidatura, processo, como se comportar e etc. Nesse texto você vai encontrar algumas dicas que podem te ajudar em diversas situações. Primeiro passo: A procura! Durante a pesquisa por vagas, que fazem sentido para cada um, é comum levarmos em consideração coisas como nome da empresa, nível da vaga, benefícios e se de fato temos a compatibilidade técnica e comportamental exigida. Porém, é de extrema importância analisar o quanto de afinidade a empresa e a oportunidade tem com você, pessoa candidata. Além de colocar na balança as exigências e as oportunidades, e fatores como a distância, horários e modelo de trabalho, lembre-se de prestar atenção à estrutura, à cultura e ao negócio da empresa. Uma boa forma de fazer isso é conferindo os feedbacks das pessoas que trabalham ou trabalharam na empresa, tanto nas redes sociais quanto no Glassdoor, por exemplo, para que você possa compreender no detalhe como é a cultura daquela empresa de acordo com os seus valores. Isso aumenta sua assertividade na hora de avaliar a Oferta de Emprego, bem como traz um prognóstico mais fiel de como será sua adaptação no novo desafio. Segundo passo: Participando do processo. O Processo começou, e agora? Nesta etapa é extremamente importante esclarecer as dúvidas e perguntar. Calma! O nervosismo é normal, mas lembre-se que é extremamente importante organizar as ideias e perguntar. Por exemplo, aqui na e-core temos algumas etapas onde você poderá tirar dúvidas direcionadas em cada fase: Na etapa de RH : nessa fase você consegue tirar dúvidas sobre benefícios, estrutura da empresa, iniciativas de saúde e bem estar, dentre outros pontos, principalmente relacionados à cultura no geral. Na etapa técnica : Nesta etapa você tem contato com pessoas da sua área, então as perguntas podem ser aprofundadas – como é o dia a dia de trabalho com seu futuro time? Como é o contato com o cliente? Quais tecnologias são utilizadas? Você gosta de trabalhar na empresa – e por quê? Na etapa de liderança: você consegue não só tirar dúvidas sobre o time, mas sobre desafios futuros, expectativas para o cargo e desenvolvimento profissional. Durante o processo seletivo, o ideal é aproveitar ao máximo e ter em mente que estamos nos avaliando mutuamente, e por isso tanto a empresa quanto você deve perguntar e esclarecer dúvidas sobre o que for necessário. Afinal é como o início de um relacionamento. Uma experiência positiva, durante um processo seletivo, está sempre ligada à transparência e feedback, independente do resultado. Tome alguns cuidados ao trazer seus exemplos vividos, lembre-se que o tempo de uma entrevista apesar de parecer longo, é muito curto, mas ele é tudo que temos para nos conhecer e ter um overview geral das suas experiências, e é onde nós do RH podemos entender se faz ou não sentido avançar com você para as próximas etapas. Por isso, busque organizar suas ideias para trazer suas experiências, evite ser prolixo (nós sempre pediremos mais informações quando necessário então não precisa se preocupar em contar tudo de uma vez, pois vamos focar nos pontos que são importantes para a oportunidade em questão), e o importante é focar em suas experiências, nos seus objetivos, metas e vulnerabilidades (afinal, todos temos!). Terceiro passo: Recebendo feedback do processo. Feedbacks nem sempre são fáceis, podem nos trazer um sentimento de medo antes mesmo de sabermos qual o assunto, mas respire, lembre-se que todo feedback nos traz um crescimento. Essa é uma etapa muito importante, pois estar com a mente aberta para feedbacks vai ajudar no seu desenvolvimento pessoal e profissional e vai deixar você, pessoa candidata, cada vez mais preparada. Todo feedback abre um espaço para pedir dicas de como se preparar, de como aprender mais, de como crescer! Pedir feedbacks não é problema, seu desenvolvimento é exclusivamente seu, por isso, esse comportamento é extremamente valorizado e vai te ajudar a criar redes de networking além de impulsionar seu desenvolvimento. Boa sorte na sua jornada! Bom, agora que já falamos sobre algumas dicas rápidas, lembre-se que você é o protagonista da sua carreira. Por isso, é importante analisar com cuidado e atenção os passos que você escolhe dar nesse trajeto. Busque conhecimento e não tenha medo de pedir feedbacks, assim, você estará cada vez mais perto de conquistar a oportunidade ideal e de crescer profissionalmente. Boa sorte na sua jornada!
A group of people are having a meeting in a conference room.
Por e-Core 29 de julho de 2025
Com mais de 150 mil times ativos em todo o mundo e presença em mais de 200 países, a Atlassian tem se consolidado como uma referência em colaboração e produtividade empresarial.