Com o tema de IA Generativa em alta e após o keynote do Matt Garman já trazer novidades sobre o assunto, as expectativas de todos para o keynote do Swami Sivasubramanian, VP de IA e Dados da AWS, estavam ainda mais altas. Essa sessão tem uma abordagem mais técnica, entrando em detalhes e novas funcionalidades nos serviços de dados da AWS. A apresentação teve dois grandes focos: novidades no Amazon SageMaker e no Amazon Bedrock.
Novidades do Amazon SageMaker
Conforme anunciado no keynote do CEO da AWS, houve uma mudança de posicionamento e interface com o Amazon SageMaker Unified Studio. A novidade consolida os serviços essenciais da jornada de dados em uma única interface, que era antes focada em ciência de dados e machine learning.
E uma das coisas muito faladas no AWS re:Invent foi o sobre o desafio de implementar soluções de IA rentáveis. Existem excelentes casos de uso, mas muitas empresas que estão np início da jornada ainda não conseguem capitalizar o uso de IA. Uma das partes necessárias é entender melhor o desafio de negócios para pensar nas melhores soluções que cabe à empresa. Outra é na construção de arquiteturas eficientes para os sistemas, onde a AWS tem anunciado novas soluções e trazido otimizações de custos. Nessa linha, dois anúncios interessantes foram o SageMaker HyperPod Flexible Training Plans e o SageMaker HyperPod Task Governance.
O SageMaker HyperPod acelera o treinamento de modelos de Machine Learning ao paralelizar o processamento. Naturalmente, é um caso de uso que se aplica a treinamentos em grande escala. Com o Flexible Training Plans, agora é possível ter mais controle e previsibilidade nesse treinamento ao definir programação e orçamentos para o treinamento. Já o Task Governance entrega uma governança centralizada das tarefas de treinamento e inferência, sendo possível controlar a alocação de recursos e priorizar tarefas mais críticas. Utilizando bem as duas soluções, é possível ter tanto economia em relação ao tempo gasto por profissionais no desenvolvimento de modelos, bem como da infraestrutura utilizada.
Já no posicionamento da AWS como uma plataforma para desenvolvedores construírem soluções, foi anunciado o Amazon SageMaker Partner AI Apps. Com essa novidade, agora é possível utilizar diversas aplicações para o desenvolvimento de soluções de ML e GenAI dentro do próprio SageMaker.
Novidades do Amazon Bedrock
Dando sequência ao que foi feito no SageMaker para torná-lo uma plataforma mais completa, foram anunciados novos modelos no Amazon Bedrock, como os modelos da Poolside, para apoio a desenvolvedores, e o Luma AI, que é considerado por muitos o estado da arte para criação de vídeos. Além disso, foi também anunciado o Amazon Bedrock Marketplace, com dezenas de modelos para serem utilizados.
Pensando na melhora de desempenho e otimização de custos de soluções de GenAI, tivemos duas novas funcionalidades muito interessantes no Amazon Bedrock: Prompt Caching e Intelligent Promt Routing. Com o primeiro, é possível fazer o cache de prompts mais utilizados para retornar uma resposta mais rápida para os usuários, reduzindo também o processamento do modelo. Já o segundo é uma excelente funcionalidade para soluções mais maduras que utilizam diversos modelos. Isso é uma boa prática para utilizar modelos mais especializados e eficientes para cada prompt. Um prompt mais simples deve acionar um modelo mais simples para ser mais barato e eficiente, enquanto um prompt mais complexo pode exigir um modelo mais robusto. Com essa arquitetura estruturada, o Intelligent Prompt Routing automatiza o processo de escolher o FM mais adequado dentre uma família de modelos, facilitando o trabalho de desenvolvimento e também da manutenção das regras de roteamento.
Para a melhoria no mapeamento dos dados para consumo de modelos de GenAI, também foram anunciadas novidades. O Amazon Kendra, ferramenta de busca enterprise, anunciou o GenAI Index, que otimiza a busca semântica e a capacidade de obtenção de dados ao entender melhor o contexto dos documentos, e também anunciou a conexão nativa com mais de 40 fontes, como o Confluence, por exemplo. E o Bedrock Knowledge Bases anunciou o Structured Data Retrieval, permitindo o uso de linguagem natural para obtenção de dados estruturados das fontes de dados, e o GraphRAG, que permite a obtenção de respostas mais compreensíveis e relevantes ao utilizar técnicas combinadas com grafos.
E, fechando as principais novidades do Bedrock, um ponto que a AWS tem focado muito é nos Guardrails, para garantir proteção dos inputs e outputs dos modelos. Foi, então, anunciado o Multimodal Toxicity Detection com suporte a imagens para expandir funcionalidades já existentes. Com isso, é possível agora definir o nível de tolerância para discurso de ódio, insultos e violência também para imagens.
Key Takeaways
O keynote do Swami foi bem alinhado com as expectativas. Não houve um grande lançamento, mas tivemos novas funcionalidades muito relevantes para o desenvolvimento de soluções de IA. Mais uma vez, foi reforçado o posicionamento da AWS como plataforma para desenvolvedores construírem em cima, e o anúncio das aplicações no SageMaker e o Bedrock Markeplace reforçam isso.
Além disso, está muito claro que a grande maioria das empresas ainda têm dificuldade em capitalizar com soluções de GenAI, tanto por não escolherem um problema de negócios relevante para atacar e utilizarem a tecnologia pela hype, quanto por não olharem a jornada completa do desenvolvimento da tecnologia pensando em escala de produção, e que exige diversos controles e otimizações a nível de arquitetura.
Quer saber como essas novidades podem apoiar o seu negócio? Clique aqui para falar com os nossos especialistas.
