Data Analytics

A Governança de Dados traz grandes benefícios sempre que utilizamos dados, e em um ambiente de nuvem isso não é diferente. Com o aumento do uso da computação em nuvem, torna-se essencial que as empresas adotem estratégias eficazes para garantir a segurança e a gestão adequada de seus dados. Nesse cenário, estudar e aplicar a Governança de Dados é fundamental para assegurar a conformidade, a proteção das informações e a eficiência dos pipelines de dados.  Uma governança bem implementada reduz problemas como acesso não autorizado a dados confidenciais, inconsistências e duplicidades nos dados, ao mesmo tempo facilitando a rastreabilidade e aumentando a conformidade com normas e regulamentações, reduzindo riscos legais e evitando penalidades. Por fim, melhora a eficiência operacional ao otimizar o acesso e o gerenciamento dos dados, tornando os processos mais ágeis e estratégicos.

Sobre a o cliente A primeira fintech especializada em importação para empresas no Brasil e América Latina oferece soluções financeiras de crédito, financiamento e câmbio, assim como soluções tecnológicas que facilitam, simplificam e unificam em uma única plataforma. A empresa se destaca por três pilares fundamentais: Tecnologia: Equipe de programadores especializados em soluções inovadoras. Financeiro: Expertise em finanças para identificar os melhores produtos e potencializar resultados. Importação: Origem no comércio exterior com uma longa história em uma das principais tradings do Brasil. O desafio A atuação da empresa acontece através de Sales Development Representative (SDRs) que geram oportunidades de negócio através de diversos contatos com clientes, incluindo ligações telefônicas diretas com os leads. O desafio de negócio era extrair métricas de qualidade dessas ligações e garantir a melhor utilização do pitch, aumentando a qualidade da operação dos SDRs e a conversão de mais oportunidades de negócio. Anteriormente, todo o processo de análise das ligações para identificar pontos de melhoria no atendimento, adaptações do pitch e avaliação da qualidade dos atendimentos era realizado manualmente pelo gestor, que ouvia o áudio de cada ligação e fazia as análises. Para conseguir gerar relatórios automatizados para auxiliar o gestor na análises dessas ligações, a e-Core apoiou a fintech com uma solução personalizada de inteligência artificial utilizando os recursos da AWS. A solução A solução começa com a utilização das gravações das ligações telefônicas dos SDRs com os leads. O primeiro passo foi criar um pipeline de processamento para transformar as gravações em texto. Com a transcrição da gravação, utilizamos IA Generativa para realizar a avaliação da ligação. Desenvolvemos um prompt para avaliar o diálogo entre o SDR e um lead, analisando pontos como aderência ao pitch de vendas, habilidades de comunicação, apresentação do produto e serviço oferecido pela empresa. O resultado final dessa análise consiste em um feedback construtivo voltado aos pontos de melhoria, desenvolvimento e motivação para o SDR. Utilizamos um modelo de IA generativa para transformar automaticamente as transcrições das chamadas em dados estruturados com o uso do Amazon Bedrock, extraindo e organizando campos essenciais, e gerando feedback construtivo para melhorar a atuação do SDR. O arquivo resultante é armazenado em um bucket AWS S3 e também enviado para a área do gestor na plataforma da companhia através de uma fila AWS SQS. Abaixo, você confere a arquitetura da solução personalizada criada pela e-Core: O resultado O processo de análise das ligações, que antes demandava tempo e esforço considerável do gestor, agora é automatizado, permitindo feedback imediato tanto para o SDR quanto para o gestor logo após a ligação. A escalabilidade da solução possibilita o processamento de 200 áudios em apenas 2 minutos, algo impossível de ser alcançado manualmente. Além disso, o custo da solução automatizada é menor do que o custo de uma pessoa realizando a mesma tarefa manualmente. A automação não só reduziu o tempo médio de análise das ligações, como também proporcionou o levantamento de métricas detalhadas para todas as ligações realizadas, como tempo médio de ligação, qualidade da ligação e produtividade dos SDRs. Com o feedback de todas as ligações, foi possível aumentar o tempo médio de ligação em 50%, indicando assim maior engajamento do cliente, e a efetividade das ligações em 20%. Essas melhorias refletem diretamente na qualidade do atendimento e na conversão de oportunidades de negócio, solidificando a empresa como uma fintech inovadora e eficiente no setor de importação.

A migração automatizada para Amazon RDS, com tecnologia e-Core, melhorou o desempenho, reduziu riscos e modernizou a oferta de serviços do líder global.

No cenário empresarial atual, as organizações enfrentam um paradoxo: acumulam volumes crescentes de dados, mas lutam para transformá-los em valor real para o negócio. A capacidade de usar dados de forma inteligente para transformar processos, produtos e serviços tornou-se um imperativo, visto que “os dados são o novo ouro”.  Nesse contexto, a Inteligência Artificial emerge como tecnologia fundamental para extrair insights e criar soluções valiosas, permitindo que as empresas tomem decisões mais assertivas. Segundo um estudo recente , empresas que ampliaram significativamente sua equipe de IA tiveram um crescimento de cerca de 20% em vendas, empregos e valor de mercado – ganhos atribuídos, em parte, à inovação em produtos por meio do uso estratégico da IA. Ainda assim, mesmo diante desses ganhos expressivos, muitas organizações se questionam se estão verdadeiramente preparadas para adotar a IA, quais seriam os primeiros passos e como integrar de maneira eficaz dados, cultura e tecnologia. Este artigo busca responder essas questões, oferecendo um guia prático para identificar e implementar casos de uso de IA em sua empresa. → Saiba a diferença entre Inteligência Artificial, Machine Learning, Deep Learning e GenAI Compreendendo a IA no Contexto dos Negócios Diante dos desafios apresentados na transformação de dados em valor real, é fundamental compreender como a IA se integra ao contexto empresarial atual. As empresas que obtêm sucesso na aplicação de IA combinam três pilares fundamentais: Mindset: Cultura organizacional que valoriza a inovação e está aberta à transformação digital. A liderança e as equipes devem estar alinhadas na visão de como a IA pode impulsionar o negócio. Skillset: Competências necessárias para implementar e gerenciar soluções de IA, incluindo ciência de dados, engenharia de dados e especialistas em domínios específicos. Toolset: Ferramentas e tecnologias apropriadas para desenvolver e implementar soluções de IA. Quando esses três pilares estão alinhados, a empresa pode criar o chamado Efeito de Rede de Dados (Data Network Effect). Esse efeito se manifesta em um ciclo virtuoso no qual a coleta de mais dados leva a modelos mais precisos, o que resulta em clientes mais satisfeitos e ainda mais dados para aprimorar as soluções. → Saiba como os Agentes de IA estão moldando o futuro dos negócios Benefícios da IA para os Negócios Com os três pilares fundamentais – mindset, skillset e toolset – alinhados, as organizações podem explorar o potencial transformador da IA. Esta tecnologia é capaz de gerar valor em múltiplas frentes do negócio, como os apresentados a seguir: Automação e Produtividade: A IA pode automatizar tarefas repetitivas, liberando as equipes para atividades de maior valor estratégico. Exemplo: Na e-Core, automatizamos a análise de qualidade das ligações de vendas, reduzindo o tempo de análise de 200 áudios para 2 minutos e aumentando a efetividade das ligações em 20%. Leia o case completo aqui . Manutenção Preditiva e Eficiência Operacional: A IA permite prever e prevenir falhas, otimizando processos e reduzindo custos operacionais. Exemplo: Desenvolvemos um modelo de machine learning baseado em Deep Learning para previsão de falhas de equipamentos, alcançando 80% de precisão e economia anual de $850 mil, com ROI em 6-8 meses. Veja o case completo aqui . Experiência do Cliente: Recursos de IA permitem oferecer recomendações personalizadas e atendimento 24/7. Exemplo: Implementamos uma solução de IA generativa para uma fintech de importação, automatizando a análise de ligações e fornecendo feedback imediato aos SDRs. Isso reduziu o tempo de avaliação, melhorou a qualidade das interações e aumentou em 20% a efetividade das chamadas, elevando a experiência do cliente. Saiba mais sobre o case aqui . Além dos exemplos acima, a IA tem demonstrado valor significativo em outras áreas críticas para diversos negócios, como otimização de preços e receita, gestão automatizada de estoques, análise preditiva de comportamento do consumidor e detecção de fraudes em transações. → Veja também como a EEmovel utiliza inteligência artificial para acelerar seu processo de web scraping Identificando Casos de Uso de IA em sua Empresa Após compreender os benefícios potenciais da IA e seus casos de sucesso em diferentes setores, o próximo passo crucial é identificar as oportunidades específicas em sua organização. Antes de iniciar qualquer projeto, é fundamental realizar uma análise completa considerando três aspectos principais: Mapeamento de Processos O mapeamento detalhado dos principais processos da empresa é um caminho natural para descobrir gargalos que possam ser resolvidos com IA. Em muitas situações, tarefas repetitivas são candidatas à automação, mas é importante avaliar se o uso de IA é realmente necessário ou se uma automação mais simples seria suficiente. Alinhamento Estratégico e Viabilidade Uma vez que os processos já estão mapeados, é necessário estimar ganhos em termos de KPIs que seriam obtidos com o uso de IA nessas tarefas. Em cenários onde há dúvidas sobre a maturidade digital da organização ou a real necessidade de IA, a e-Core utiliza a metodologia Data Driven Everything (D2E) . Esta abordagem envolve uma imersão no ambiente do cliente para entender não apenas os processos declarados, mas também as necessidades reais da organização. Um dos artefatos gerados durante esse processo é a matriz de priorização, que mapeia as iniciativas identificadas como o benefício potencial para o negócio ao nível de complexidade de implementação.

As empresas nunca geraram tantos dados quanto atualmente. No entanto, transformar esse volume de informações e, sobretudo, a base para decisões estratégicas ainda é um grande desafio. O uso de ferramentas de inteligência artificial (IA), como o Atlassian Intelligence (disponível na versão cloud premium) e Rovo, são algumas das soluções disponíveis para visualizar os dados de todo o processo organizacional e obter insights úteis para o negócio.  Segundo uma pesquisa da KPMG sobre o impacto da tecnologia em diversos setores, um dos principais obstáculos é justamente a dificuldade de quantificar o valor real dos investimentos tecnológicos e utilizá-los para tomar decisões estratégicas com base em dados. Embora quase todos os executivos brasileiros reconheçam a importância de decisões baseadas em dados, quase metade ainda não se considera capaz de fazer um uso eficaz dos dados de suas próprias empresas. A IA surge como um grande aliado nesse cenário, ajudando a otimizar a gestão e a análise de dados para que as organizações possam tomar decisões com mais precisão e agilidade. Como a IA facilita a gestão e análise de dados Um estudo global da IBM , intitulado “CEO Decision Making in the Age of AI, Act with Intention“, revelou que 76% dos CEOs confiam nos dados operacionais internos como principal fonte de informação para tomada de decisão. Mas transformar esses dados em informações úteis é uma barreira comum. A falta de softwares e ferramentas que facilitem esse processo é um dos motivos apontados para que empresas tenham problemas em identificar insights relevantes a partir dos próprios dados. Pouco entendimento aprimorado acerca de como acessar e operar dados em algumas plataformas também foi um desafio apontado pela pesquisa. Diante desses desafios, muitas empresas encontram na inteligência artificial soluções para obter esses insights de desenvolvimento e tomar decisões verdadeiramente baseadas em dados , traçar estratégias mais assertivas e alcançar resultados mais consistentes Atlassian AI: o que é e como usar para potencializar insights baseados em dados Com o intuito de oferecer soluções integradas para para a gestão e análise de dados e auxiliar na tomada de decisões estratégicas, a Atlassian lançou o Atlassian Intelligence (AI), disponível na versão cloud premium, uma ferramenta que usa inteligência artificial para otimizar a produtividade e a colaboração empresarial. Integrado ao Atlassian Cloud, o Atlassian AI oferece resumos gerados por IA no Confluence e no Jira Service Management, permitindo que as equipes compreendam rapidamente as informações e tomem medidas imediatas. Além disso, é possível visualizar resumos de forma fácil a partir de documentos do Confluence, Jira ou Google Docs. Outra funcionalidade que aumenta a visibilidade de dados operacionais e aprimora a análise é o AI Work Breakdown, que elimina a necessidade de criar issues manualmente. Com essa tecnologia, a quebra ou desdobramento devidamente qualificado das issues ocorre em todos os níveis da hierarquia, considerando dos níveis superiores aos inferiores, incluindo a questão da aprovação delas mesmas antes da criação, de fato, de cada uma delas. Além disso, o Atlassian Intelligence se integra perfeitamente com outras soluções da Atlassian, promovendo uma visão 360º do ambiente corporativo. Leia mais → Por que investir nas ferramentas Atlassian Integração e visibilidade 360º com Atlassian AI e Rovo Uma extensão das soluções Atlassian é o Rovo, um ou mais agentes de IA generativa que transforma dados organizacionais em insights acionáveis. Eles também podem ser criados com base nas necessidades específicas de cada organização. Integrando informações de diferentes fontes, incluindo ferramentas Atlassian e aplicativos SaaS, o Rovo permite uma análise, aprendizado e ação sobre algo, de forma mais eficiente e um processo decisório mais ágil. O Rovo interpreta a intenção do usuário em tempo real a partir de recursos avançados de busca, como pesquisa semântica e indexação inteligente. Isso significa que os colaboradores podem pesquisar em diversas ferramentas simultaneamente, sem alternar entre aplicativos, consolidando informações de fontes como Google Drive e Microsoft SharePoint. Além disso, o Rovo não apenas recupera informações, mas também fornece insights estruturados para apoiar a tomada de decisões. A ferramenta oferece visualizações flexíveis de dados de diversas fontes, permitindo que líderes compreendam melhor como o trabalho está sendo realizado dentro das equipes. O Rovo também conta com um assistente virtual inteligente, que automatiza a execução de tarefas e recomenda ações estratégicas com base no contexto organizacional. Com a capacidade de aprendizado contínuo, o Rovo se adapta ao uso da empresa, refinando suas sugestões e garantindo que a busca por informações e a análise de dados sejam cada vez mais precisas. Isso torna a plataforma uma aliada para enfrentar desafios na otimização do uso de dados estratégicos e impulsionar a eficiência operacional. Como a Atlassian AI impulsiona a eficiência empresarial As soluções Atlassian Intelligence e Rovo estão alinhadas com o System of Work da Atlassian , uma abordagem que visa eliminar silos organizacionais, alinhamento com os objetivos estratégicos, planejar, executar e rastrear todo o trabalho e desbloquear o conhecimento nas organizações. Essa filosofia fornece um ambiente onde ferramentas e soluções Atlassian estão interconectadas, garantindo que todas as informações relevantes estejam disponíveis em tempo real. Isso permite que os líderes e colaboradores consigam visualizar o progresso de suas iniciativas, identificar gargalos e tomar decisões informadas com base em dados atualizados. Além disso, esse modelo aprimora a análise de dados ao cruzar informações de diferentes fontes, fornecendo insights acionáveis que tornam a gestão mais eficiente e a tomada de decisão mais assertiva. Leia mais → O papel da Atlassian na transformação digital das empresas Eleve sua estratégia de dados com a e-Core Para implementar soluções que potencializam a gestão de dados e promovem uma cultura organizacional orientada por IA, contar com um parceiro estratégico é fundamental. A e-Core é parceira Atlassian Platinum e especialista em soluções para gestão de dados e otimização de processos. Entre em contato e descubra como podemos ajudar sua empresa a adotar soluções Atlassian AI para melhorar a produtividade e a eficiência operacional.

Por Gabriel Marchelli, arquiteto de soluções Startups na AWS; Bruno Vilardi Arquiteto de Soluções na e-Core e AWS Community Builder; Matheus Gonçalves, engenheiro de Dados e Ricardo Johnny, Arquiteto de Nuvem na EEmovel. A EEmovel é uma startup de tecnologia fundada em 2014 em Cascavel – PR, ofertando para seus clientes soluções com o uso de dados do mercado imobiliário. Suas ferramentas visam apoiar a tomada de decisão de diferentes segmentos de negocio como imobiliárias, instituições financeiras, grandes varejistas, construtoras, incorporadoras e empresas do agronegócio. A startup destaca-se no atendimento ao mercado imobiliário urbano em que oferece uma plataforma SaaS chamada EEmovel Brokers. Com uma interface leve e intuitiva, a plataforma permite que corretores e imobiliárias localizem imóveis para captação, realizem avaliações e gerenciem sua carteira de ativos. A startup utilizas grandes bases de dados, com mais de 30 milhões de imóveis ativos e atualizadas constantemente. Outro foco de atuação é no Agronegócio com a EEmovel Agro, uma plataforma de Inteligência de Mercado com mais de 7,5 milhões de propriedades rurais mapeadas em todo o Brasil. A plataforma fornece informações detalhadas sobre culturas agrícolas, histórico de plantio, dados técnicos do solo, altitude, declividade, e muito mais. Alem disso, para os clientes do Agronegócio são disponibilizados dados sobre os proprietários e possíveis arrendatários das propriedades. A empresa ainda oferece avalições de imóveis rurais e urbanos e ferramentas para determinar o posicionamento ideal para novos negócios, especialmente no ramo varejista. Você pode consultar o blog da EEmovel nesse link . Desafio A EEmovel realiza um trabalho extenso de web scraping em uma grande variedade de sites de imobiliárias, com o objetivo de obter informações sempre atualizadas sobre imóveis (preço, área, localização e outras características relevantes). A empresa coleta dados de aproximadamente 11 mil sites de imobiliárias brasileiras, o que resulta em um volume de 20 milhões de anúncios por dia, abrangendo cerca de 16% do mercado imobiliário brasileiro. Apesar do grande alcance e da relevância das informações coletadas, o processo atual enfrenta desafios significativos. A metodologia utilizada para o web scraping é predominantemente manual e requer uma manutenção contínua dos scripts considerando que alterações frequentes nos sites das imobiliárias exigem adaptações constantes. Isso torna o processo não apenas demorado, mas também caro e propenso a falhas. Um dos maiores problemas enfrentados pela EEmovel é a alta taxa de falhas nos scripts. Em média, 100 scripts quebram por dia, um volume que supera a capacidade diária da equipe responsável por corrigir essas falhas. Esse cenário é ainda mais complexo quando se lida com os sites das maiores imobiliárias, que geralmente possuem designs personalizados e estruturas próprias, o que dificulta a automação e exige a criação de códigos específicos para cada um. Em média um colaborador leva em torno de 8h para corrigir um script quebrado, levando em consideração a identificação o erro, fazer a correção e validar o código. Embora a empresa tenha tido sucesso na automação de processos para sites mais simples, os sites mais complexos continuam a demandar a participação de diversos colaboradores, aumentando consideravelmente os custos operacionais. A manutenção dessas automações personalizadas, em conjunto com a constante necessidade de adaptação, torna o processo de coleta de dados altamente desafiador e financeiramente oneroso. Esse cenário ressalta a necessidade de melhorias significativas no processo de web scraping, seja por meio da criação de soluções mais robustas e automatizadas, ou pela adoção de novas tecnologias que possam reduzir a necessidade de intervenção humana, aumentando a eficiência e a escalabilidade da operação. Solução Para superar este obstáculo, a e-Core , uma consultoria especializada AWS, foi engajada ao lado da equipe AWS e do time da EEmovel para construir a solução. Foi desenvolvida uma arquitetura automatizada e inteligente baseada em tecnologias AWS e ferramentas especializadas de scraping, como o Playwright e o Scrapy . Essa solução tem como objetivo otimizar o processo de coleta de dados e reduzir a manutenção manual, utilizando uma combinação de serviços da AWS como o AWS Lambda (para a execução de funções), Amazon Bedrock (serviço de IA generativa totalmente gerenciado que oferece várias opções de modelos de base (FMs)), e serviços auxiliares como AWS Step Functions (serviço que fornece orquestração sem servidor para aplicações modernas). e o Amazon Simple Storage Service (Amazon S3) para o armazenamento de objetos.

Os ambientes de Big Data estão se tornando cada vez maiores com o crescimento da computação distribuída, IoT, microsserviços e a quantidade de maneiras diferentes de armazenar dados na nuvem. Nesse contexto, acompanhar todo o movimento de dados é quase impossível. Nos seus sistemas de dados ou no último projeto em que trabalhou, você conseguiria dizer quais dados uma coluna em um database de origem gerou no dashboard ao final de um pipeline? Neste artigo, veremos as ferramentas e abordagens que podem nos dar uma melhor capacidade de observar o data flow através do ambiente, tornando toda a organização mais sustentável. Introdução De acordo com o livro Observability Engineering: Achieving Production Excellence, o termo “Observabilidade” foi criado pelo engenheiro Rudolf E. Kalman em 1960. Desde então, passou a significar diferentes coisas, dependendo da comunidade em que é utilizado. Para aplicações, podemos encontrar com facilidade referências sobre três pilares: Logs: logs de aplicativos, logs de infraestrutura, logs de servidores etc. Métricas: para qualidade, saúde da infraestrutura, alarmes etc. Traces (rastros de execução): solicitações HTTP, microsserviços, banco de dados etc. Na Engenharia de Dados, porém, podemos desdobrar os traces em dois outros tópicos: