Microsoft
Senior Data Product Manager, Outlook
Jul 2021 - Atual
Plataforma de evals, agentes de IA e o ecossistema de telemetria do Outlook e do Copilot.
Destaques
- Lidero a iniciativa da plataforma de evals no Outlook, em parceria com mais de 30 times dentro e fora da organização, para construir e rodar evals online e offline para os donos de cenários de IA (Summarize, Draft e outros), expondo métricas de qualidade para elevar a qualidade dos agentes rumo às metas de conclusão de tarefa e qualidade.
- Projetei e construí o CEAD (Copilot Evaluation Agent for Data), um agente de IA que guia os times de ponta a ponta — da definição do objetivo da avaliação à geração de dados sintéticos e à montagem do conjunto de evals completo — alimentando a plataforma interna SEVAL da Microsoft, onde os jobs rodam diariamente em produção.
- Uso práticas AI-native diariamente para construir artefatos de produto: geração de conjuntos de evals e dados sintéticos com ferramentas de IA, montagem de evals de DSAT a partir de feedback real de usuários e conexão de múltiplas fontes de dados em métricas e dashboards — incorporando conceitos de IA responsável ao harness de avaliação.
- Faço mentoria e coaching de times em evals como disciplina de primeira classe, conduzindo os office hours de evals offline do Outlook para espalhar uma cultura eval-first e codificar um playbook repetível que os times de cenário reutilizam.
- Lidero o ecossistema de telemetria do Outlook — definindo sucesso e a estratégia de plataforma de dados multi-geografia, garantindo sinais consistentes, confiáveis e de baixa latência em sete clientes em escala global.
- Liderei a modernização e unificação das High-Value Actions (HVAs), equilibrando experiência do cliente e restrições de engenharia e reduzindo em 86% o custo de processamento, produção e armazenamento de dados.
- Vendi novos frameworks e padrões de medição para mais de 20 times parceiros, impulsionando a adoção de uma governança de telemetria unificada em toda a organização e um roadmap compartilhado para métricas de Consumer Trust e Copilot.
- Construí ferramentas internas de descoberta de dados, confiabilidade e análise de causa raiz em mais de 2.000 sinais de telemetria, acelerando a velocidade de engenharia dos times de cliente e de serviço.