Voltar para a constelaçãoVoltar

Detalhes

Perch Insights

Engenheiro Fullstack de IA

Passei da engenharia fullstack para a confiabilidade de IA em um produto de análise B2B, trabalhando com consultas em linguagem natural, recuperação de schemas dos clientes, pipelines LangChain, traces no LangSmith, avaliações e insights guiados por ontologia.

Arquitetura 3D ao vivo

Use a navegação para alternar entre diagramas e trabalhos relacionados, depois role o painel para ler os detalhes.

Pergunta para consulta e resultado no painel, com agentes especialistas representados como um ponto de decisão de alto nível.

Meu trabalho

Engenharia de produto de IA aplicada, onde a correção dependia do aterramento de esquema, observabilidade e avaliação específica por cliente.

Melhorei um pipeline de análise de linguagem natural com seis agentes que transformava perguntas de negócios em consultas estruturadas sobre o esquema de cada cliente, separando a interpretação de tempo, medidas e dimensões, intenção, subconsultas, ordenação e filtragem.
Migrei a recuperação do Pinecone para PostgreSQL/pgvector e melhorei o matching top-K com busca vetorial mais por palavra-chave, optando por não adicionar reranking porque a latência do painel era uma restrição de produto.
Reescrevi classes de agente TypeScript feitas manualmente em pipelines LangChain preservando os prompts, então adicionei instrumentação LangSmith que expôs aproximadamente 350 etapas, fases e subfases inspecionáveis por execução.
Integrei um framework de avaliação personalizado com conjuntos de dados LangChain e LangSmith: 300+ casos de prompt no nível do pipeline, 400+ testes por ambiente de cliente, verificações JSON finais e por agente, e diferenças entre o esperado e o real.
Contribuí para um serviço de geração de insights Python/LangGraph que usou ontologias de negócio construídas pelo cliente para transformar resultados de consulta, pivôs e objetivos em recomendações para executivos que não sabiam qual pergunta fazer.

Engenharia da plataforma

Geração de consultas, recuperação, observabilidade e avaliação.

  • Consulta, recuperação e avaliação

    O pipeline transforma uma pergunta de negócio em uma consulta estruturada ao resolver tempo, medidas, dimensões, intenção, subconsultas, ordenação e filtros. Migrei a recuperação do Pinecone para pgvector com busca textual e vetorial, sem reranking no caminho interativo para limitar a latência. Suítes de avaliação por cliente comparam as saídas JSON finais e por agente para localizar regressões.

  • Migração LangChain e LangSmith

    Substituí classes próprias de agentes em TypeScript e encadeamentos fixos por pipelines LangChain, preservando os prompts. O LangSmith tornou visíveis entradas, saídas e contexto em aproximadamente 350 etapas e subfases por execução, facilitando a localização de falhas e a avaliação de mudanças no pipeline.

Avaliação de Consulta e Recuperação

Mecanismo de consulta NLP; recuperação pgvector; migração para LangChain; rastreamento com LangSmith; framework de avaliação

  • Problema

    Análise de linguagem natural precisava de geração confiável de consultas em esquemas de clientes, contexto de negócios e alterações de lançamento.

  • Meu papel

    Passei do trabalho fullstack para confiabilidade de consultas, recuperação, tracing e avaliações, em conjunto com as equipes de produto e dados.

  • Solução implementada

    A solução mantém a geração de consultas por agentes especialistas, migra classes TypeScript personalizadas para LangChain preservando prompts e adiciona rastreamentos LangSmith inspecionáveis e conjuntos de avaliação por cliente.

  • Decisões e trade-offs

    Usar recuperação híbrida Pinecone-para-pgvector; evitar reranking onde a latência o tornasse inaceitável; avaliar saídas JSON finais e por agente.

Stack e domínios

  • TypeScript
  • Next.js
  • Node.js
  • tRPC
  • LangChain
  • LangSmith
  • LangGraph
  • Python
  • PostgreSQL
  • PgVector
  • Pinecone
  • FastAPI
  • AWS