Sabemos que trabalhar com LLMs em produção não é só sobre fazer chamadas para APIs e torcer para o melhor. Precisamos entender o que está acontecendo, quanto está custando, se as respostas fazem sentido e por aí vai. Ter uma boa stack de monitoramento já me salvou alguma vezes e meu time de plantão um pouco irritado, mas faz parte do game hahah.
Mas vamos lá, existem ferramentas de observabilidade específicas para LLMs. Vamos focar em duas das principais: Langsmith (a principal e recomendada pela comunidade do langchain) e Langfuse (ótimo produto, opensource e acelerado pela YCombinator).
// 1 - Instalar a lib via NPM ou YARN (yarn add langsmith)
// 2 - Configurar algumas variáveis de ambiente
process.env["LANGSMITH_TRACING"] = "true";
process.env["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com";
process.env["LANGCHAIN_API_KEY"] = "<YOUR-LANGSMITH-API-KEY>";
// process.env["LANGCHAIN_PROJECT"] = "My Project Name"; // Optional: "default" is used if not set
// 3 Realizar alguma chamada usando o Langchain, exemplo:
const { ChatOpenAI } = require("@langchain/openai");
const chat = new ChatOpenAI({
temperature: 0,
});
const response = await chat.predict(
"Translate this sentence from English to French. I love programming."
);
console.log(response);
// OBS IMPORTANTE: é possível chamar direto a OpenAI/Antropic com o SDK fornecido por eles, sem usar o Langchain.
O simples fato de fazermos o que esbocei acima com código, já cria um log dentro do Langsmith que veremos a seguir:
O que podemos ver nesse log:
Isso já ajuda DEMAIS, no controle do seu ambiente produtivo e quando trabalhamos com agentes, é possível ver as idas ao LLM de forma estruturada, para entender quais tools foram necessárias para cada etapa da jornada. Além disso, da para clicarmos no botão “Playground” para trabalharmos com variações do nosso prompt.
Na documentação oficial tem muita coisa legal e vários exemplos de funcionalidades que a ferramenta trás out of the box. Vale dar uma lida.
O langfuse que eu mencionei no começo do nosso artigo, tem um setup muito parecido e a ideia aqui não é entrarmos em tantos detalhes técnicos, mas sim, explorarmos as diferenças e quanto isso vai custar no fim do mês.
Ou seja:
Analisando Custo-Benefício
Vamos ver a seguir custo benefício e um comparativo entre eles.
Mas minha recomendação final é: comece com Langsmith, a migração não é tão complexa e você ganha tempo de implementação no projeto, mas independente da ferramenta ou estratégia, seja responsável com seus projetos. LLM em produção pode ser caro.