LiteLLM Gateway: Chaves, Quotas e Fallback

Resposta rápida: Para um agente de teste consumir quota de produção em retry, use LiteLLM com 4000 interno; 443 no proxy e uma validação reproduzível antes do corte. O ambiente de referência é LiteLLM conforme a versão instalada; Docker Compose v2. Este guia mostra comandos, critérios e rollback, mas não afirma medição de produção. Para o perfil descrito, VPS Brasil Ultra oferece 20 GB de RAM, 8 vCPUs e 200 GB NVMe por R$ 269/mês; confirme o consumo real antes de contratar.

Veja a infraestrutura: VPS para Docker, Portainer e Coolify para colocar este projeto no ar.

Use este material como roteiro de decisão: primeiro observe, depois altere, e por fim registre o que mudou. Essa ordem reduz retrabalho e mantém o diagnóstico auditável.

O ganho de informação deste artigo é padronizar acesso mantendo quota e fallback explícitos. A decisão não é qual ferramenta é melhor em abstrato: é qual camada recebe o tráfego, qual estado sobrevive a reinícios e qual sinal prova que a mudança funcionou. Essa separação evita transformar hipótese em claim.

O que este procedimento resolve

LiteLLM entra aqui como parte de uma operação maior. O caso menos óbvio é um agente de teste consumir quota de produção em retry. A resposta prática é guardar o estado anterior, aplicar uma mudança pequena e comparar o resultado com um critério escrito. Comandos em sequência, sem hipótese, criam ruído e tornam o rollback difícil.

Para quem o roteiro serve

Ele é destinado a quem administra uma aplicação em VPS, acessa configuração e logs e pode testar com dados sintéticos. Se você não controla a versão, a credencial ou o destino dos dados, adapte o roteiro e peça autorização antes de executar. Publique o seu próprio resultado quando houver teste.

O que ele não promete

um agente de teste consumir quota de produção em retry não prova que toda instalação terá o mesmo comportamento. A imagem, o plano e os comandos são referências. Nenhum número de latência, throughput, economia, adoção ou disponibilidade é inventado neste lote.

Arquitetura, recursos e fronteiras

Comece por uma fronteira explícita: 4000 interno; 443 no proxy. Proxy e endpoint público devem ser separados de banco, fila, painel administrativo e métricas. Dados persistentes precisam de volume ou storage previsto no backup. Credenciais ficam fora do Git, de capturas e de logs. Se houver Nginx, use-o para TLS, headers e controle, mantendo o upstream privado.

Requisitos de referência

O ambiente citado é LiteLLM conforme a versão instalada; Docker Compose v2. O VPS Brasil Ultra tem 20 GB de RAM, 8 vCPUs e 200 GB NVMe por R$ 269/mês, conforme o catálogo do repositório. Isso é especificação comercial, não consumo observado. Some aplicação, dependências, sistema e margem; depois meça durante o pico real.

Estado e dependências

Separe código, configuração, dados e chaves. Código pode ser reconstruído de referência versionada; banco, arquivos e coleções exigem restauração; chaves precisam de recuperação independente. O ponto prático é testar o que sobrevive a restart e o que só parecia funcionar porque o processo estava ativo.

Comparação operacional

Passo a passo verificável

Execute em staging ou em janela autorizada. O procedimento para LiteLLM deve produzir evidência por etapa: configuração renderizada, serviço ativo, caminho público, estado preservado e retorno possível. Substitua apenas placeholders claramente marcados.

Sequência recomendada

1. inventariar versão, dependências, portas e dados.
2. registrar backup e estado anterior.
3. aplicar uma mudança pequena em teste.
4. validar serviço, jornada e consumo.
5. praticar o rollback e registrar a conclusão.

Comandos e configuração

# Descoberta e estado atual
LiteLLM --version 2>/dev/null || true
ss -lntup
free -h
df -h

# Configuração de referência — substitua placeholders
SERVICE=SEU_SERVICO
HOST=SEU_DOMINIO
PORTA_INTERNA=PORTA
# mantenha credenciais fora deste arquivo
echo "validar $SERVICE em $HOST:$PORTA_INTERNA"

# Subida ou reload controlado
docker compose config
docker compose up -d $SERVICE
docker compose ps
curl -fsS https://$HOST/health

# Evidência e rollback
docker compose logs --since=15m $SERVICE
journalctl -u $SERVICE --since '15 min ago' --no-pager
sha256sum backup-ARQUIVO
# preserve logs antes de restaurar a referência anterior

Esses blocos são modelos e não foram executados neste lote. Para aprofundar, consulte o guia de proxy reverso Nginx e o roteiro de backup e restauração PostgreSQL. Confira a compatibilidade de versão antes de copiar qualquer configuração.

Como validar sem autoengano

Valide três dimensões: componente ativo, caminho usado pelo usuário e estado esperado. Para LiteLLM, registre data, versão, origem, duração, status, consumo e trecho de log não sensível. Um comando com código zero comprova somente aquele comando.

Critérios de sucesso

• Configuração renderizada sem erro.
• Portas coerentes com a superfície planejada.
• Jornada crítica concluída com dados sintéticos.
• Backup ou checksum verificável.
• Rollback descrito e possível.

Resultado e limitação

O resultado deste lote é não medido em produção. O que foi preparado é uma procedure reproduzível, não um log, captura ou depoimento. Versão, rede, carga, dados e permissões alteram a saída; ao executar, publique seu próprio ambiente e resultado.

O ângulo próprio é padronizar acesso mantendo quota e fallback explícitos. Ele reduz a pergunta a uma decisão testável: um agente de teste consumir quota de produção em retry. Se a evidência contrariar a hipótese, preserve os sinais, reverta e só depois reavalie RAM, CPU, timeout ou workers.

Erros comuns e rollback

Antes de encerrar, compare o estado inicial com o estado final. Liste processos, portas, volumes, arquivos alterados e dependências consultadas. Essa fotografia operacional é uma evidência simples: permite explicar a mudança a outra pessoa e repetir o teste em uma janela diferente. Em LiteLLM, também vale registrar a condição de carga, pois um resultado obtido em repouso não descreve necessariamente o comportamento no pico.

Se o procedimento for incorporado a um runbook, mantenha os comandos próximos do critério que eles verificam. Marque os passos destrutivos, peça confirmação antes de apagar dados e defina a pessoa responsável por decidir o rollback. Um documento curto, atualizado e executável é mais útil do que uma lista extensa de recomendações sem dono.

O erro mais caro é corrigir a camada errada. Em LiteLLM, mais recursos não resolvem porta exposta, credencial ausente, volume sem dono, payload inválido, índice inadequado ou retry sem idempotência. Comece pelo estado anterior e altere uma variável por vez.

Atalhos perigosos

Privilégios amplos, segredo no comando, wildcard de origem, porta pública por conveniência e timeout infinito podem produzir teste verde e operação frágil. Se o caso incomum aparecer, não apague logs para limpar o diagnóstico.

Como retornar

Preserve evidências, interrompa alterações e restaure a última configuração conhecida. Confirme compatibilidade dos dados antes de subir a versão anterior. Depois teste saúde, autenticação, leitura, escrita e alertas. Rollback é parte do procedimento, não promessa de reversibilidade universal.

Checklist curto

• Backup feito e restaurável.
• Segredos fora de repositório e logs.
• Portas internas não publicadas.
• Canal de recuperação disponível.
• Horário, versão e resultado registrados.

Perguntas relacionadas

Qual versão devo usar?

Homologue a versão efetiva. A referência é LiteLLM conforme a versão instalada; Docker Compose v2; registre a saída do comando antes de comparar resultados.

Qual porta precisa ficar pública?

A superfície indicada é 4000 interno; 443 no proxy. Confirme com ss, Compose ou painel e valide de uma origem externa autorizada.

Há uma medição própria?

Não há medição de produção neste lote. Há uma procedure reproduzível e uma limitação explícita; métricas publicadas devem vir do ambiente que as coletou.

Quando pedir ajuda?

Antes de migração, restauração, mudança de segurança ou corte que afete dados. Leve inventário, objetivo, critério de sucesso, logs não sensíveis e plano de retorno.

Próximo passo: aplicar o checklist

Comece em staging: substitua placeholders, execute as verificações e registre o resultado. Para este perfil, o VPS Brasil Ultra é referência porque oferece 20 GB de RAM, 8 vCPUs e 200 GB NVMe por R$ 269/mês. Isso não é garantia de performance. Escolher o VPS Brasil Ultra depois de confirmar requisitos, backup e rollback.