Fanstía
Volver a proyectos
Vivo2025–2025

ai-api (RuFFyGTL Edition)

API multi-provider con load balancing, failover automático y métricas Prometheus. Basada en dm94/ai-api, re-configurada y extendida.

RolRe-configuración y extensión
AutoresRuFFyGTLP
Captura de ai-api (RuFFyGTL Edition)

Descripción

Capa de abstracción sobre 9 proveedores de IA (Groq, Cerebras, OpenRouter, OpenAI, Anthropic, Together, Cohere, DeepSeek, xAI) con Weighted Round Robin, failover transparente, health monitoring, métricas Prometheus, OpenAPI docs y streaming SSE. Docker-ready con healthchecks y resource limits.

La historia

El upstream de dm94 resolvía un problema real (unificar providers) pero su configuración por defecto dejaba mucho en la mesa. La RuFFyGTL Edition re-pesó los weights por defecto, añadió health monitoring periódico, formalizó el patrón de headers X-AI-Service, y dejó el proyecto production-ready con Docker Compose y tests.

Cómo se construyó

Fork limpio, no commit directo sobre el upstream (respeto al autor original). Los cambios viven en la rama principal del fork; el upstream se sincroniza periódicamente. La sinergia con Nexus Co-Pilot es directa: la extensión consume providers a través de esta API.

Resultados

  • 9 providers soportados con failover transparente
  • Métricas Prometheus + OpenAPI docs interactivo
  • Docker Compose con health checks y resource limits

Stack

TypeScriptNode.jsPrometheusOpenAPIDockerSSE

Enlaces