Saltar al contenido principal

Guía del proveedor OpenAI y autoalojados

El proveedor openai cubre tres casos a la vez:

  1. OpenAI Cloud: los seis servicios de Insights.
  2. Cualquier servidor compatible con OpenAI: vLLM, Ollama, LiteLLM, LocalAI, Kokoro/openedai-speech, servidores faster-whisper y pasarelas. Apunte options.endpoint al servidor y el mismo código de servicio funciona sin cambios.
  3. Varias cuentas: defina varias entradas en providers.openai con id y endpoints distintos y después dirija cada servicio a la cuenta que deba atenderlo.

Como los nombres de modelo son cadenas libres, las implantaciones autoalojadas usan sus propios identificadores de modelo (una etiqueta de Ollama, un nombre servido por vLLM) y sus propias tarifas.

Servicios compatibles​

ServicioTransporteModelo predeterminado
transcriptionWebSocket Realtime, intent=transcriptiongpt-realtime-whisper
translationchat.completions con modo de respuesta JSONgpt-5.4-mini
speech-synthesisPOST /v1/audio/speech, PCM sin procesar a 24 kHzgpt-4o-mini-tts
ai_text_chatCompletados de chat en streaming más llamadas a herramientas MCPchat_model obligatorio, por ejemplo gpt-5.4
meeting_summarizing/v1/audio/transcriptions más resumen con chatgpt-4o-transcribe
ai_agentSDK Realtime o SDK Live más delegacióngpt-realtime-2.1-mini / gpt-live-1

Configuración de la cuenta del proveedor​

insights:
providers:
openai:
- id: "default-openai"
credentials:
api_key: "YOUR_OPENAI_API_KEY"
options:
endpoint: "https://api.openai.com/v1"
auth_header: "Authorization"
ClaveTipoObligatoriaDescripción
idstringSíNombre único de la cuenta, por ejemplo "default-openai", "local-vllm" o "local-whisper".
credentials.api_keystringSíClave de API. Los servidores autoalojados que no verifican claves igualmente esperan un valor no vacío.
options.endpointstringNoURL base. De forma predeterminada, https://api.openai.com/v1. En los servicios WebSocket (/realtime y /live), http y https se convierten automáticamente en ws y wss.
options.auth_headerstringNoEncabezado que transporta la clave. El valor predeterminado "Authorization" envía Authorization: Bearer <api_key>. "api-key" envía api-key: <key>, que es lo que esperan Azure OpenAI y algunas pasarelas. Cualquier otro nombre envía <header>: <key>.

Varias cuentas, una por backend:

insights:
providers:
openai:
- id: "default-openai"
credentials:
api_key: "YOUR_OPENAI_API_KEY"
options:
endpoint: "https://api.openai.com/v1"
- id: "local-vllm"
credentials:
api_key: "local"
options:
endpoint: "http://10.0.0.10:8000/v1"
- id: "local-whisper"
credentials:
api_key: "local"
options:
endpoint: "http://10.0.0.11:9000/v1"

Después, los servicios referencian esos id de forma independiente.

Configuración de los servicios​

transcription​

Abre el WebSocket Realtime con intent=transcription y envía en streaming el habla capturada como tramas PCM. A diferencia del agente de chat, esta conexión usa la intención de transcripción, así que el servidor nunca recibe audio generado de vuelta.

transcription:
provider: "openai"
id: "default-openai"
options:
realtime_transcription_model: "gpt-realtime-whisper"
transcription_turn_detection: "manual"
input_sample_rate: 16000
max_selected_trans_langs: 2
pricing:
default:
price_per_hour: 0.36
ClaveTipoPredeterminadoDescripción
options.realtime_transcription_modelstring"gpt-realtime-whisper"Modelo de transcripción en tiempo real.
options.transcription_turn_detectionstring"manual""semantic_vad" o "server_vad" dejan que el proveedor decida los límites de cada intervención. "manual" (alias "none") hace que el servidor confirme los segmentos por sí mismo, con los temporizadores de confirmación siguientes.
options.input_sample_rateentero16000Frecuencia de muestreo del audio enviado al proveedor.
options.transcription_min_commit_msentero1500Audio mínimo acumulado antes de una confirmación manual.
options.transcription_silence_commit_msentero900Duración de silencio que desencadena una confirmación.
options.transcription_max_commit_msentero12000Tope máximo de audio acumulado, para que un monólogo largo siga generando subtítulos.
options.transcription_max_buffered_silence_msentero400Silencio que se mantiene en el búfer como contexto, para que el siguiente segmento empiece con un poco de entrada previa.
options.transcription_speech_rmsentero500Amplitud RMS considerada habla. Súbala en salas ruidosas y bájela con oradores que hablan bajo.
options.max_selected_trans_langsentero2Número máximo de idiomas de subtítulos simultáneos por sala.

Los temporizadores de confirmación solo se aplican con confirmación manual. Con semantic_vad o server_vad, el proveedor emite los límites de segmento por sí mismo.

translation​

Usa chat.completions en modo de respuesta JSON para traducir todos los idiomas de destino solicitados en una sola petición.

translation:
provider: "openai"
id: "default-openai"
options:
model: "gpt-5.4-mini"
max_selected_trans_langs: 5
pricing:
default:
price_per_million_characters: 10.00
ClaveTipoPredeterminadoDescripción
options.modelstring"gpt-5.4-mini"Modelo de traducción. Sirve cualquier modelo capaz de chat, incluido uno local.
options.max_selected_trans_langsentero5Número máximo de idiomas de destino por sala.

Un modelo local en vLLM, Ollama o LiteLLM encaja bien aquí: el tráfico de traducción es de alto volumen y de textos cortos.

speech-synthesis​

Llama a /v1/audio/speech y recibe PCM sin procesar a 24 kHz, listo para enviarse a los participantes.

speech-synthesis:
provider: "openai"
id: "default-openai"
options:
model: "gpt-4o-mini-tts"
default_voice: "alloy"
pricing:
default:
price_per_million_characters: 16.00
ClaveTipoPredeterminadoDescripción
options.modelstring"gpt-4o-mini-tts"Modelo de TTS.
options.default_voicestring"alloy"Nombre de la voz. Los valores válidos dependen de su modelo o servidor.

Los servidores TTS compatibles con OpenAI exponen sus propios nombres de voz, por ejemplo las voces de Kokoro en openedai-speech. El endpoint devuelve PCM a 24 kHz sea cual sea la voz.

ai_text_chat​

Completados de chat en streaming, con llamadas a herramientas MCP mediante AITextChatStreamWithTools.

ai_text_chat:
provider: "openai"
id: "local-vllm"
options:
chat_model: "gpt-5.4"
summarize_model: "gpt-5.4-mini"
context_window: 5
pricing:
default:
input_price_per_million_tokens: 1.25
output_price_per_million_tokens: 10.00
ClaveTipoObligatoriaDescripción
options.chat_modelstringSíModelo para la conversación en vivo y las llamadas a herramientas.
options.summarize_modelstringNo, predeterminado "gpt-5.4-mini"Modelo usado para condensar el contexto.
options.context_windowenteroNo, predeterminado 5Mensajes recientes que se conservan íntegros por conversación.
tip

En un servidor local, chat_model debe ser el nombre del modelo servido (lo que informa /v1/models), no el modelo del registro upstream. Debe admitir llamadas a funciones si desea que los moderadores usen las herramientas de sala.

meeting_summarizing​

Se ejecuta como un trabajo en segundo plano seguido en Redis. La grabación mezclada se divide en segmentos WAV de 20 MB o menos, cada segmento se transcribe con /v1/audio/transcriptions y la transcripción combinada se resume con completados de chat.

meeting_summarizing:
provider: "openai"
id: "default-openai"
options:
transcription_model: "gpt-4o-transcribe"
summarize_model: "gpt-5.4-mini"
pricing:
default:
input_price_per_million_tokens: 1.25
output_price_per_million_tokens: 10.00
ClaveTipoPredeterminadoDescripción
options.transcription_modelstring"gpt-4o-transcribe"Modelo usado en cada bloque de audio.
options.summarize_modelstring"gpt-5.4-mini"Modelo usado para el resumen final.

El troceado mantiene las grabaciones largas dentro de los límites de carga; todos los bloques se fusionan en una sola transcripción antes de resumir.

ai_agent​

El agente tiene dos arquitecturas. Ambas hablan, ven fotogramas y llaman a herramientas; se diferencian en dónde ocurre el razonamiento.

Modo 1: SDK Realtime​

Voz a voz de extremo a extremo sobre la API Realtime, con llamadas a herramientas nativas y visión. Configure realtime_model y deje live_model sin definir.

ai_agent:
provider: "openai"
id: "default-openai"
options:
realtime_model: "gpt-realtime-1.5"
summarize_model: "gpt-5.4-mini"
default_voice: "marin"
turn_detection: "semantic_vad"
input_transcription_model: "gpt-transcribe"
realtime_auth_header: "Authorization"
ClaveTipoPredeterminadoDescripción
options.realtime_modelstring"gpt-realtime-2.1-mini"Modelo realtime de voz a voz.
options.summarize_modelstringningunoModelo para el resumen al final de la sesión.
options.default_voicestring"marin"Voz predeterminada del agente. Las salas pueden elegir otra voz con ai_agent_features.voice.
options.turn_detectionstring"semantic_vad""semantic_vad", "server_vad" o "none" para un control tipo pulsar para hablar.
options.input_transcription_modelstring"gpt-transcribe"Transcribe la voz de los participantes para el registro de artefactos. Defina "none" para desactivarla.
options.realtime_auth_headerstring"Authorization"Encabezado usado en el WebSocket Realtime. Defina "api-key" para Azure OpenAI y algunas pasarelas.

Modo 2: SDK Live con delegación​

Un modelo de voz rápido gestiona el audio de entrada y de salida, mientras que un modelo de texto y visión independiente se encarga del razonamiento y de las llamadas a herramientas.

ai_agent:
provider: "openai"
id: "local-live"
options:
live_model: "gpt-live-1"
delegation_model: "gpt-5.4-mini"
summarize_model: "gpt-5.4-mini"
default_voice: "marin"
pricing:
live_model:
price_per_minute: 0.05
delegation_model:
input_price_per_million_tokens: 0.25
output_price_per_million_tokens: 2.00
summarize_model:
input_price_per_million_tokens: 0.25
output_price_per_million_tokens: 1.50

El modo 2 se activa cuando se configura live_model o cuando realtime_model empieza por gpt-live (el modelo Live predeterminado es gpt-live-1).

ClaveTipoObligatoriaDescripción
options.live_modelstringSí para el modo 2Modelo de voz de entrada y salida, por ejemplo gpt-live-1 o una implantación autoalojada de Voxtral o Ultravox.
options.delegation_modelstringSí para el modo 2Modelo de razonamiento de texto y visión que recibe transcripciones, fotogramas y resultados de herramientas. Puede ser cualquier modelo capaz de chat, incluido uno local en vLLM.
options.summarize_modelstringNoModelo del resumen de la sesión.
aviso

Si se define live_model, delegation_model es obligatorio al arrancar el servidor. La falta de delegation_model detiene el servidor en lugar de recurrir silenciosamente al comportamiento de Realtime.

El modo 2 es la forma habitual de ejecutar agentes de voz autoalojados: modelos de voz como Voxtral o Ultravox son rápidos pero flojos en llamadas a herramientas, así que un LLM independiente se encarga de la planificación, de las herramientas MCP y de las consultas a la sala.

Configuración autoalojada e híbrida​

Un reparto práctico: modelos locales económicos para el texto de alto volumen y modelos en la nube donde la calidad importa:

insights:
enabled: true
providers:
openai:
# Local text models: vLLM, Ollama, and LiteLLM all expose /v1
- id: "local-vllm"
credentials:
api_key: "local"
options:
endpoint: "http://10.0.0.10:8000/v1"

# Local OpenAI-compatible TTS, e.g. Kokoro via openedai-speech
- id: "local-tts"
credentials:
api_key: "local"
options:
endpoint: "http://10.0.0.12:8000/v1"

# OpenAI Cloud for the agent
- id: "default-openai"
credentials:
api_key: "YOUR_OPENAI_API_KEY"
options:
endpoint: "https://api.openai.com/v1"

services:
transcription:
provider: "openai"
id: "default-openai"
options:
realtime_transcription_model: "gpt-realtime-whisper"
input_sample_rate: 16000
max_selected_trans_langs: 2
pricing:
default:
price_per_hour: 0.36

translation:
provider: "openai"
id: "local-vllm"
options:
model: "Qwen/Qwen3-8B-Instruct"
max_selected_trans_langs: 5
pricing:
default:
price_per_million_characters: 0.00

speech-synthesis:
provider: "openai"
id: "local-tts"
options:
model: "kokoro"
default_voice: "af_heart"
pricing:
default:
price_per_million_characters: 0.00

ai_text_chat:
provider: "openai"
id: "local-vllm"
options:
chat_model: "Qwen/Qwen3-8B-Instruct"
summarize_model: "Qwen/Qwen3-8B-Instruct"
context_window: 5
pricing:
default:
input_price_per_million_tokens: 0.00
output_price_per_million_tokens: 0.00

meeting_summarizing:
provider: "openai"
id: "default-openai"
options:
transcription_model: "gpt-4o-transcribe"
summarize_model: "gpt-5.4-mini"
pricing:
default:
input_price_per_million_tokens: 1.25
output_price_per_million_tokens: 10.00

ai_agent:
provider: "openai"
id: "default-openai"
options:
realtime_model: "gpt-realtime-1.5"
summarize_model: "gpt-5.4-mini"
default_voice: "marin"
turn_detection: "semantic_vad"

Las tarifas en cero son válidas: los artefactos de uso informan entonces estimated_cost: 0, lo que es exacto para el hardware que ya ejecuta. Para funcionar todo en local, sustituya la cuenta en la nube de transcription, meeting_summarizing y ai_agent por cuentas locales. Tanto Live como la delegación aceptan cualquier endpoint compatible con OpenAI.

Configuración de precios​

ServicioClave de precios
transcriptionpricing.default.price_per_hour
translationpricing.default.price_per_million_characters (CHAT_TRANSLATION_USAGE medida en caracteres)
speech-synthesispricing.default.price_per_million_characters
ai_text_chatpricing.<chat_model> y pricing.<summarize_model>, o pricing.default
meeting_summarizingpricing.<summarize_model>, o pricing.default
ai_agent modo 1Tarifas multimodales por token en pricing.realtime_model
ai_agent modo 2pricing.live_model.price_per_minute más las tarifas por token de pricing.delegation_model y pricing.summarize_model

Tarifas por token (Realtime, chat, resumen y delegación)​

input_price_per_million_tokens y output_price_per_million_tokens son el mínimo para el chat y el resumen. Los modelos realtime multimodales añaden los campos por modalidad que se indican a continuación, y las mismas claves se aceptan en delegation_model cuando admite audio o imágenes directamente:

ClaveCubre
input_price_per_million_tokensTexto de entrada
cached_input_price_per_million_tokensTexto de entrada en caché
cache_write_input_price_per_million_tokensTexto escrito en la caché de instrucciones
audio_input_price_per_million_tokensVoz de los participantes
audio_cached_input_price_per_million_tokensAudio de entrada en caché
audio_cache_write_input_price_per_million_tokensAudio escrito en la caché de instrucciones
image_input_price_per_million_tokensFotogramas de la pizarra y del uso compartido
image_cached_input_price_per_million_tokensImágenes de entrada en caché
image_cache_write_input_price_per_million_tokensImágenes escritas en la caché de instrucciones
output_price_per_million_tokensTexto de salida, incluidos los tokens de razonamiento
audio_output_price_per_million_tokensVoz sintetizada del agente

Ejemplo del modo 1:

pricing:
realtime_model:
input_price_per_million_tokens: 4.00
cached_input_price_per_million_tokens: 0.40
audio_input_price_per_million_tokens: 32.00
audio_cached_input_price_per_million_tokens: 0.40
image_input_price_per_million_tokens: 4.00
output_price_per_million_tokens: 16.00
audio_output_price_per_million_tokens: 64.00
summarize_model:
input_price_per_million_tokens: 0.25
output_price_per_million_tokens: 2.00

Facturación de Live (modo 2)​

La voz del modo 2 se factura por duración del audio, así que pricing.live_model.price_per_minute es la única clave bajo live_model. El razonamiento se factura por token en delegation_model. Los artefactos de uso registran los minutos de Live y los tokens delegados por separado, y por eso se necesitan ambos bloques y summarize_model para obtener estimaciones exactas.

Errores frecuentes​

  • Apuntar los servicios WebSocket a un servidor solo HTTP. transcription necesita un servidor que implemente el protocolo WebSocket Realtime, no solo /v1/audio/transcriptions. Un servidor HTTP de solo Whisper no puede ofrecer subtítulos en vivo; úselo para meeting_summarizing.
  • Encabezado de autenticación incorrecto. Azure OpenAI y varias pasarelas rechazan Authorization: Bearer; defina auth_header: "api-key" y realtime_auth_header: "api-key" en el agente.
  • live_model sin delegation_model. El servidor se niega a arrancar.
  • Dar por hecho que un nombre de modelo del registro de OpenAI funciona en local. Use el nombre servido que informa /v1/models.

Páginas relacionadas​