Descripción
Vocode es una biblioteca de Python de código abierto, publicada como el repositorio vocode-core, para construir aplicaciones basadas en voz impulsadas por modelos de lenguaje grandes. Proporciona las abstracciones, orquestación e integraciones necesarias para ejecutar una conversación en tiempo real y en streaming entre una persona y un agente respaldado por LLM.
Leer más
La biblioteca admite varios puntos de entrada para una conversación de voz: ejecutar una a través del audio y micrófono del sistema de una máquina, establecer un número de teléfono que responda llamadas entrantes con un agente LLM, realizar llamadas salientes desde un número gestionado, o marcar en una llamada de Zoom. También documenta una integración para usar una llamada telefónica saliente como parte del conjunto de herramientas de un agente LangChain.
Vocode está construido alrededor de proveedores intercambiables en lugar de una pila fija única. Para la transcripción (de voz a texto), se integra con servicios como AssemblyAI, Deepgram, Gladia, Google Cloud, Microsoft Azure, RevAI y Whisper de OpenAI (tanto alojado como el local whisper.cpp). Para el agente conversacional en sí, se integra con modelos de OpenAI y Anthropic. Para la síntesis de voz (de texto a voz), admite proveedores como Rime.ai, Microsoft Azure, Google Cloud, Play.ht, ElevenLabs, Cartesia, el TTS de código abierto Coqui, gTTS, StreamElements y AWS Polly. Un SDK de React complementario se publica por separado para construir interfaces web alrededor de agentes basados en Vocode.
El proyecto tiene licencia MIT, cuenta con alrededor de 3,800 estrellas en GitHub y no está archivado. Vocode está orientado a la comunidad: su README indica que el proyecto está buscando activamente mantenedores de la comunidad y da la bienvenida a contribuciones de nuevas características, integraciones y documentación, coordinadas a través de un servidor público de Discord y una guía de contribución documentada.
La instalación es un único `pip install vocode`, y el inicio rápido del proyecto demuestra cómo conectar un transcriptor de Deepgram, un agente basado en OpenAI ChatGPT y un sintetizador de voz de Azure en una conversación en streaming funcional en unas pocas docenas de líneas de Python. La documentación completa, incluida la configuración de telefonía autoalojada, se publica en docs.vocode.dev.
- CategoríaAgentes de voz con IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Características principales de Vocode
Biblioteca de Python de código abierto para construir conversaciones de voz en tiempo real y en streaming con un LLM
Modo de audio del sistema para ejecutar una conversación a través del micrófono y los altavoces de una computadora
Soporte para llamadas telefónicas entrantes y salientes a través de un número de teléfono gestionado
Soporte para marcar en llamadas de Zoom
Integración de LangChain para llamadas salientes desde un agente LangChain
Proveedores de transcripción intercambiables (AssemblyAI, Deepgram, Gladia, Google Cloud, Azure, RevAI, Whisper, whisper.cpp)
Backends de agente LLM intercambiables (OpenAI, Anthropic)
Proveedores de síntesis de voz intercambiables (ElevenLabs, Cartesia, Azure, Google Cloud, Play.ht, Coqui, gTTS, StreamElements, AWS Polly)
SDK de React complementario para construir interfaces web alrededor de agentes Vocode
Licencia MIT, abierto a contribuciones y mantenimiento comunitario
Primeros pasos con Vocode
Instalar la biblioteca: ejecutar `pip install vocode` en un entorno de Python
Configurar claves de proveedor: establecer claves API para los proveedores de transcripción, LLM y síntesis que planea usar
Ensamblar una conversación: instanciar un transcriptor, un agente y un sintetizador, luego conectarlos en un objeto StreamingConversation
Ejecutar localmente: probar la conversación a través de su micrófono y altavoces del sistema utilizando el inicio rápido proporcionado
Agregar telefonía: seguir la guía de telefonía autoalojada para conectar números de teléfono entrantes o salientes
Desplegar y extender: intercambiar diferentes proveedores o extender la biblioteca para un caso de uso personalizado como un agente de marcado en Zoom
Casos de uso de Vocode
- Agentes de voz telefónicos personalizados
- Prototipos de asistentes de voz
- Agentes de voz basados en Zoom
- Herramientas de voz de LangChain
