Какие LLM поддерживает Конструктор AI-чатботов и как их переключать.
Поддерживаемые модели
- Anthropic: Claude Opus 4.7, Sonnet 4.6, Haiku 4.5
- OpenAI: GPT-5, o3, o3-mini
- Mistral: Large, Medium, Small
- Llama 3.3 (self-hosted)
- Qwen 2.5 (Alibaba)
- DeepSeek (self-hosted, бюджет)
Переключение
Каждый агент может работать на своей модели. A/B-тестирование моделей на одной задаче: сравнение качества / скорости / стоимости.
Fallback и retry
При недоступности основного провайдера — авто-переключение на резервный. Retry с экспоненциальной задержкой при rate-limit. Health-check провайдеров каждую минуту.
Self-hosted
Развёртывание Llama / Mistral / Qwen на ваших GPU (vLLM / SGLang). Подходит для строго-конфиденциальных данных. Стоимость инфры окупается от ~$5k/мес расхода на API.