По сообщению Bloomberg, OpenAI закрыла первую часть финансирования примерно на $11 млрд при оценке $1,25 трлн
Технические материалы выделяют совместимость API, оптимизацию инференса и строгую валидацию ответов агентов. Подборка преимущественно архивная или недатированная и не подтверждает новых событий именно за 12 ноября
🧠 Model
Маршрутизация моделей Leeroo
Архивная работа Leeroo Orchestrator сообщает о качестве на уровне Mixtral при двух третях его стоимости на MMLU с использованием моделей на 7, 13 и 34 млрд параметров
Маршрутизацию по сложности задачи стоит испытывать как способ экономии, отдельно измеряя качество вызова инструментов и полную стоимость исполнения
🚀 Funding
Финансирование OpenAI
Bloomberg сообщает о закрытии OpenAI первой части раунда примерно на $11 млрд при оценке $1,25 трлн, тогда как весь раунд ещё не завершён
Объём финансирования важен для оценки поставщика, но не гарантирует доступности API, стабильных цен или качества моделей
🔧 Tools
Валидация ответов агента
Описание выпусков hh-ai-agent заявляет адаптеры Ollama, Mistral AI и OpenAI-совместимых API, строгую валидацию через Pydantic и защиту от внедрения инструкций
Полезно проверить реализацию разделения провайдеров и схем ответов, не считая заявленную защиту доказательством безопасности внешних действий
🏗 Infrastructure
Оптимизация NVIDIA TensorRT
Страница выпусков TensorRT-LLM описывает Python API и оптимизации для эффективного инференса больших языковых моделей на GPU NVIDIA без указания конкретного нового выпуска в предоставленном фрагменте
Движок стоит сравнивать с текущим сервером по задержке, пропускной способности и памяти на одинаковых агентных нагрузках