Trend Radar

INFRA · DAILY · 12 НОЯБРЯ

По сообщению Bloomberg, OpenAI закрыла первую часть финансирования примерно на $11 млрд при оценке $1,25 трлн

По сообщению Bloomberg, OpenAI закрыла первую часть финансирования примерно на $11 млрд при оценке $1,25 трлн

Технические материалы выделяют совместимость API, оптимизацию инференса и строгую валидацию ответов агентов. Подборка преимущественно архивная или недатированная и не подтверждает новых событий именно за 12 ноября

🧠 Model

Маршрутизация моделей Leeroo

Архивная работа Leeroo Orchestrator сообщает о качестве на уровне Mixtral при двух третях его стоимости на MMLU с использованием моделей на 7, 13 и 34 млрд параметров

Маршрутизацию по сложности задачи стоит испытывать как способ экономии, отдельно измеряя качество вызова инструментов и полную стоимость исполнения

paperswithcode.com

🚀 Funding

Финансирование OpenAI

Bloomberg сообщает о закрытии OpenAI первой части раунда примерно на $11 млрд при оценке $1,25 трлн, тогда как весь раунд ещё не завершён

Объём финансирования важен для оценки поставщика, но не гарантирует доступности API, стабильных цен или качества моделей

bloomberg.com · aifundingtracker.com

🔧 Tools

Валидация ответов агента

Описание выпусков hh-ai-agent заявляет адаптеры Ollama, Mistral AI и OpenAI-совместимых API, строгую валидацию через Pydantic и защиту от внедрения инструкций

Полезно проверить реализацию разделения провайдеров и схем ответов, не считая заявленную защиту доказательством безопасности внешних действий

github.com

🏗 Infrastructure

Оптимизация NVIDIA TensorRT

Страница выпусков TensorRT-LLM описывает Python API и оптимизации для эффективного инференса больших языковых моделей на GPU NVIDIA без указания конкретного нового выпуска в предоставленном фрагменте

Движок стоит сравнивать с текущим сервером по задержке, пропускной способности и памяти на одинаковых агентных нагрузках

github.com

ПоделитьсяTelegramX
Ещё из Infra