Сфокусирован на фундаментальных исследованиях в области мультимодальности и новых архитектур моделей, а также на появлении новых игроков и инструментов в сфере создания и оценки AI-агентов
Сегодняшние сигналы подчеркивают два ключевых тренда. Во-первых, продолжается глубокая работа над унификацией данных: создание универсальных эмбеддингов и моделей для совместной обработки текста и изображений (UniME, ReT-2) становится центральной задачей для создания более способных агентов. Во-вторых, экосистема вокруг агентов активно развивается: появляются как новые стартапы, нацеленные на автоматизацию бизнеса (Pit), так и специализированные инструменты для оценки их производительности от крупных игроков (Microsoft). Это говорит о зрелости рынка и переходе от чистого R&D к инженерным и продуктовым задачам
🧠 Model
Универсальные мультимодальные эмбеддинги
Представлен фреймворк UniME, использующий мультимодальные LLM для создания единых векторных представлений для различных типов данных (текст, изображения и т.д.)
Создание единого семантического пространства для всех типов данных — ключевая технология для агентов, которые должны комплексно понимать мир. Этот подход может лечь в основу нашей архитектуры памяти и восприятия
Мультимодальный поиск ReT-2
Опубликована модель ReT-2, которая объединяет рекуррентные подходы и трансформеры для универсального поиска по мультимодальным запросам, состоящим из текста и изображений
Это напрямую решает задачу поиска информации для агентов, когда контекст задан не только текстом, но и, например, скриншотом. Такая модель может стать ядром для нашего модуля поиска и извлечения данных (RAG)
Новая архитектура для зрения
Представлена Visual Attention Network (VAN) с новым механизмом внимания Large Kernel Attention (LKA), который превосходит Vision Transformers и CNN в задачах компьютерного зрения
Более эффективные и точные модели компьютерного зрения — это критически важный компонент для агентов, взаимодействующих с графическими интерфейсами или реальным миром. Интеграция таких моделей может значительно улучшить "зрение" наших агентов
🚀 Funding
Новый игрок в автоматизации
Стартап Pit, основанный создателями Voi, привлек $16 млн от a16z для создания AI-решений, которые автоматизируют бизнес-процессы на основе изучения работы клиентов
Это прямой конкурент и пример продукта в нашей нише. Важно следить за их подходом к созданию кастомных агентов для корпоративных клиентов и за тем, как они решают проблему "обучения" на данных компании
🔧 Tools
Инструмент оценки агентов
Microsoft выпустила обновление для своего инструмента `ai-agent-evals`, добавив поддержку новой платформы Foundry и упростив процесс оценки производительности AI-агентов
Это готовое решение от крупного игрока для одной из наших ключевых задач — бенчмаркинга и оценки агентов. следует изучить этот инструмент и их методологию для улучшения собственных процессов CI/CD для агентов