Autoeval — AI, который ломает других AI
Система сама придумывает сложные сценарии, прогоняет через них агентов и находит опасное или непредсказуемое поведение.
Откуда взялся
Из работы над AEON. Каждую новую версию агента приходилось проверять руками: придумывать ситуации, прогонять их, читать ответы и искать, где агент повел себя не так. Долго, муторно, и главное — не масштабируется: чем сильнее агент, тем больше ситуаций надо проверить. Поэтому мы автоматизировали саму проверку.
Как работает
- Один AI сам пишет промпты-сценарии: давит на агента, провоцирует, подкидывает нестандартные и конфликтные ситуации
- Сценарии проигрываются против агента как настоящие диалоги
- Другой AI разбирает, как агент себя повел, и делает полные выводы по каждому прогону
Гипотеза подтвердилась: под давлением агенты действительно начинают вести себя непредсказуемо — особенно когда у них есть реальные инструменты.
Дай агенту настоящую силу — например, инструмент для отправки почты — и его поведение в стрессовой ситуации меняется: он уже не в песочнице. Именно такие вещи Autoeval и ловит до того, как их поймает клиент.
Что с ним сейчас
Autoeval стал нашим стандартным инструментом: прогоняем через него агентов перед каждым запуском. Так проверяли и твиттер-агентов, и остальных — все, что уходит к людям, сначала ломается у нас.
Похожая задача в вашей компании? Покажем, как ее решить
Обсудить проект↗