Два дня Saint HighLoad++ я провёл почти целиком на докладах про ИИ в разработке. Вопрос «нужны ли агенты» там уже никто не задавал. Обсуждали в основном деньги и контекст: сколько стоит агент и что ему надо знать, чтобы он не ушёл не туда.
Процесс ломается раньше, чем ускоряется
Самым честным докладом первого дня мне показался рассказ YADRO про Spec-Driven Development. Схема SDD простая: сгенерировать спецификацию, прочитать и поправить её, потом сгенерировать по ней код. На деле выходит двойной расход токенов и втрое больше времени. Главный стопор оказался человеческим: сгенерированные спеки люди читать не хотят. Дальше по цепочке: кода в пять раз больше, пулл-реквесты висят неделями, ревью превращается в «кто-то посмотрел», а тысячи сгенерированных тестов проверить некому. «Колхозным скрамом» спикер назвал то, как на самом деле живёт большинство команд: без планирования, спек и критериев приёмки. В такой процесс SDD без перестройки не встанет и не окупится. Плюсы всё же есть: спека сохраняет ход мысли над задачей, и из неё потом получается документация.
Ещё одна мысль из доклада: ИИ хорошо работает в руках инженера, который справился бы и без него. Тому, кто не справляется сам, агент тоже не поможет.
Доклад про ИИ в командах и процессах зашёл с другой стороны. Жизненный цикл задачи от постановки до кода одинаково подходит человеку и агенту, только агенту нужно гораздо больше контекста: точки входа и выхода, бюджет, правила безопасности, список того, что пробовать не надо. Результат проверяют гейтами, и каждый гейт отвечает за одно: смысловое соответствие задаче, безопасность или галлюцинации. Доверие к такому гейту, по словам спикера, копится месяцами.
Платформа под агента
Спикер компании с 50 000 сервисов и объектами критической инфраструктуры начал с того, что фаза массового использования наступила: ИИ стал таким же стандартным инструментом, как отладчик. Он жёстко развёл два типа агентов. Агенту внутри продукта нужны evals в проде. Агент, который пишет код, выдаёт детерминированный код, и проверять надо уже его. Самой неожиданной болью стала безопасность: за первый год работы с агентами разговоров с ИБ было больше, чем за предыдущие девять лет. Доверие к агентам пока низкое, поэтому автономию выдают ступенями: только чтение, действие с подтверждением человека, полуавтономный режим в рамках правил. Полная автономия бывает только в изолированных контурах. В проде агенты уже делают код-ревью, проверки безопасности, миграции между версиями фреймворков и разбор инцидентов.
Коуч технических директоров, через которого прошло около 150 руководителей, разложил зрелость на четыре уровня. Первый: чат в браузере вместо Stack Overflow, здесь большинство. Второй: агент в IDE, сюда сейчас активно переходят. Третий: автономные агенты, человек подключается в контрольных точках, таких команд единицы. Четвёртый, полностью автономный конвейер, встречается только в узких контурах. Совет из доклада: выбирать инструменты с прицелом на третий уровень уже сейчас, собрать золотой датасет типовых задач для evals и ставить лимит токенов на задачу.
Контекст дороже генерации
Яндекс показал AST-индекс для поиска по коду. В больших проектах агент тратил около 60% контекстного окна на поиск и чтение файлов и при этом часто находил не то. Индекс построен на tree-sitter и SQLite, переписывание с Python на Rust ускорило его в 100–200 раз. Главным интерфейсом сделали CLI: MCP без CLI руками не отладишь. Теперь поиск съедает около 22% контекста, внутри компании у инструмента больше 3000 пользователей и 132 000 вызовов в месяц. Мне понравилась команда outline: по структуре файла агент читает только нужные строки.
Райффайзенбанк рассказал про Vibe Team. Агенты для тикетов, бэкенда, Android, iOS и QA работают в общем командном центре вместе с людьми. Контекст каждого субагента заполняют максимум на 20–30%, чтобы задача решалась с первого раза. С участием агентов решается 23% задач, полностью автономно 3%. Вокруг этого три системы контекста: граф знаний о банке (оргструктура, домены, сервисы, API-контракты, ADR), долговременная память на форке mem0 и библиотека гайдлайнов, из которой подгружается только нужный стандарт. Ночной агент разбирает логи сессий и предлагает правки в скиллы, правку принимают после A/B-теста. Спикер сказал, что контекст стал их новым кодом.
Никита Круглов рассказал про агента, который переводит вопрос на русском в SQL по трём базам и трёмстам с лишним таблицам. Задача, на которую уходило два дня, теперь решается за 20 минут, в месяц сервисом пользуются больше 2000 человек. Основная работа там в schema linking, то есть в сопоставлении слов из вопроса с реальными таблицами и колонками. Качество почти целиком зависит от описаний таблиц, и это работа людей. Вывод команды потом повторялся и в других докладах: контекст надо чистить. Чем меньше в нём лишнего, тем меньше галлюцинаций.
Харнес и цена токена
Независимый разработчик, который ведёт восемь-девять проектов в агентном режиме, показал харнес, в котором задача, поставленная вечером, к утру готова. Он сжимает вывод модели, ищет по коду через AST-индекс вместо grep и держит по одному субагенту на роль, с явными запретами в инструкции. Перед большой задачей собирает «консилиум» из пяти-шести агентов-экспертов, для фич и багфиксов у него разные профили. Конфигурация лежит слоями: короткий глобальный файл с роутингом профилей, проектный слой, отдельные файлы профилей и агентов. Главной ошибкой он считает один большой файл инструкций, за который платишь десятками тысяч токенов на каждое «привет». Модели распределены по ролям: дорогая думает над архитектурой, средняя пишет код и тесты, самая дешёвая делает основную массу работы.
Битрикс24 держит свою LLM на 200 с лишним GPU-серверах и обслуживает 22 млн запросов в месяц. Запомнились грабли. Карточка модели обещала миллион токенов контекста, на деле работало около 120 тысяч, а качество падало уже после 64 тысяч. Один тяжёлый запрос тормозил все чаты, пока пулы не разделили на чаты, агентные задачи и длинный контекст. Одна команда за ночь съела весь бюджет, после этого появились семантический роутер и квоты по командам. Смена параметров prefix cache незаметно уронила качество, и теперь любое изменение инфраструктуры проходит через eval-пайплайн. Со своим хостингом всю незаметную работу облачного провайдера делаешь сам.
Люди
Сбер построил матрицу ИИ-компетенций: шесть групп навыков на трёх уровнях, от работы с контекстом до проектирования мультиагентных систем. Уровень считают по цифровому следу, без субъективных ревью. За три месяца после запуска курсов на агентный CLI перешли около 70% разработчиков. Продвигали его сами разработчики, лидеры профессионального сообщества внутри банка. Половину доклада вела психолог. По её словам, ИИ бьёт по чувству компетентности, автономии и причастности, а сопротивление сеньоров она объяснила лояльностью: они видят, что сырые инструменты могут разрушить сделанное за годы.
Что я забрал себе
- Сначала стоит измерить, на что агент тратит контекст. Если поиск съедает больше половины окна, модель подороже не спасёт.
- SDD поверх старого процесса я больше не считаю ускорением. Пока ревью и тестирование устроены по-старому, спека остаётся ещё одним документом, который никто не читает.
- Уровни автономии агента лучше записать явно: что он только читает, что делает с подтверждением и где ему можно всё.
- Золотой датасет для evals дешевле собрать сейчас, пока задач немного.
- Харнес собирается слоями. Один большой файл инструкций дорого обходится на каждом запросе.