В блоге «Группы Астра» вышел материал о том, как оценивать влияние искусственного интеллекта на разработку программного обеспечения. Авторы предлагают смотреть не только на скорость выполнения отдельных операций, но и на изменения в работе всей команды — сколько ресурса удалось высвободить, что произошло с производительностью и качеством, какие ограничения не позволили получить ожидаемый результат.
В блоге «Группы Астра» вышел материал о том, как оценивать влияние искусственного интеллекта на разработку программного обеспечения. Авторы предлагают смотреть не только на скорость выполнения отдельных операций, но и на изменения в работе всей команды — сколько ресурса удалось высвободить, что произошло с производительностью и качеством, какие ограничения не позволили получить ожидаемый результат.
Такой подход напрямую связан с Process Mining, что отмечено в кейсе. Чтобы понять, действительно ли ИИ изменил разработку, недостаточно посчитать количество сгенерированного кода, закрытых задач или подключенных инструментов. Необходимо восстановить реальный процесс, определить участок, на котором используется новая технология, и проследить, как локальное ускорение повлияло на весь жизненный цикл продукта.
Почему локальная экономия не равна общему эффекту
ИИ-ассистент может быстрее подготовить код, документацию или тестовый сценарий. Однако сгенерированный результат затем проходит через ревью, проверки, согласования и доработки. Если код несколько дней ожидает проверки, задача неоднократно возвращается исполнителю, а перед выпуском возникает очередь на тестирование, выигрыш на одной операции не приводит к сопоставимому ускорению всего процесса.
В материале «Группы Астра» для анализа предлагается использовать журнал событий, где зафиксировано, что происходило с задачей, когда началась и закончилась работа и к какому типу относилась конкретная активность. Эти данные позволяют сопоставить заявленные практики команды с тем, как работа выполняется в действительности.
Именно на таких журналах событий основан подход Process Mining. Технология объединяет цифровые следы из трекеров задач, репозиториев, систем непрерывной интеграции и доставки, инструментов тестирования и других источников. Затем она восстанавливает реальные маршруты задач: показывает последовательность этапов, возвраты, повторные действия, время выполнения операций и периоды ожидания.
В результате компания получает не нормативную схему разработки, а фактическую картину процесса. Там видно, где именно используется ИИ, что он ускоряет и что происходит с задачей после этого.
Как 35% превращаются в 3%
Авторы материала разбирают ситуацию, при которой исходная оценка потенциального эффекта ИИ составляет 35%. Однако до конечного продукта может дойти только небольшая часть этого результата — например, 3%.
На итог влияют широта применения ИИ, зрелость практик работы с моделями, возможности платформы, процессные отклонения и очереди на проверку. Эти ограничения действуют одновременно. Если ИИ используется только при генерации кода, но не затрагивает другие этапы, эффект остается локальным. Если после ускорения разработки увеличивается очередь на ревью, узкое место просто перемещается дальше по процессу.
Process Mining позволяет установить, где именно теряется ожидаемый прирост. Например, ускорилось ли выполнение задачи, изменилось ли время ожидания проверки, выросло ли количество возвратов, появились ли дополнительные циклы доработки. Благодаря этому вопрос «какой эффект даёт ИИ» можно сформулировать точнее — «какие особенности процесса не позволяют реализовать его потенциал?»
Ответ помогает определить дальнейшие действия. В одном случае необходимо расширить применение ИИ, в другом — увеличить доступность ревьюеров, изменить порядок проверок или устранить лишние согласования.
Как сравнивать работу до и после внедрения ИИ
Оценивать производительность только по числу закрытых задач нельзя: исправление небольшой ошибки, подготовка документации и архитектурное изменение требуют разного объема работы. Кроме того, команда может начать сильнее дробить задачи, и количество закрытий вырастет без реального увеличения выпуска.
В материале предлагается классифицировать задачи и присваивать каждой группе базовый вес — например, медианное время выполнения в исходном периоде. В дальнейшем объем работы оценивается по тем же зафиксированным весам. В приведённом примере выпуск за квартал вырос с 4800 до 6000 базовых часов при фонде времени в 4800 часов. Расчётная производительность увеличилась с 1,00 до 1,25, или на 25%.
При этом рост необходимо сопоставлять с длительностью цикла, количеством возвратов и плотностью дефектов. Если задачи закрываются быстрее, но чаще возвращаются на доработку, ускорение достигнуто благодаря качеству и не может считаться полноценным результатом внедрения ИИ.
От анализа процесса — к цифровому двойнику
Восстановленная по журналу событий модель может стать основой цифрового двойника команды. В материале «Группы Астра» его предлагают использовать для проверки изменений до вмешательства в реальный процесс: например, оценивать, что произойдет при увеличении числа ревьюеров или изменении других параметров.
Process Mining в такой модели связывает использование ИИ с измеримым результатом. Он помогает увидеть исходное состояние процесса, определить участок воздействия, обнаружить появившиеся ограничения и проверить, дошёл ли локальный выигрыш до конечного выпуска.
Чем глубже ИИ встраивается в разработку, тем менее показательны результаты отдельных инструментов. Оценивать его влияние необходимо на уровне всего процесса — с учетом маршрутов задач, ожиданий, возвратов, качества и фактически высвободившегося ресурса.
По материалам Habr