Я написал пять проектов разного масштаба с помощью агента и вот результаты

[Roy Mustang]

Если удобнее смотреть, всё это есть у меня в видео на ютюбе: все проекты с агентом с 20:19, ну и большой проект другого разработчика с 1:18:22

Все материалы к ролику лежат у меня в тг-канале, залетайте: t.me/mustangbas

План

1. Какие проекты я делал с агентом
2. Парсер стима
3. Парсер Dribbble на запросах
4. Авторизация в стиме
5. Исправление Rabby Wallet
6. Проект другого разработчика на 6500 действий
7. Вывод

Какие проекты я делал с агентом

Делал я их от простого парсера до проекта другого разработчика на 6500 действий. Короче, вот сначала общая картинка: сколько вышло действий, сколько ушло промтов и где он споткнулся

Парсер стима

Первый проект это парсер скидок стима: три категории, фильтры и на каждую категорию своя папка с CSV. Всё это ушло в один промт

На проверке агент сам прогнал проект в режиме запуска и увидел, что в папке две категории из трёх. Дальше он запустил отладку и полез искать, почему одна пропустилась, ну и дебажил, пока всё не заработало

Действий вышло 114, лишнего там хватает, плюс он зачем-то создаёт отдельные переменные под селекторы. Скрипт я при этом вообще не трогал. Руками такой парсер на динамических селекторах писать, наверное, час или два

Парсер Dribbble на запросах

Тут нужен был парсер Dribbble через HTTP, который:

• заходит в каждую тему и сохраняет картинки
• держит лимит картинок
• проверяет блокировки
• работает в несколько потоков

Первая версия вышла не совсем на запросах. Агент открывал сайт в браузере, забирал куки и только потом собирал ссылки через HTTP. Прокси для запросов он, кстати, добавил сам, я его об этом вообще не просил

Вторым промтом я попросил убрать браузер совсем. Для теста поставил 16 картинок, вставил прокси и очистил папку. Картинки начали качаться, и браузер при этом ни разу не открылся

На весь парсер ушло около 30 минут и два промта, действий вышло 111

Авторизация в стиме

Тут уже всё в куче:

• браузер
• HTTP-запросы
• модуль Authenticator для Steam Guard
• платный отпечаток

По сути бот должен войти в аккаунт по логину с паролем или через maFile, скачать картинку с другого сайта и поставить её на аватар

В первой версии агент сам поймал у себя ошибку новичка с окном куки и исправил её. В режиме запуска он скрипт так и не прогнал, ни одного профиля не создал. Вторым промтом я попросил сделать нормальные ресурсы и оба вида входа

Действий получилось 234. Лишние есть, просто не прям чересчур много. С двухфакторкой он разобрался нормально: берёт время стима, получает код из maFile, и мусора там минимум

В режиме запуска оба аккаунта вошли и поставили аватарку. На всё ушло два или три промта

Исправление Rabby Wallet

Готовый проект ставит в браузер расширение Rabby Wallet, создаёт кошелёк и сохраняет сид-фразу в текстовик. Он падал с ошибкой, и я просто отдал её агенту

После первого фикса в режиме записи всё заработало. В режиме запуска с двумя потоками оба потока сразу крашнулись, и вот тут агент засел надолго. По логу один этот ответ занял 2462 секунды, это минут 40

Он чинил одну ошибку, вылезала вторая, потом снова первая, и так до конца. От меня требовалось, по сути, только подтверждать ресурсы. Потом я попросил добавить логи, ошибка вернулась, я её снова отправил, и после этого всё заработало

Руками я тут практически ничего не трогал. Перезапускал и тестил он, на глаз, раз 30 точно

Проект другого разработчика на 6500 действий

Этот проект мне просто скинули: около 6500 действий и миллион ресурсов под русскоязычный сегмент. Руками только разобраться в таком часов 5 минимум, поэтому на фрилансе от таких проектов в 90% случаев просто отказываются

Сначала я попросил в режиме Thorough коротко объяснить, что это вообще за проект. Разобрал он его, в целом, нормально:

• ферма под эйрдропы в крипте
• 161 функция и около 6400 действий
• регистрация кошельков, отработка проектов и отдельно ТГ-проекты

Ну и потом попросил разложить ресурсы по вкладкам и сделать русскую и английскую локализацию. Минут за 20 он всё раскидал, каждый ресурс перевёл и к каждому добавил описание. Руками это минут 30 или 40 тяжёлой рутины, так что эту часть оцениваю на все 100%

С описаниями лучше сразу прописать в промте, к каким ресурсам они нужны. Я этого не указал, вот он и накидал их вообще везде

Дальше я попросил план, как переделать проект целиком. План вышел прям здоровенный, руками это дня три монотонной работы. Из него я взял три задачи:

1. Переименовать функции и переменные
2. Привести функции к одному формату и добавить каждой описание
3. Накидать побольше логов через модуль Logger и пояснить тяжёлые циклы

Через 4 часа агент прислал отчёт: первая задача на 100%, вторая примерно на 85%, третья на 70%. Переименование и описания я проверил, всё на месте, старых имён в проекте больше нет

С логами всё вышло интереснее. Агент сам написал, что крупные функции покрыл только частично. Я зашёл и в те функции, где он, по его словам, логи добавлял, и новых логов там тоже не увидел. Скорее всего, он потерял контекст и посчитал своими логи, которые до него писал человек

Плюс он часто останавливался посреди работы, и его приходилось запускать заново. Почему так происходит, разберу в статье про контекст. По всему проекту я бы оценил результат процентов на 40, может на 50

Вывод

Честно, сначала я думал, что агент ещё сырой и будет много где косячить. Уже на втором проекте понял, что сильно ошибался

Больше всего запомнилось, что он не сдаётся. Словил ошибку, пошёл фиксить, словил следующую, опять фиксит. Парсер стима он сделал с одного промта, Rabby Wallet починил целиком. Лишние действия и переменные он плодит, ну и ресурсы местами раскладывает по-своему

Большой проект он, я уверен, вытянул бы, если разбить всё на этапы с планом и нормальным промтом

Минусы, над которыми разрабам ещё работать:

• нет автоподтверждения, всё подтверждать приходится руками
• на большом проекте сильно теряется контекст
• задачи выполняются долго