Возвращение блудного программиста (ч. 4)

Эта часть про то, как я пилю бэкенд, учусь на этом и получаю эмоциональные качели.

Содержание

• Мини флэшбэк

• AI в деле

• Познание

• Обучение боем

• Что я понял

• Выводы

Для начала, напомню о себе: «у меня свой бизнес, а в IT, я так, для души». Шутка. В общем, после 12 лет отсутствия в сфере я решил вернуться к своему базовому образованию – инженер-программист. Что-то приходится «вспоминать с нуля», но я не люблю начинать изучение полностью с теории, я больше экспериментатор. Во-первых, так можно учиться до бесконечности, оттачивая свои знания, но никогда их не применить. Во-вторых, банально, но ты не узнаешь, что такое горячо пока не потрогаешь. Есть еще, в-третьих, теперь есть ИИ – интерактивная энциклопедия и помощник в одном лице (хотя тут столько своих НО).

Как я рассказывал раньше, одним из учебных проектов я решил сделать симулятор торговли на Московской бирже. Выбрал стек, даже сделал кое-какие приготовления на сервере.

Важное отступление: у меня самый дешевый виртуальный хостинг, не VPS. Почему? Потому что «уже был», под мелкие эксперименты

Так вот. Спустя почти 2 недели, попутно изучая что и зачем, я закончил бэкенд. Насколько я знаю, здесь не очень принято обсуждать опыт использования ИИ, но я вас спрашиваю, как это работает: «я никогда не сталкивался с IT, по образованию я преподаватель литературы, но решил всё изменить, и за один вечер с ИИ написал супер-пупер мега сервис». Как, Карл?

Вы видели, что он выдаёт? О, это вполне работоспособный код, но это «бомба замедленного действия». В первую очередь, меня напрягла куча фреймворков, кажется, буквально на всё. Ладно, может это сейчас так и делается. Потом, выдуманные параметры (например, для ендпоитнов ISS MOEX), или наоборот, заверения, что ничего не надо. Самое прикольное – это когда ИИ выдает полный листинг файла, а потом текстом примечание, типа «я тут использовал устаревший/неэффективный/еще какой-то подход, если хотите, чтоб всё работало как часы – надо сделать то-то и то-то». Блин, а когда ловишь его на ошибке/неточности «да, вы правы. Сейчас исправлю. И, кажется, всё равно кривой код попадает к контекст».

Фуух, всё. В защиту скажу, что для изучения, в чём-то это даже хорошо. Как это работает для меня на конкретном примере. Я понимаю, что нужно сделать. Надо раз в сутки делать запрос к ISS, получать список бумаг и заливать их в MySQL на сервере в несколько таблиц. Затем, ежеминутно запрашивать с ISS котировки и тоже заливать в MySQL. Так сделано, чтобы не долбить ISS запросами от каждого клиента. Я лучше один раз заберу к себе, а потом раздам клиентам, в том числе из кэша. Но я не знаю всех прелестей python (мой стек был Delphi+ADO+MS SQL. Да, я баловался и PHP, и Python, даже Perl чуток, но это не в счёт). Я прошу ИИ написать код и изучаю его. Всё здорово, всё понятно и работает.

Я рад, но не долго. Начинаю делать ручные тесты (пока не в теме QA Automation). Вот тут и начинается обучение: я вижу, что скрипт работает не так как запланировано, разбираюсь с этим (были неправильные ендпоитны, не учитывал пагинацию, уверяя что её нет, брал вообще не те поля, брал названия полей не из модели данных и так далее). Начинаю фиксить сам, потом делаем это вместе с ИИ. Снова тесты. Снова сам, снова ИИ. И на одной из итераций победа! Локально. Всё работает, всё правильно берёт, правильно раскладывает. Деплой.

С первого взгляда всё отлично, но помните отступление про хостинг? А теперь эти скрипты «отжирают» 13% CPU, вместо разрешённых CPU. Разбираемся. Тут, конечно, я развёл руками. Отдался ИИ. Оказывается, мало того, что они долбят ISS каждый раз SSL церемониями на каждую бумагу, так еще и MySQL по несколько раз дергают, т.е. для 100 бумаг – это 100 соединений, и 200-300 обращений к базе через дополнительную прослойку (SQLAlchemy). Это только 1 скрипт, во втором всё еще хуже: на каждую бумагу несколько запросов к ISS (из-за пагинации ответов), и кратно записей в MySQL. Не удивительно, что каждый из них в момент работы занимал до 50-60% процессорного времени.

Починили. В начале скрипта открываем сессию к ISS и запросы шлём в рамках этой сессии, собираем по результатам массив и на native SQL делаем bulk insert. Для меня пока что всё логично, и время CPU сократилось до 2-4%, т.е. имеем ожидаемый результат.

Для тех, кто любит пинать ногами

def fetch_coupons(ticker):    while True:        url = f'{ISS_BASE}/statistics/engines/stock/markets/bonds/bondization/{ticker}.json'        try:            r = requests.get(url, params=params, timeout=15)            r.raise_for_status()            data = r.json()            # some more code        except Exception as e:            print(f' Ошибка при загрузке купонов {ticker} (start={start_coupons}): {e}')            break        while True:        url = f'{ISS_BASE}/statistics/engines/stock/markets/bonds/bondization/{ticker}.json'        try:            r = requests.get(url, params=params, timeout=15)            r.raise_for_status()            data = r.json()            # some more code        except Exception as e:            print(f' Ошибка при загрузке амортизаций {ticker} (start={start_amort}): {e}')            break        return sorted_coupons, sorted_amortswith app.app_context():    bonds = Security.query.filter_by(is_active=True, type='bond').all()    for i, sec in enumerate(bonds, 1):        rows, amort = fetch_coupons(sec.ticker)                for c in rows:            try:                db.session.execute(“INSERT …. ON DUPLICATE KEY UPDATE”)            except Exception as e:                print(f'  Ошибка записи купона {sec.ticker}: {e}')                continue        for a in amort:            try:                db.session.execute(“INSERT …. ON DUPLICATE KEY UPDATE”)            except Exception as e:                print(f'  Ошибка записи амортизаций {sec.ticker}: {e}')                continue                                       try:        db.session.commit()    except Exception as e:        db.session.rollback()        print(f'  Ошибка commit {sec.ticker}: {e}')

def fetch_coupons(session, ticker):    while True:        url = f'{ISS_BASE}/statistics/engines/stock/markets/bonds/bondization/{ticker}.json'            try:            r = session.get(url, params=params, timeout=15)            r.raise_for_status()            data = r.json()            # some more code        except Exception as e:            print(f' Ошибка при загрузке купонов {ticker} (start={start_coupons}): {e}')            break        while True:        url = f'{ISS_BASE}/statistics/engines/stock/markets/bonds/bondization/{ticker}.json'        try:            r = session.get(url, params=params, timeout=15)            r.raise_for_status()            data = r.json()            # some more code        except Exception as e:            print(f' Ошибка при загрузке амортизаций {ticker} (start={start_amort}): {e}')            break     return sorted_coupons, sorted_amorts       with app.app_context():    with requests.Session() as session:        bonds = Security.query.filter_by(is_active=True, type='bond').all()                      for i, sec in enumerate(bonds, 1):            rows, amort = fetch_coupons(session, sec.ticker)                    for a in amort:                bulk_amortizations.append({})            for c in rows:                bulk_coupons.append({})           if bulk_amortizations:            try:                db.session.execute(                    db.text(),                    bulk_amortizations                )                db.session.commit()            except Exception as e:                db.session.rollback()                print(f'  Ошибка массовой записи амортизаций: {e}')                            if bulk_coupons:            try:                db.session.execute(                    db.text(),                    bulk_coupons                )                db.session.commit()            except Exception as e:                db.session.rollback()                print(f'  Ошибка массовой записи амортизаций: {e}')                             db.session.remove()

Чему я научился за это время короткое:

• доверяй ИИ, но проверяй. Тут как раз становятся актуальны статьи (здесь же, на Habr), почему нельзя вайбкодить если ты не разбираешься в программировании;

• не все фреймворки одинаково полезны, вернее не всегда. Тот же SQLAlchemy в других местах мне пока очень нравится, там не должно быть таких затыков;

• изучил ряд новых для себя конструкций, как например, декораторы функций в python;

• ознакомился сразу с несколькими фреймворками. Не говорю, что изучил, ведь только опробовал часть функционала применительно к данной задаче;

• ну и понял множество нюансов, вроде handshake в начале каждой сессии.

Смогу ли я повторить бэкенд без ИИ теперь. Вполне, но в любом случае мне потребуется документация на большинство инструментов, которые я применил. Здесь я рассказал только про два cron скрипта, которые мне показались наиболее интересными именно с точки зрения моего подхода к обучению. Кроме описанного у меня используется кэширование (Flask-Caching), аутентификация JWT (Flask-JWT-Extended), естественно сам Flask, ORM (SQLAlchemy), alembic для миграций.

В качестве вывода скажу, на данный момент мой подход имеет место быть, и может быть даже интересен. Особенно с точки зрения эмоционального подкрепления, т.е., учитывая минимальный уровень в python, я получаю достаточно быстрый результат и учусь на нём, что не может не радовать. Конечно, есть обратная сторона, это такой же «дешевый дофамин» как и в случае с социальными сетями. В итоге может пострадать глубина знаний, а глобально — и сама мотивация, это надо учитывать.