Где циклу while нет альтернативы

Уверен многие тру-программисты и без меня это знают, но я решился опубликовать пару реализаций циклов через while, которыми я активно пользуюсь, как автоматизатор, тестировщик и разработчик ETL.

while not all(check_list)

При переносе данных из одной базы в другую, часто требуется перенести не одну таблицу, а две и более. Перенести, значит удалить данные в таблице на приемнике и затем вставить данные, взятые с источника:

-- SQL  delete from my_shema.my_table        where my_column = 'my_variable';  commit;  insert into my_shema.my_table       select *         from my_shema.my_table@src_dblink        where my_column = 'my_variable'; commit;

Дополнительно, нужно полазить по схеме и выяснить зависимости между таблицами, которые могут вызывать исключения типа ORA-02291 и ORA-02292 (это когда мы не можем или удалить данные в таблице, не удалив предварительно данные из другой таблицы, или вставить, предварительно не вставив данные в другую таблицу).

Грубо говоря нам нужно обеспечить каскадное удаление данных, а затем каскадную вставку.

Чтобы этого не делать, можно при срабатывании исключения БД отправлять DML-операцию в конец очереди и для этого можно использовать цикл while not all(check_list):

# python3.8 import cx_Oracle   # составляем чек-лист переноса данных,  # если значение в списке 0, значит данные не перенесены, обратно, если 1 etl_objects = [('MY_SCHEMA', 'MY_TABLE1'), ('MY_SCHEMA', 'MY_TABLE2'), ...] check_list = [0 for _ in range(len(etl_objects))] i = 0 while not all(check_list):   i = i % len(check_list)  # нужно для второго и последующих циклов   try:     if not check_list[i]:       with cx_Oracle.connect(user=user,                              password=password,                              tns=tns,                              encoding='utf-8') as db_conn:         with db_conn.cursor() as cursor:           sql_text = (f"delete from {etl_objects[i][0]}.{etl_objects[i][1]} "                       "where my_column = 'my_variable'")           cursor.execute(sql_text)           cursor.execute('commit')           sql_text = (f"insert into {etl_objects[i][0]}.{etl_objects[i][1]} "                       "select * "                       f"from {etl_objects[i][0]}.{etl_objects[i][1]}@src_dblink "                       "where my_column = 'my_variable';")           cursor.execute(sql_text)           cursor.execute('commit')       check_list[i] = 1   except Exception as e:     print(f"Сработало исключение {str(e)}: объект загрузки отправлен в конец очереди")   i += 1   

Понятное дело, что формально объект загрузки не отправляется в конец очереди, но цикл while будет повторяться до тех пор, пока не останется ни одного незагруженного объекта. Также понятное дело, что если сработали другие исключения, отличные от ORA-02291 и ORA-02292, то цикл рискует стать бесконечным, но этот пример подразумевает, что в остальном ограничения источника и приемника не будут мешать загрузке.

while i < len(table_trg) and j < len(table_src)

При тестировании DDL таблиц в разных базах данных может понадобиться сравнивать их наборы полей и типов данных, которые могут отличаться. То есть семантика таблиц одинаковая, а реализация отличается. Например, обе таблицы хранят один и тот же набор основных данных, но названия полей погут отличаться, также для полей с одинаковыми названием и назначением могут отличаться типы данных или ограничения типа данных.

В oracle вывести набор полей и типов данных из двух источников можно с помощью запросов:

-- SQL  select column_name, data_type, data_length ,...,    from all_tab_columns  where owner = 'MY_SHEMA' and table_name = 'MY_TABLE';  select column_name, data_type, data_length ,...,    from all_tab_columns@src_dblink  where owner = 'MY_SHEMA' and table_name = 'MY_TABLE';

В идеале наборы и значения полей должны быть идентичны, но не всегда бывает так, особенно, когда базы данных живут своими жизнями и одна жизнь отстает в развитии от другой. Так вот, чтобы узнать в чем она отстает или в чем они расходятся между собой можно с помощью кода:

# python3.8 import cx_Oracle   with cx_Oracle.connect(user=user,                        password=password,                        tns=tns,                        encoding='utf-8') as db_conn:   with db_conn.cursor() as cursor:     sql_text = ("select column_name, data_type, data_length "                 "from all_tab_columns "                 "where owner = 'MY_SHEMA' and table_name = 'MY_TABLE' "                 "order by column_name")     cursor.execute(sql_text)     table_trg = cursor.fetchall()     sql_text = ("select column_name, data_type, data_length "                 "from all_tab_columns@src_dblink "                 "where owner = 'MY_SHEMA' and table_name = 'MY_TABLE' "                 "order by column_name")     cursor.execute(sql_text)     table_src = cursor.fetchall()  i, j = 0, 0 tmp_table_trg, tmp_table_src = [], [] while i < len(table_trg) and j < len(table_src):   if table_trg[i][0] == table_src[j][0]:  # сравниваем названия полей     tmp_table_trg.append(table_trg[i])     tmp_table_src.append(table_src[j])     i += 1     j += 1   elif table_trg[i][0] < table_src[j][0]:   # если название поля меньше, то в правой таблице поля с таким же названием нет     tmp_table_trg.append(table_trg[i])     tmp_table_src.append((None, None, None))  # добавляем в правую таблицу "пустую" строку     i += 1   else:     tmp_table_trg.append((None, None, None))  # добавляем в левую таблицу "пустую" строку     tmp_table_src.append(table_src[j])     j += 1  diffs = list(filter(lambda x: x[0] != x[1], zip(tmp_table_trg, tmp_table_src))) 

Вот такие две реализации циклов через while я использую в своей работе.

Первый пример ( while not all() ) помогает гонять циклы по чек-листам, а второй ( while i < len(table_trg) and j < len(table_src) ), помогает выравнивать списки кортежей.

Чтобы мой код выше можно было проверить, если у вас нет возможности делать запросы к БД, можно переписать мой код на работу с таблицами csv.