Импорт базы ГАР для нормализации собственной адресной базы в Laravel 10. Часть II, пишем консольное приложение

gar:full-download — скачивает выгрузку в файловое хранилище
gar:full-extract — извлекает необходимые файлы из выгрузки
gar:full-import — ставит задания на парсинг xml и запись данных в БД
gar:start-workers — запускает обработчики очереди Laravel

<?php  use Illuminate\Database\Migrations\Migration;  return new class extends Migration {     public function up(): void     {         if (config('database.default') === 'pgsql') DB::unprepared('create schema if not exists gar');     }      public function down(): void     {         if (config('database.default') === 'pgsql') DB::unprepared('drop schema if exists gar');     } };

Команда artisan

php artisan make:model Gar\AddrObjs -m

Миграция xxxx_xx_xx_xxxxxx_create_addr_objs_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.addr_objs', function (Blueprint $table) {             $table->id();             $table->bigInteger('object_id')->comment('Глобальный уникальный идентификатор объекта');             $table->index('object_id');             $table->uuid('object_guid')->comment('Глобальный уникальный идентификатор адресного объекта');             $table->index('object_guid');             $table->bigInteger('change_id')->comment('ID изменившей транзакции');             $table->string('name', 250)->comment('Наименование');             $table->string('type_name', 50)->comment('Краткое наименование типа объекта');             $table->integer('level')->comment('Уровень адресного объекта');             $table->index('level');             $table->integer('oper_type_id')->comment('Статус действия над записью – причина появления записи');             $table->bigInteger('prev_id')->nullable()->comment('Идентификатор записи связывания с предыдущей исторической записью');             $table->bigInteger('next_id')->nullable()->comment('Идентификатор записи связывания с последующей исторической записью');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_actual')->comment('Статус актуальности адресного объекта ФИАС');             $table->boolean('is_active')->comment('Признак действующего адресного объекта');         });     }      public function down(): void     {         Schema::dropIfExists('gar.addr_objs');     } };

Модель Models/Gar/AddrObjs.php

<?php  namespace App\Models\Gar; use Illuminate\Database\Eloquent\Model;  class AddrObj extends Model {     protected $table = 'gar.addr_objs';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

Команда artisan

php artisan make:model Gar\AdmHierarchy -m

Миграция xxxx_xx_xx_xxxxxx_create_adm_hierarchies_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.adm_hierarchies', function (Blueprint $table) {             $table->id();             $table->bigInteger('object_id')->comment('Глобальный уникальный идентификатор объекта');             $table->index('object_id');             $table->bigInteger('parent_obj_id')->comment('Идентификатор родительского объекта');             $table->index('parent_obj_id');             $table->bigInteger('change_id')->comment('ID изменившей транзакции');             $table->string('region_code', 4)->nullable()->comment('Код региона');             $table->string('area_code', 4)->nullable()->comment('Код района');             $table->string('city_code', 4)->nullable()->comment('Код города');             $table->string('place_code', 4)->nullable()->comment('Код населенного пункта');             $table->string('plan_code', 4)->nullable()->comment('Код ЭПС');             $table->string('street_code', 4)->nullable()->comment('Код улицы');             $table->bigInteger('prev_id')->nullable()->comment('Идентификатор записи связывания с предыдущей исторической записью');             $table->bigInteger('next_id')->nullable()->comment('Идентификатор записи связывания с последующей исторической записью');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_active')->comment('Признак действующего адресного объекта');             $table->string('path')->comment('Материализованный путь к объекту (полная иерархия)');         });     }      public function down(): void     {         Schema::dropIfExists('gar.adm_hierarchies');     } };

Модель Models/Gar/AdmHierarchy.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class AdmHierarchy extends Model {     protected $table = 'gar.adm_hierarchies';     public $timestamps = false;     public $incrementing = false;     protected $guarded = [];  }

Команда artisan

php artisan make:model Gar\House -m

Миграция xxxx_xx_xx_xxxxxx_create_houses_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.houses', function (Blueprint $table) {             $table->id();             $table->bigInteger('object_id')->comment('Глобальный уникальный идентификатор объекта');             $table->index('object_id');             $table->uuid('object_guid')->comment('Глобальный уникальный идентификатор адресного объекта');             $table->index('object_guid');             $table->bigInteger('change_id')->comment('ID изменившей транзакции');             $table->string('house_num', 50)->nullable()->comment('Основной номер дома');             $table->string('add_num_1', 50)->nullable()->comment('Дополнительный номер дома 1');             $table->string('add_num_2', 50)->nullable()->comment('Дополнительный номер дома 2');             $table->bigInteger('house_type')->nullable()->comment('Основной тип дома');             $table->index('house_type');             $table->bigInteger('add_type_1')->nullable()->comment('Дополнительный тип дома 1');             $table->index('add_type_1');             $table->bigInteger('add_type_2')->nullable()->comment('Дополнительный тип дома 2');             $table->index('add_type_2');             $table->integer('oper_type_id')->comment('Статус действия над записью – причина появления записи');             $table->bigInteger('prev_id')->nullable()->comment('Идентификатор записи связывания с предыдущей исторической записью');             $table->bigInteger('next_id')->nullable()->comment('Идентификатор записи связывания с последующей исторической записью');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_actual')->comment('Статус актуальности адресного объекта ФИАС');             $table->boolean('is_active')->comment('Признак действующего адресного объекта');         });     }      public function down(): void     {         Schema::dropIfExists('gar.houses');     } };

Модель Models/Gar/House.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class House extends Model {     protected $table = 'gar.houses';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

Команда artisan

php artisan make:model Gar\HouseAddType -m

Миграция xxxx_xx_xx_xxxxxx_create_house_add_types_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.house_add_types', function (Blueprint $table) {             $table->id();             $table->string('name', 250)->comment('Наименование');             $table->string('short_name', 50)->nullable()->comment('Краткое наименование');             $table->string('desc', 250)->nullable()->comment('Описание');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_active')->comment('Статус активности');         });     }      public function down(): void     {         Schema::dropIfExists('gar.house_add_types');     } };

Модель Models/Gar/HouseAddType.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class HouseAddType extends Model {     protected $table = 'gar.house_add_types';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

Команда artisan

php artisan make:model Gar\HouseParam -m

Миграция xxxx_xx_xx_xxxxxx_create_house_params_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.house_params', function (Blueprint $table) {             $table->id();             $table->bigInteger('object_id');             $table->index('object_id');             $table->bigInteger('change_id');             $table->integer('change_id_end');             $table->integer('type_id');             $table->index('type_id');             $table->string('value');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->index('end_date');         });     }      public function down(): void     {         Schema::dropIfExists('gar.house_params');     } };

Модель Models/Gar/HouseParam.php

<?php  namespace App\Models\Gar; use Illuminate\Database\Eloquent\Model;  class HouseParam extends Model {     protected $table = 'gar.house_params';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

Команда artisan

php artisan make:model Gar\HouseType -m

Миграция xxxx_xx_xx_xxxxxx_create_house_types_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.house_types', function (Blueprint $table) {             $table->id();             $table->string('name', 250)->comment('Наименование');             $table->string('short_name', 50)->comment('Краткое наименование');             $table->string('desc', 250)->comment('Описание');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_active')->comment('Статус активности');         });     }      public function down(): void     {         Schema::dropIfExists('gar.house_types');     } };

Модель Models/Gar/HouseType.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class HouseType extends Model {     protected $table = 'gar.house_types';     public $timestamps = false;     public $incrementing = false;     protected $guarded = [];  }

Команда artisan

php artisan make:model Gar\ObjectLevel -m

Миграция xxxx_xx_xx_xxxxxx_create_object_levels_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.object_levels', function (Blueprint $table) {             $table->id()->comment('Уникальный идентификатор записи. Ключевое поле. Номер уровня объекта');             $table->string('name', 250)->comment('Наименование');             $table->string('short_name', 50)->nullable()->comment('Краткое наименование');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');             $table->boolean('is_active')->comment('Статус активности');         });     }      public function down(): void     {         Schema::dropIfExists('gar.object_levels');     } };

Модель Models/Gar/ObjectLevel.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class ObjectLevel extends Model {     protected $table = 'gar.object_levels';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

Команда artisan

php artisan make:model Gar\ParamType -m

Миграция xxxx_xx_xx_xxxxxx_create_param_types_table.php

<?php  use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\Schema;  return new class extends Migration {     public function up(): void     {         Schema::create('gar.param_types', function (Blueprint $table) {             $table->id();             $table->string('name');             $table->string('desc');             $table->string('code');             $table->boolean('is_active');             $table->date('update_date')->comment('Дата внесения (обновления) записи');             $table->date('start_date')->comment('Начало действия записи');             $table->date('end_date')->comment('Окончание действия записи');         });     }      public function down(): void     {         Schema::dropIfExists('gar.param_types');     } };

Модель Models/Gar/ParamType.php

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class ParamType extends Model {     protected $table = 'gar.param_types';     public $timestamps = false;     public $incrementing = false;     protected $guarded = []; }

<?php  namespace App\Services\Gar;  class AddrObj extends CommonGar {     protected function getTableName(): string     {         return 'gar.addr_objs';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'OBJECTID' => 'object_id',             'OBJECTGUID' => 'object_guid',             'CHANGEID' => 'change_id',             'NAME' => 'name',             'TYPENAME' => 'type_name',             'LEVEL' => 'level',             'OPERTYPEID' => 'oper_type_id',             'PREVID' => 'prev_id',             'NEXTID' => 'next_id',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTUAL' => 'is_actual',             'ISACTIVE' => 'is_active',         ];     } }

<?php  namespace App\Services\Gar;  class AdmHierarchy extends CommonGar {     protected function getTableName(): string     {         return 'gar.adm_hierarchies';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'OBJECTID' => 'object_id',             'PARENTOBJID' => 'parent_obj_id',             'CHANGEID' => 'change_id',             'REGIONCODE' => 'region_code',             'AREACODE' => 'area_code',             'CITYCODE' => 'city_code',             'PLACECODE' => 'place_code',             'PLANCODE' => 'plan_code',             'STREETCODE' => 'street_code',             'PREVID' => 'prev_id',             'NEXTID' => 'next_id',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTIVE' => 'is_active',             'PATH' => 'path',         ];     } }

<?php  namespace App\Services\Gar;  class House extends CommonGar {      protected function getTableName(): string     {         return 'gar.houses';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'OBJECTID' => 'object_id',             'OBJECTGUID' => 'object_guid',             'CHANGEID' => 'change_id',             'HOUSENUM' => 'house_num',             'ADDNUM1' => 'add_num_1',             'ADDNUM2' => 'add_num_2',             'HOUSETYPE' => 'house_type',             'ADDTYPE1' => 'add_type_1',             'ADDTYPE2' => 'add_type_2',             'OPERTYPEID' => 'oper_type_id',             'PREVID' => 'prev_id',             'NEXTID' => 'next_id',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTUAL' => 'is_actual',             'ISACTIVE' => 'is_active',         ];     } } 

<?php  namespace App\Services\Gar;  class HouseAddType extends CommonGar {      protected function getTableName(): string     {         return 'gar.house_add_types';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'NAME' => 'name',             'SHORTNAME' => 'short_name',             'DESC' => 'desc',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTIVE' => 'is_active',         ];     } }

<?php  namespace App\Services\Gar;  class HouseParam extends CommonGar {     protected function getTableName(): string     {         return 'gar.house_params';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'OBJECTID' => 'object_id',             'CHANGEID' => 'change_id',             'CHANGEIDEND' => 'change_id_end',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'TYPEID' => 'type_id',             'VALUE' => 'value',             'ENDDATE' => 'end_date',         ];     } } 

<?php  namespace App\Services\Gar;  class HouseType extends CommonGar {      protected function getTableName(): string     {         return 'gar.house_types';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'NAME' => 'name',             'SHORTNAME' => 'short_name',             'DESC' => 'desc',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTIVE' => 'is_active',         ];     } } 

<?php  namespace App\Services\Gar;  class ObjectLevel extends CommonGar {      protected function getTableName(): string     {         return 'gar.object_levels';     }      protected function canProcessed(array $inputArray): bool     {         return true;     }      protected function getKeysArray(): array     {         return [             'LEVEL' => 'id',             'NAME' => 'name',             'SHORTNAME' => 'short_name',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',             'ISACTIVE' => 'is_active',         ];     } } 

<?php  namespace App\Services\Gar;  class ParamType extends CommonGar {      protected function getTableName(): string     {         return 'gar.param_types';     }      protected function canProcessed(array $inputArray): bool     {         return !(array_key_exists('ISACTIVE', $inputArray) and !$inputArray['ISACTIVE']);     }      protected function getKeysArray(): array     {         return [             'ID' => 'id',             'NAME' => 'name',             'DESC' => 'desc',             'CODE' => 'code',             'ISACTIVE' => 'is_active',             'UPDATEDATE' => 'update_date',             'STARTDATE' => 'start_date',             'ENDDATE' => 'end_date',         ];     } } 

docker run --name mariadb -p 127.0.0.1:3306:3306 \ -v e:\dev\mariadb\data:/var/lib/mysql \ -v e:\dev\mariadb\logs:/var/lib/mysql/logs \ -v e:\dev\mariadb\etc:/etc/mysql/conf.d \ -e MYSQL_ROOT_PASSWORD=secret -it  mariadb:10.4

<?php  use Illuminate\Database\Migrations\Migration;  return new class extends Migration {     public function up(): void     {         $sql = " drop view if exists gar.gar_data_by_uuid;  create view gar.gar_data_by_uuid as SELECT COALESCE(hp.value, 'Не задан') AS post_index,        ao1.object_id                  AS city_object_id,        ao1.object_guid                AS city_object_guid,        ao1.type_name                  AS city_type_name,        ao1.name                       AS city_name,        ol1.short_name                 AS city_level_short_name,        ol1.name                       AS city_level_name,        ao.object_id                   AS street_object_id,        ao.object_guid                 AS street_object_guid,        ao.type_name                   AS street_type_name,        ao.name                        AS street_name,        ol.name                        AS street_level_name,        ol.short_name                  AS street_level_short_name,        h.object_id                    AS house_object_id,        h.object_guid                  AS house_object_guid,        ht.name                        AS house_type_name,        ht.short_name                  AS house_type_short_name,        h.house_num,        hat.short_name                 AS house_add_type_1_short_name,        hat.name                       AS house_add_type_1_name,        h.add_num_1                    AS house_add_num_1,        hat1.short_name                AS house_add_type_2_short_name,        hat1.name                      AS house_add_type_2_name,        h.add_num_2                    AS house_add_num_2,        h.is_active                    AS house_active FROM gar.houses h          LEFT JOIN gar.adm_hierarchies ah ON ah.object_id = h.object_id AND ah.is_active = true          LEFT JOIN gar.adm_hierarchies ah1 ON ah1.object_id = ah.parent_obj_id AND ah1.is_active = true          LEFT JOIN gar.addr_objs ao ON ao.object_id = ah.parent_obj_id AND ao.is_active = true          LEFT JOIN gar.addr_objs ao1 ON ao1.object_id = ah1.parent_obj_id AND ao1.is_active = true          LEFT JOIN gar.house_types ht ON ht.id = h.house_type AND ht.is_active = true          LEFT JOIN gar.house_add_types hat ON hat.id = h.add_type_1 AND hat.is_active = true          LEFT JOIN gar.house_add_types hat1 ON hat1.id = h.add_type_2 AND hat1.is_active = true          LEFT JOIN gar.object_levels ol ON ol.id = ao.level AND ol.is_active = true          LEFT JOIN gar.object_levels ol1 ON ol1.id = ao1.level AND ol1.is_active = true          LEFT JOIN gar.house_params hp ON hp.object_id = h.object_id AND hp.type_id = 5 AND hp.end_date >= now() WHERE h.is_actual = true";         DB::unprepared($sql);     }      public function down(): void     {         DB::unprepared('drop view if exists gar.gar_data_by_uuid;');     } };

<?php  namespace App\Models\Gar;  use Illuminate\Database\Eloquent\Model;  class GarDataByUUID extends Model {     public $timestamps = false;     protected $table = 'gar.gar_data_by_uuid'; }