Кастомный аллокатор для закрытого 3rd

Что и зачем

Существует ряд ситуаций, когда это имеет смысл. От полного контроля памяти, до вынужденной необходимости. К примеру, одна из возможных ситуаций:
1. Мы используем alignment аллокаторы
2. Мы перегружаем какой-то класс и данные от нашей 3rd зависимости
3. 3rd зависимость не использует alignment аллокаторы

Ищем new/delete/malloc/free

Если нам повезёт, то 3rd может иметь свои new/delete операторы, которые были экспортированы. Хотя везением это сложно назвать, т.к. придётся ковыряться в дизассемблированном коде. Если вы решили не заморачиваться с поиском адресов, то этот шаг можно пропустить.

Немного помучавшись, можно прийти к следующему:

Затем, нам нужен RVA адрес функции.
Для начала получаем адрес dll в памяти:

После чего вычисляем адрес нашего символа:

00007FFC9BB7D760 - Symbol 00007FFC9BAF0000 - Base adress  // Без адреса входа B7D760  AF0000  D760 // Раз адрес кончается на 0000, то D760 просто запоминаем 0000 // Те самые ноли   // Получаем первые два символа адреса  b7 - af = 08  // Конечный итог 08D760

Осталось только достать Ordinal. Для этого подойдёт тот же CFF Explorer

Видим заветные 5CD. Они нам и нужны.

Перегружаем символ

Теперь переходим к более интересной части. Итак, для начала нам потребуется библиотека для создание хуков в рантайме. К примеру, minhook.

Далее пишем базовый код:

using OperatorNewFunc = void* (*)(size_t size);   struct InitialHook { InitialHook() { MH_STATUS ResultCode = MH_Initialize();          // Загружаем наш символ из модуля  HMODULE hMFC = GetModuleHandle("mfc140.dll");          // Загружаем ordinal  OperatorNewFunc hOperatorNew = (OperatorNewFunc)GetProcAddress(hMFC, MAKEINTRESOURCE(0x5CD));  ResultCode = MH_CreateHook(hOperatorNew, /* Вставьте свой каллбек */, nullptr); MH_EnableHook(hOperatorNew); } }; 

Однако, если же вы решили не искать адрес, то просто достаём malloc из ucrtbase.dll

 HMODULE hCRT = GetModuleHandle("ucrtbase.dll"); OperatorNewFunc hFreeFunc = (OperatorNewFunc)GetProcAddress(hCRT, "malloc");

Вторым аргументом для MH_CreateHook передаём нашу новую функцию аллокации памяти.

А теперь самое важно. Нужно заставить компилятор выполнять инициализацию нашей структуры раньше остальных глобальных функций.

// Регистрируем секцию #pragma section(".Hook",read)  using OperatorNewFunc = void* (*)(size_t size);  struct InitialHook { InitialHook() { MH_STATUS ResultCode = MH_Initialize();          // Загружаем наш символ из модуля  HMODULE hMFC = GetModuleHandle("mfc140.dll"); OperatorNewFunc hOperatorNew = (OperatorNewFunc)GetProcAddress(hMFC, MAKEINTRESOURCE(0x5CD));  ResultCode = MH_CreateHook(hOperatorNew, /* Вставьте свой каллбек */, nullptr); MH_EnableHook(hOperatorNew); } };  // Определям символ нашей структуры  #pragma init_seg(lib) __declspec(allocate(".Hook")) static const InitialHook HookInit;

Более подробно об этом можно почитать тут.