Анатомия резидентных прокси: как выбрать пул для мультиаккаунтинга и не слить бюджет — мой топ прокси-провайдеров

от автора

В свете последних событий (ограничения, замедления, запреты) — “это нельзя”, “так будет лучше”, “исключительно в интересах вашей безопасности” и так далее — расцвел как подснежник в первой половине апреля, рынок прокси провайдеров.

Справедливости ради стоит отметить, что бум пришелся именно на “золотое” время 20-х годов, и в целом тренд на рост продолжается. Я вообще думаю, что в течение нескольких лет мы еще увидим не один расцвет инструментов автоматизации и околотематичных сервисов. Переосмысление, переупаковка и внедрение новых фич, уверен мы еще не достигли пика. 

Но чем больше рынок, тем интереснее его разобрать на составляющие, так сказать проанализировать игроков и попробовать их распределить по неким подгруппам, и выделить среди них фаваритов, середнячков и аутсайдеров. Сервисов много и много среди них откровенного шлака, а так как у меня есть опыт взаимодействия с многими игроками — выскажу свое субъективное мнение, может кому то будет полезно.

По каким метрикам мы будем судить прокси провайдеров?

Если почитать лендинги провайдеров, то у каждого заявлены — “миллионные пулы”, “аптайм 99.9%” и “идеально для любых задач”. На практике же, когда ты начинаешь гонять через них тяжелый трафик или поднимать сетку профилей в антидетекте, маркетиноговый туман быстро рассеивается и на поверхности остается только суровая реальность.

Что касается меня, то я смотрю на несколько критериев при выборе провайдера, в том числе на чистоту пула (наличие, вернее отсутствие “грязных” ip-адресов), соответствие реальности, тому что было заявлено (отсутствие в пуле резидентных прокси серверных ip-адресов) ну и чисто технически скорость и задержки. Все это можно проверить на тестах, перед тем как брать большой объем трафика.  

Оценивать прокси одним лишь голым пингом неверно, можно не углубляясь в дебри получить на старте намного больше данных, которые раскроют нам всю подноготную. конкретного пула адресов. К примеру, дешевые серверные IPv4 всегда будут показывать красивый отклик в 40-50 мс. Но когда вы начнете рендерить тяжелую страницу со скриптами, браузер откроет десятки параллельных соединений. И вот тут дешевый канал может захлебнуться, а страница упасть по таймауту.

Второй момент это чистота. Пул в 50 миллионов IP не будет иметь никакого смысла, если 40 миллионов из них занесены в блек-листы Cloudflare или Spamhaus. Для мультиаккаунтинга критически важен механизм отсева “грязных” адресов на стороне самого провайдера. Всего один заюзанный IP-адрес, случайно проскочивший вашу проверку и выданный для работы может убить ваш профиль — будет обидно.

И третий — важный момент — наличие в пуле серверных прокси, когда заявлены резидентные. Самое забавное, что многие провайдеры могут даже и не догадываться, что у них в пуле есть такая неприятность — поэтому не оставляйте на откуп провайдеру — проверяйте сами.  

Чем плохи серверные прокси для серьезных задач думаю вы понимаете — это красный флаг для целевого ресурса, и больше вероятность быть забаненым.

Тестовый стенд: Доверяй, но проверяй

Чтобы не быть голословным, я написал два чекера на Node js. Никаких сторонних дашбордов — только хардкор, консоль и прямые запросы. 

Можно было бы просто написать что вот этот сервис лучший, все остальные не очень — покупайте у них, расходимся. 

Мы так делать не будем, мы проведем реальные замеры.

Я разделил бенчмарк на два этапа:

Легкий тест (Синтетика через Axios): Используем HTTPS-эндпоинт (ipinfo.io), чтобы проверить заявленное ГЕО, реальный выходной IP-адрес и, главное, ASN провайдера (именно по нему мы поймем, домашний это интернет или дата-центр). 

process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';const axios = require('axios');const { HttpsProxyAgent } = require('https-proxy-agent');const { performance } = require('perf_hooks');const { proxiesToTest } = require('./config');async function runLightTest() {    console.log('🚀 Starting Light Benchmark (Axios/HTTPS)...\n');    const results = [];    for (const proxy of proxiesToTest) {        const agent = new HttpsProxyAgent(proxy.url);        const startTime = performance.now();        try {                  const response = await axios.get('https://ipinfo.io/json', {                httpsAgent: agent,                proxy: false,                 timeout: 15000            });            const duration = Math.round(performance.now() - startTime);            results.push({                Provider: proxy.name,                Status: '✅ Success',                Ping_ms: duration,                Exit_IP: response.data.ip || 'N/A',                Country: response.data.country || 'N/A',                ISP: response.data.org ? response.data.org.substring(0, 30) : 'N/A'            });        } catch (err) {            results.push({                Provider: proxy.name,                Status: '❌ Error',                Ping_ms: '-',                Exit_IP: '-',                Country: '-',                ISP: err.code || err.message.substring(0, 15)            });        }    }    console.table(results);}runLightTest();

Тяжелый тест (Боевые условия в Puppeteer): Поднимаем Headless-браузер, цепляем прокси и идем на сайт, где будут проверятся отпечатки устройства (в моем случае это bot.sannysoft.com). Ждем полной загрузки DOM и выполнения JS. Этот тест показывает, как прокси держит множественные соединения и прогрузку статики.

process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';const puppeteer = require('puppeteer');const { performance } = require('perf_hooks');const { proxiesToTest } = require('./config');async function runHeavyTest() {    console.log('🚀 Starting Heavy Benchmark (Puppeteer/Browser)...\n');    const results = [];    for (const proxy of proxiesToTest) {        let browser;        const startTime = performance.now();               try {            const proxyUrl = new URL(proxy.url);            const server = `${proxyUrl.protocol}//${proxyUrl.hostname}:${proxyUrl.port}`;            browser = await puppeteer.launch({                headless: "new",                args: [                    `--proxy-server=${server}`,                    '--no-sandbox',                    '--disable-blink-features=AutomationControlled'                ]            });            const page = await browser.newPage();            await page.authenticate({                username: proxyUrl.username,                password: proxyUrl.password            });            await page.goto('https://bot.sannysoft.com/', {                waitUntil: 'networkidle2',                timeout: 30000            });            const duration = Math.round(performance.now() - startTime);                       const isDetected = await page.$eval('#webdriver-v2', el => el.classList.contains('failed')).catch(() => 'N/A');            results.push({                Provider: proxy.name,                Status: '✅ Loaded',                Render_Time_ms: duration,                WebDriver_Detected: isDetected ? '🚩 YES' : '🛡️ NO'            });        } catch (err) {            results.push({                Provider: proxy.name,                Status: '❌ Failed',                Render_Time_ms: '-',                WebDriver_Detected: '-'            });        } finally {            if (browser) await browser.close();        }    }    console.table(results);}runHeavyTest();

Разбор игроков рынка 

Для чистоты эксперимента я взял пять провайдеров, которые предоставляют прокси, в частности:

  • Bright Data

  • Nodemaven

  • Floppydata

  • Thordata

  • Asoks

И прогнал их через свои чекеры. В общем списке присутсвуют и позиционирующий себя элитой BrightData и масс маркет в виде “NodeMaven и компания”. Но прежде чем переходить к результатам, которые я получил, хочу сказать несколько слов про каждого из провайдеров, чтобы сравнить их по удобству и некоторым другим факторам, которые на чекере не проверить.

“Элита” среди прокси

Не буду юлить — я не люблю вот этих вот мастодонтов вроде Brightdata или Oxylabs (он в выборку не попал, хотя мог бы — но из-за одного важного момента я не стал его включать — KYC верификация). И на то есть причина. Мало того, что скорость у них оставляет желать лучшего, не самые чистые пулы с ip-адресами (я проверял не один раз), цена до неприличия “элитная” — только непонятно за что переплачиваешь, за неудобный громоздкий сервис или за бренд, так еще и самое раздражающее — KYC-верификация.

В век автоматизации сервис, предоставляющий пулы ip-адресов, который требует прохождение KYC верификации, выглядит, мягко скажем, странно. Я не говорю о том, что многие разработчики, использующие прокси в своих проектах хотели бы избежать этой верификации, так еще и есть вероятность ее не пройти, когда у тебя только один паспорт, а некоторые организации не работают с этими паспортами. В общем со всех сторон один негатив. Собственно Brightdata попал в список случайно, у меня просто был верифицированный аккаунт, а вот для Oxylabs, к сожалению, такого аккаунта не нашлось.

Ценовая политика у Brightdata самая агрессивная, так мало того, она еще и по результатам тестов показал самый худший результат.

Что касается юзабилити — то по моему субъективному мнению, Brightdata тоже не блещет. Простая панель настройки, без каких либо излишков, что с одной стороны хорошо, но погрузившись глубже понимаешь — чего-то не хватает, и в случае с прокси провайдером это далеко не кофе.

Общий вердикт будет в конце статьи, но я думаю не открою тайну, если уже сейчас отдам этому сервису почетное последнее место.

Прокси провайдеры для массового использования и любых задач

Переходим к массовому рынку, сервисы с самой большой аудиторией и самыми доступными ценами. Сюда входят 4 остальных сервиса:

  • Nodemaven

  • Floppydata

  • Thordata

  • Asoks

Пойдем по порядку и рассмотрим каждый сервис по отдельности

NodeMaven: Трастовые резидентные прокси для мультиаккаунтинга

Открывает раздел NodeMaven — это отличный пример того, как должен выглядеть сервис для тех, кто занимается автоматизацией и фармом, а не просто перепродает порты оптом. Никакой KYC-верификации: зарегистрировался, пополнил баланс криптой или картой, и ты в игре.

Главная фишка этих ребят, которую они не зря подсвечивают — алгоритмы фильтрации пула. Для работы с антидетектами не так важен объем пула, как его чистота, я кстати об этом упоминал в самом начале статьи. На самом деле я бы поставил сервис на ступень выше масс маркета, так как подход к формированию пулов немного другой.

NodeMaven автоматически отсеивает заюзанные и занесенные в блэк-листы адреса. Фактически снимает с вас необходимость дополнительной проверки (правда если говорить за себя, паранойя мое второе имя — поэтому этап проверки ip-адресов по спам базам я не убираю из своих тестов никогда).

Помимо отсутствия адресов в спам-базах, сервис серьезно относится и к перемешиванию серверных ip в общий пул. Во всех прогонах моего синтетического теста они честно выдали IP-адреса крупных провайдеров домашнего интернета, ни разу мне не встречались серверные адреса в их базах, что подтверждает ее чистоту.

Что касается юзабилити и избыточности настроек — тут все вполне консистентно и прилично. Сложностей с настройкой нет, как и с возможностью настраивать прокси под себя. Все на месте, при длительном использовании не возникало чувства, что чего-то не хватает, как это было с “элитой” индустрии.

По ценовому диапазону тут также все прилично, сервис находится в рынке, условия как и у всех — чем больше покупаете трафика, тем дешевле цена за 1 ГБ. Результаты тестов будут ниже — сохраним интригу до конца.

Floppydata: Бюджетные резидентные прокси для простых задач  

Floppydata — это типичный представитель бюджетной категории провайдеров. Вход свободный, регистрация занимает пару минут, никаких искусственных барьеров для старта нет.

Сервис сравнительно молодой и скорее всего находятся в поиске себя и своей аудитории. Изначально они делали ставку на минимализм, но по какой-то причине они отошли от этого вектора и начали нагромождать свой кабинет и в итоге он уже выглядит несколько громоздким, что не всем может понравиться.

Юзабилити панели управления звезд с неба не хватает, но со своей основной задачей справляется без нареканий. Кнопки на месте, статистика откручивается прозрачно. Быстро настроить несколько потоков и быстро их скопировать можно, но с тонкой настройкой тут не так радужно все и тем не менее, по ощущению они все равно лучше Brightdata.

По ценам сервис максимально лоялен к новичкам и тем, кому нужно много недорогого трафика. А вот как эта дешевизна сказывается на реальной пропускной способности при загрузке тяжелых JS-сайтов — увидите в результатах ниже. Сохраним интригу и тут, но намекну, что физику не обманешь.

Thordata: Резидентные прокси с экзотическими ГЕО 

Этот сервис позиционирует широкий географический охват. Проверить это или опровергнуть я к сожалению не могу — нет столько времени на перебор, но по результатам использования их ранее могу сказать, что есть сложности с азиатским рынком (например в ГЕО Вьетнам у них очень мало адресов, также специфические локации требуют проверку на полноту пулов). 

Порог входа ту, как и у двух предыдущих провайдеров, простой и без лишней бюрократии.

С этим сервисом у меня не сложилось в плане юзабилити, но может вкусовщина, не могу за всех говорить. Настройка показалась излишне перегруженой, и глючной в определенных моментах. Да и верстка в некоторых местах ехала, что подливало масла в огонь. Но если сравнивать его с конкурентами — то все необходимые параметры присутсвуют, надо только разобраться где они расположены.

По ценам сервис находится в комфортном рыночном диапазоне. Но самое интересное, как водится, кроется в деталях и под нагрузкой.

Asoks: Резидентные прокси из масс-маркета, которые держат удар 

Asoks — крепкий середнячок на фоне остальных бюджетных решений. Как и полагается в адекватном масс-маркете, никто не будет мучать вас проверками с паспортом у лица: зашли, пополнили баланс и можно сразу парсить.

Отдельно хочу отметить удобство выдачи самих прокси — они отдают порты сразу в формате готовой ссылки (http://user:pass@host:port), что экономит время при написании кода или массовом импорте в антидетект. Мелочь, а приятно (не у всех есть подобный формат, я имею ввиду весь рынок в целом). Что касается юзабилити личного кабинета, то тут всё максимально утилитарно и по делу. Интерфейс не перегружен лишними «свистелками», настроил гео, скопировал данные и пошел работать.

По ценовой политике это классический Pay-As-You-Go с очень доступным порогом входа, что полностью оправдывает их статус массового сервиса. 

Результаты бенчмарка: Танцы с бубном и суровая реальность

Слова словами, а цифры не врут. Я прогнал наш пул из 5 провайдеров через оба скрипта. И результаты получились максимально жизненными — с ошибками консоли, отвалами и парадоксами скорости.

Сначала посмотрим на результаты базового HTTP-запроса через Axios.

Provider 

Status 

Ping_ms 

Type 

Rang

NodeMaven

✅ Success

1173 

Residential

1

Floppydata

✅ Success

2209 

Residential

4

BrightData

✅ Success

4146 

Residential

5

Thordata

✅ Success

1851 

Residential

2

Asoks

✅ Success

3417 

Residential

3

Разбор полетов (Синтетика):

Честные ГЕО и Провайдеры: Все провайдеры честно держат в пулах именно резидентные ip-адреса (прогон я делал на разных прокси). Никаких дешевых дата-центров под капотом не засветилось.

Пинг: От 1173 мс до 4146 мс.Nodemaven показал наиболее быструю скорость, вместе с Thordata, а у всех остальных к сожалению ситуация менее радужная, особенно “порадовал” Brighdata — не получилось, не фартануло, причем ни разу скорость не поднималась выше указанной в таблице.

Особенность BrightData: У нашего энтерпрайз-мастодонта Bright Data используется MITM-подмена SSL-сертификатов на своих балансировщиках. Дефолтный Node.js считает такие сертификаты угрозой безопасности и блокирует запрос. Чтобы скрипт завелся, мне пришлось принудительно отключать проверку безопасности строкой NODE_TLS_REJECT_UNAUTHORIZED = ‘0’. А надо оно вообще стандартному новичку? Человек заплатил деньги (причем немалые) и просто хочет несколько потоков настроить — а ему такой “подарок”, думайте сами.

Но синтетика — это лишь разминка. Давайте посмотрим, что произойдет, когда мы попросим эти прокси загрузить тяжелую страницу с кучей JS-скриптов через реальный Headless-браузер.

Provider 

Status 

Render_Time_ms 

WebDriver_Detected 

Rang

NodeMaven

✅ Loaded

5128

🚩 YES

1

Floppydata

✅ Loaded

9754

🚩 YES

3

BrightData

❌ Failed

5

Thordata

✅ Loaded

10087 

🚩 YES

4

Asoks

✅ Loaded

7729 

🚩 YES

2

Разбор полетов (Боевые условия на Puppeteer):

А вот здесь происходит парадокс — если в первом тесте места по скорости распределились так как видно в таблице, то при прогоне через второй скрипт видим, что второе место Thordata не подтверждается, при нагрузке скорость проседает и проседает достаточно ощутимо. Нагрузка многократно возрастает из-за десятков параллельных TCP-соединений.

Безоговорочный лидер: NodeMaven. Несмотря на задержку первого байта, их качественный канал позволил отрендерить страницу всего за 5.1 секунды. Для резидентных прокси это неплохой показатель, доказывающий, что их ноды обладают хорошей пропускной способностью.

Середнячок: Asoks тоже показал себя весьма неплохо, справившись за 7.7 секунд. Для масс-маркета — допустимый результат.

Аутсайдеры по скорости: А вот Floppydata и Thordata откровенно задыхались на прогрузке статики, потратив на рендер около 10 секунд. В масштабах многопоточного парсинга разница между 5 и 10 секундами может вылится в часы простоя.

Провал BrightData: Почему энтерпрайз упал с ошибкой, хотя в первом тесте работал? Это классические грабли автоматизации. Puppeteer запускает отдельный процесс Chromium, которому абсолютно плевать на переменные окружения Node.js. Чтобы заставить браузер работать с MITM-сертификатами BrightData, нужно обязательно передавать флаг —ignore-certificate-errors в аргументы запуска. В итоге запустить поток с проксями Brightdata через мой скрипт мне не удалось, да и не особо хотелось если честно, так как результат там будет хуже чем у остальных участников.

Резидентные прокси — это не панацея

Обратите внимание на колонку: WebDriver_Detected: 🚩 YES.

Многие начинающие автоматизаторы думают, что покупка резидентных прокси решит проблему мультиаккаунтинга. Ничего подобного. Качественный прокси даст вам траст по IP-адресу. Но если вы стучитесь к сайту через «голый» Puppeteer, который светит стандартными отпечатками автоматизации (navigator.webdriver = true) — вас забанят не по IP, а по фингерпринту браузера.

Заключительный топ прокси провайдеров

Подводя черту под всем вышесказанным и опираясь исключительно на сухие цифры наших тестов и личный опыт автоматизации, мой итоговый рейтинг выглядит следующим образом:

1 место — NodeMaven (Золотая середина) Безоговорочный лидер моего субъективного топа. Ребята нашли идеальный баланс между качеством пула (чистые трастовые IP), отсутствием бюрократии и отличной пропускной способностью под капотом. Если вы работаете с антидетект-браузерами, поднимаете фермы аккаунтов или парсите тяжелые SPA-приложения — это мастхэв. Они экономят самое важное — время на рендер и нервы на восстановление забаненных сеток.

2 место — Asoks (Народный выбор) Крепкий масс-маркет, который приятно удивил и заслуженно забирает серебро. Отличный баланс цены и стабильности. Удобный формат выдачи прокси в виде готовой ссылки, адекватная скорость в боевых условиях Puppeteer и низкий порог входа. Если премиум-пулы вам пока избыточны, а собирать данные нужно много и регулярно — берите их в работу.

3 место — Floppydata (Рабочая лошадка) Бронза уходит типичному представителю недорогих сетей. Работать с ними можно, но с оговорками. Если таргет не требует загрузки тяжелого JS, и вам просто нужно отправить тысячи легковесных запросов (где таймауты не критичны, а обработка ошибок и ретраи грамотно прописаны в вашем коде) — это хороший вариант для экономии бюджета.

4 место — Thordata (Специфичный инструмент) Довольно спорный сервис, чье высокое место в синтетике разбилось о суровую реальность многопоточной нагрузки. Их имеет смысл держать в арсенале только ради экзотических ГЕО, которые сложно найти у конкурентов. Использовать их как фундамент для стабильной высоконагруженной архитектуры я бы не рискнул.

5 место — BrightData (Разочарование задорого) Тот самый случай, когда “дорого и масштабно” не значит “удобно для разработчика”. Обязательный KYC-контроль, конский ценник, танцы с бубном вокруг MITM-сертификатов и, как следствие, отказ работать “из коробки”. Оставим этот сервис крупным корпорациям, готовым тратить часы на настройку окружения. Для автоматизаторов-одиночек и арбитражников — это пустая трата времени и денег.

Вместо эпилога

Напоследок хочу повторить мысль, которую пронес через всю статью: универсальной таблетки в мире мультиаккаунтинга не существует. Прокси — это лишь транспорт, первый слой вашей анонимности. Без грамотной работы с отпечатками (фингерпринтами), правильной логики скриптов и понимания того, как целевой сайт вас анализирует, даже самые дорогие резидентные сети превратятся в тыкву.

Не верьте красивым лендингам про “миллионные пулы” и “аптайм 99.9%”. Берите тестовый баланс, пишите свои чекеры, гоняйте трафик и проверяйте всё кодом.

Удачного парсинга и зеленого траста вашим аккаунтам!

ссылка на оригинал статьи https://habr.com/ru/articles/1026848/