Проверка контрагентов. Парсинг fedresurs

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и море проксей, ну разумеется будем парсить. Возможно, тем кто этим займется, пригодятся статья, идеи или, чем черт не шутит, куски кода, а тем, кто просто проводит проверку контрагентов сможет либо понять, что можно взять с сайта либо придумает, что можно еще проверить.

Периодически возникает потребность в получении данных для анализа клиентов/заемщиков/контрагентов и эти данные мы можем получить из этого сайта. Что же нам предлагается?!

Возникновение обременений (залог, лизинг и т.д.) – посмотреть, например, на возможность заключения фиктивных договоров лизинга или на уже заложенное имущество и т.д.

Различные сообщения по клиенту, например, сообщения о банкротстве и уже с ними – проверка, все ли сообщает клиент и может пора пошевелиться в сторону него и предпринять какие-либо меры.

Торги и т.д.

Составляем запрос для получения желаемого

string strQuery;         linq2: switch (inn.Length)             {                 case (10):                     strQuery = "https://fedresurs.ru/backend/companies?limit=15&offset=0&code=" + inn;                     break;                 case (12):                     strQuery = "https://fedresurs.ru/backend/persons?limit=15&offset=0&code=" + inn;                     break;                 case (9):                 case (11):                     inn = 0 + inn;                     goto linq2;                 default:                     return;             }

Определяем по длине строки, с кем имеем дело – с физическим или юридическим лицом (10 символов – юрик, 12 символов – физик) от этого зависит запрос. Бывает, что 0 впереди ИНН куда-то теряется, так что можем поставить проверку, что если 9 или 11 символов, то дописываем 0 впереди. В худшем случае добудем избыточную информацию.

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(strQuery);             request.UserAgent = "Mozila/4.0 (compatible; MSIE 6.0;Windows NT 5.1; SV1; MyIE2; ";             request.CookieContainer = new CookieContainer();             request.Accept = "image/gif, image/x-xbitmap, image/jpeg,image / pjpeg, application / x - shockwave - flash, application / vnd.ms - excel, application / vnd.ms - powerpoint,  application / msword,";             request.Headers.Add("Accept-Language", "ru");             request.ContentType = "application/json";             request.KeepAlive = true;             request.Timeout = 200000;             request.Referer = "https://fedresurs.ru/search/entity?code=" + inn;             HttpWebResponse response = new HttpWebResponse();     response = (HttpWebResponse)request.GetResponse();

Стоит обратить внимание на Referer – без него, сервер будет отпинывать, сообщая, что страница не найдена.

Берем любой ИНН, например 3327848813 и делаем запрос. Вернется нам json:

{"pageData":[{"guid":"b99c2ded-1a6c-4239-b728-804461ad074b","ogrn":"1103327002393","inn":"3327848813","name":"ООО \"СУЗДАЛЬСКАЯ ПИВОВАРНЯ\"","egrulAddress":"600033, ОБЛАСТЬ ВЛАДИМИРСКАЯ, ГОРОД ВЛАДИМИР, УЛИЦА СУЩЁВСКАЯ, ДОМ 37, ПОМЕЩЕНИЕ 12","status":"Юридическое лицо признано несостоятельным (банкротом) и в отношении него открыто конкурсное производство","statusUpdateDate":"2017-11-28T00:00:00","isActive":true}],"found":1}

При разложении в таблицу выглядит чуть проще:

И вот мы получили guid и еще чуть-чуть информации сверху.

Дальше можем получить список сообщений по данному клиенту и вот запрос:

string strQuery, referer;                     switch (search.inn.Length)                     {                         case (10):                             strQuery = "https://fedresurs.ru/backend/companies/" + search.guid + "/publications?" +                                 "&limit=" + limit +                                 "&offset=" + offset +                                 "&searchCompanyEfrsb=true" +                                 "&searchAmReport=true" +                                 "&searchFirmBankruptMessage=true" +                                 "&searchFirmBankruptMessageWithoutLegalCase=false" +                                 "&searchSfactsMessage=true" +                                 "&searchSroAmMessage=true" +                                 "&searchTradeOrgMessage=true";                             referer = "https://fedresurs.ru/company/b99c2ded-1a6c-4239-b728-804461ad074b" + search.guid;                             break;                         case (12):                             strQuery = "https://fedresurs.ru/backend/persons/" + search.guid + "/publications?" +                                 "limit=" + limit +                                 "&offset=" + offset +                                 "&searchPersonEfrsbMessage=true&searchAmReport=true" +                                 "&searchPersonBankruptMessage=true" +                                 "&searchMessageOnlyWithoutLegalCase=false" +                                 "&searchSfactsMessage=true" +                                 "&searchArbitrManagerMessage=true" +                                 "&searchTradeOrgMessage=true";                             referer = "https://fedresurs.ru/person/b99c2ded-1a6c-4239-b728-804461ad074b" + search.guid;                             break;                         default:                             return pageDatas;                     }

Ничего неожиданного, все так же надо определять юр или физ лицо мы смотрим, подставлять guid, limit-количество сколько выведет сообщений, offset-сколько пропустить сообщений, все так же необходимо указывать Referer.

Делаем запрос и получаем:

{"pageData":[{"guid":"A10151349AE45D484C24D08CF2451AA7","number":"7344583","datePublish":"2021-09-17T12:37:52.11","isAnnuled":false,"isLocked":false,"title":"Объявление о проведении торгов","publisherName":"Потапов Павел  Викторович","type":"BankruptcyMessage","publisherType":"ArbitrManager","bankruptName":"ООО \"СУЗДАЛЬСКАЯ ПИВОВАРНЯ\"","isRefuted":false},….

Часть данных обрезал, чтоб сильно не захламлять текст. И по традиции табличный вид

А теперь перейду к нюансу, куда же без них иначе было бы неинтересно. По какой-то причине сайт готов выдавать только первые 500 сообщений, не более. Чтобы обойти эту данность, можно начать ставить фильтры либо на типы сообщений, либо на промежуток времени, по которому смотрим, либо и то, и другое Все это записывается в запрос.

После составления запроса добавляется

if (useDate)                     {                         endDate = startDate.AddDays(deltDays);                         strQuery += string.Format("&startDate=" + GetDateStr(startDate) + "T00:00:00.000Z&endDate=" + GetDateStr(endDate) + "T00:00:00.000Z");                     }

А после части, где получаем ответ от сайта

if (found > 500 && deltDays > 0)                     {                         if (useDate)                         {                             deltDays /= 2; // меняем кол-во дней если слишком много сообщений                             break;                         }                         else                         {                             useDate = true; // включаем поиск по датам если слишком много сообщений                             break;                         }                     }

После получения ответа смотрим сколько всего сообщений есть и если их больше 500, то начинаем добавлять к запросу фильтр по датам Если в ответе все равно много, то снова уменьшаем период времени и так пока не станет <= 500.

Теперь если просто информации что за сообщение, нам недостаточно, и мы хотим (аналитик хочет, а мы вынуждены) получить больше информации, то как и прежде берем guid, только на этот раз это guid сообщения и таким же образом строим запрос:

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("https://fedresurs.ru/backend/sfactmessages/" + guid);             request.UserAgent = "Mozila/4.0 (compatible; MSIE 6.0;Windows NT 5.1; SV1; MyIE2; ";             request.CookieContainer = new CookieContainer();             request.Accept = "image/gif, image/x-xbitmap, image/jpeg,image / pjpeg, application / x - shockwave - flash, application / vnd.ms - excel, application / vnd.ms - powerpoint,  application / msword,";             request.Headers.Add("Accept-Language", "ru");             request.ContentType = "application/json";             request.Referer = "fedresurs.ru";             request.Proxy = ProxyClass.GetProxy();             request.KeepAlive = true;             request.Referer = "https://fedresurs.ru/sfactmessage/" + guid;

Не стану повторяться, но тут есть момент, а именно, что запрос формируется исходя из типа сообщения. Т.е. sfactmessage (существенные факты) в запросе и в Referer соответственно может принять значения, например, bankruptmessage или какой-либо другой, и под это все json и соответственно конечные таблицы становятся разными. Примерное содержание одного из сообщений:

Осталась рассказать про одну неприятную, но вполне ожидаемую вещь: блокировки по ip((((. За одну айпишку можно успеть сделать от 100 запросов, на некоторых проксях дает сделать лишь один и под замену, и ip улетает в блок примерно на час. Для этой части написал класс подстановки проксей.

public static class ProxyClass     {         private static List<WebProxy> Proxys = new List<WebProxy>();// список проксей         private static int NumPr = 0;//используемая сейчас прокси         private static int QuerCnt = 0;//сколько запросов сделано с прокси         private static DateTime lastUseNullProxy=DateTime.Now;//последнее использование без проксли         private static int minutesForNullProxy = 90;// через какое время начинать обход списка с нуля         /// <summary>         /// меняет прокси (в try catch)         /// </summary>         public static void NexProxy()         {             if (NumPr == 0)             {                 lastUseNullProxy = DateTime.Now;// меняет дату              } // если без прокси(0)             if (QuerCnt == 1)             {                 if (NumPr == 0)                  {                 } // если без прокси(0)                 else                 {                     Proxys.Remove(Proxys[NumPr]);                     if (Proxys.Count == 1) { GetFromTxt(); }                     NumPr--;                 }// если с прокси             } //если был всего один запрос             if (NumPr== Proxys.Count-1)              {                  NumPr = 0;             }//             else              {                 NumPr++;             }             if (DateTime.Now.Subtract(lastUseNullProxy).TotalMinutes >= minutesForNullProxy)             {                 NumPr = 0;             }             QuerCnt = 0;         }         /// <summary>         /// возвращает прокси для использования         /// </summary>         /// <returns></returns>         public static WebProxy GetProxy()         {             QuerCnt++;             if (QuerCnt == 2 && NumPr!=0)             {                 Write(append:true);             }             return Proxys[NumPr];         } }

В класс собираются списки проксей, и в коде при запросе идет обращение к данному классу, для получения актуальной прокси, в принципе вся работа этого куска описана в комментах. Основная проблема — найти большое количество нормальных проксей, или чтобы хотя бы половина из них были работающие.

Прикладываю также и ссылку на Git, там можно посмотреть больше кода.