Всем привет! Продолжаем наш разговор об использовании электронных таблиц в работе OSINT-аналитиков. В первой части нашего цикла статей мы говорили об автоматизации генерации дорков (расширенных операторов поисковых запросов). Сегодня мы коснемся вопроса интеграции в таблицы данных из внешних API.
Что такое API?
API или Application Programming Interface — это программный интерфейс, то есть описание способов взаимодействия одной компьютерной программы с другими. Иными словами, описание, которое позволяет программе А понимать программу Б и эффективно взаимодействовать с ней.
Откуда берутся эти самые API? Сегодня они есть практически у любого онлайн-сервиса. Они бывают бесплатные, требующие регистрации или коммерческие. Большое количество доступных API вы можете позаимствовать, к примеру, на следующих ресурсах:
Начнем нашу работу с Google Sheets с того, что создадим новую электронную таблицу и выберем ее будущую функциональность. Допустим, что нашей задачей будет сбор данных о субъектах бизнеса (юридических лицах и индивидуальных предпринимателях). В этом случае нам пригодится API от следующего сервиса:
Этот API ограничивает только частоту запросов и максимальное число соединений. Для частного проекта подойдет идеально. Регистрируемся и получаем индивидуальный API-ключ. Ключ API — это строка уникальных идентификаторов, предназначенных в первую очередь для определения трафика приложений от клиентов API. Проще говоря, это ваш идентификатор в качестве пользователя API конкретного сервиса.
Предположим, что мы хотим получать ответ внешнего сервиса по запросу ОГРН (основной государственный регистрационный номер) юридического лица. Чтобы интегрировать возможность делать API-запрос к datanewton.ru, перейдем во вкладку «Расширения» и кликнем на пункт «Apps Script». Откроется новая вкладка, в которой мы можем вводить скрипты для работы с таблицей.
Пишем наш скрипт
Итак, пишем наш первый скрипт для интеграции API в Google Sheets:
|
function COMPANYLOOKUP(input) { response=UrlFetchApp.fetch(«https://api.datanewton.ru/v1/counterparty?key=**********&filters=OWNER_BLOCK%2CADDRESS_BLOCK&ogrn=»+input).getContentText(); return response; } |
В этом скрипте у нас:
-
COMPANYLOOKUP — название команды для запроса datanewton.ru
-
(input) — вводимые данные для запроса (ОГРН)
-
********** — это API-ключ datanewton.ru
Сохраняем скрипт и возвращаемся к таблице. Теперь нам доступна новая функция COMPANYLOOKUP, которая позволит выгружать данные юрлица при помощи API сервиса datanewton.ru. Запустим ее при помощи следующей команды:
-
=COMPANYLOOKUP(A2)
Где:
-
COMPANYLOOKUP — название команды для запроса datanewton.ru
-
(A2) — это обращение к ячейке таблицы с данными ОГРН
Результат, в формате JSON, будет загружен в ту ячейку, в которой водилась функция =COMPANYLOOKUP(A2).
Попробуем проделать схожие вещи с API других сервисов. Так, для проверки номера мобильного телефона, мы можем воспользоваться API сервиса http://htmlweb.ru/. В таком случае, скрипт получения данных может выглядеть так:
|
function PHONENUMBERLOOKUP(input) { response=UrlFetchApp.fetch(«http://htmlweb.ru/api/mnp/phone/»+input+»?api_key=**********»).getContentText(); return response; } |
Где:
-
PHONENUMBERLOOKUP — название команды для запроса htmlweb.ru
-
(input) — вводимые данные для запроса (номер телефона)
-
********** — это API-ключ htmlweb.ru
Сохраняем скрипт и возвращаемся к таблице. Вводим функцию:
-
=PHONENUMBERLOOKUP(A1)
И получаем данные о телефоне из htmlweb.ru. Все получилось… Но здесь нам пригодится небольшой лайфхак.
Номера телефонов в таблицу часто попадают в различных формах написания. Это очень раздражает. Привести все телефоны к единому формату также можно при помощи электронных таблиц. Пишем следующую функцию:
|
=CONCATENATE(IF(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»))=10;(CONCATENATE(«7″;SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»)));»»);IF(AND(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»))=11;LEFT(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»))=»7″);SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»);»»);IF(AND(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»))=11;LEFT(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»))=»8″);CONCATENATE(«7″;MID(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;»,»;»»);»;»;»»);» «;»»);»+»;»»);»)»;»»);»(«;»»);»-«;»»);2; 10));»»)) |
Где:
-
SUBSTITUTE и CONCATENATE — команды для замены и объединения символов
-
(C2) — это обращение к ячейке таблицы с номером телефона
Идем дальше. Попробуем научить таблицу пробивать нам номера кредитных карт. API https://lookup.binlist.net/ очень простой и не требует регистрации ключа. Поэтому для запроса информации скрипт будет выглядеть следующим образом:
|
function CARDNUMBERLOOKUP(input) { response=UrlFetchApp.fetch(«https://lookup.binlist.net/»+input).getContentText(); return response; } |
Где:
-
CARDNUMBERLOOKUP — название команды для запроса по binlist.net
-
(input) — вводимые данные для запроса (номер кредитки)
Сохраняем скрипт и идем обратно к таблице, где вводим функцию:
-
=CARDNUMBERLOOKUP(A1)
Отлично, данные были выгружены. Но есть нюанс.
Поговорим об удобстве
Вы же обратили внимание на то, что внешние API выдают информацию в JSON-формате? Он удобен для восприятия компьютером, но практически нечитаем для человеческого глаза. Как превратить данные JSON в красивый и удобный отчет?
Для того, чтобы понять структуру данных, содержащихся в JSON, вставим их в одну из читалок JSON. Например, в https://jsonformatter.curiousconcept.com/#. Теперь мы можем увидеть данные JSON со всеми полями и вкладками. Ориентируясь на них, мы можем составить скрипт, позволяющий копировать отдельные пункты JSON и вставлять их в нашу таблицу.
Вернемся к нашему примеру с проверкой кредитных карт. Заходим в «Apps Script» и добавляем новый скрипт:
|
function PARSER(input) { var data = JSON.parse(input); name=data.bank.name return name; } |
Где:
-
PARSER — команда парсинга (копирования) данных
-
(input) — данные для парсинга (копирования)
-
name=data.bank.name — название пункта и путь к нему в JSON
Сохраняем, возвращаемся в таблицу и вводим функцию:
-
=PARSER(B1)
Теперь таблица позволяет нам выгружать из данных JSON в отдельную ячейку сведения о банке, который осуществил регистрацию кредитной карты.
Вернемся к таблице с проверкой юридических лиц и попробуем скопировать в нее данные JSON аналогичным образом. Допустим, что нам будет нужно выгрузить данные об:
-
Адресе регистрации компании
-
ИНН
-
Текущем статусе
Это предполагает написание трех отдельных скриптов:
|
function PARSERDIR(input) { var data = JSON.parse(input); line_address=data.company.address.line_address return line_address; } |
|
function PARSERINN(input) { var data = JSON.parse(input); inn=data.inn return inn; } |
|
function PARSERSTATUS(input) { var data = JSON.parse(input); status_egr=data.company.status.status_egr return status_egr; } |
Сохраняем созданные скрипты и используем новые команды в таблице:
-
=PARSERDIR(D2)
-
=PARSERINN(D2)
-
=PARSERSTATUS(D2)
Что дальше?
Для того, чтобы получить полноценный сервис для проверок, конечно, придется потрудиться и прописать все необходимые скрипты — как для получения данных, так и для их помещения в электронную таблицу. Однако что может заменить чувство гордости за разработку собственного продукта? Причем без навыков программирования.
Мы продолжим этот цикл статей и в следующий раз расскажем про скрапинг данных с тех сайтов, у которых нет API-интерфейса. И это в том числе про то, как можно получать сведения о судимостях и нарушениях граждан. А в четвертой статье затронем тему визуализации полученных данных. Оставайтесь с нами, будет интересно!
ссылка на оригинал статьи https://habr.com/ru/articles/842230/
Добавить комментарий