Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub — Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.
![Данными можно делиться так же просто и удобно, как с постами в социальных сетях. Данными можно делиться так же просто и удобно, как с постами в социальных сетях.](https://habrastorage.org/getpro/habr/upload_files/f0e/3c5/db5/f0e3c5db5cae7578154c52fda8d6e354.jpg)
Что такое структурированные данные?
Я неоднократно буду упоминать в статьях про структурированные и неструктурированные данные, поэтому предлагаю договориться о том, что мы будем под этими терминами подразумевать.
Структурированные данные — у данных есть четкая структура, которую можно описать, например, сущность «Пользователь» с полями «Имя», «Фамилия», «Номер телефона», «Адрес» можно отнести к такого рода данным — структурированным.
Неструктурированные данные — у данных может быть, на первый взгляд, некая структура, но её затруднительно описать для всех объектов одного множества. К неструктурированным данным я чаще всего буду относить NoSQL-форматы, которые позволяют не описывать четкую структуру и связи между сущностями.
Регистрация
Работа в DataHub начинается с регистрации на сервисе — только авторизованные пользователи могут создавать репозитории с данными, заявки на сбор и парсинг данных, а так же приобретать наборы данных в коммерческих репозиториях предварительно пополнив баланс в личном кабинете.
Регистрация доступна по ссылке и требует лишь наличия email и пароля.
Типы репозиториев данных
Создание нового репозитория доступно по этой ссылке и находится в левой части меню — кнопка «+» пункта меню «My Repositories».
-
FREE;
-
SPONSORED;
-
COMMERCIAL;
В этой статье мы рассматриваем только первые два — FREE и SPONSORED. COMMERCIAL тип репозитория данных потребует отдельной статьи и внимания.
Основное и единственное отличие репозиториев данных типа FREE и SPONSORED в возможности получать донаты за поддержку и развитие репозитория.
COMMERCIAL тип отличается несколькими деталями:
-
Отсутствует возможно делать data fork репозитория;
-
Доступ к данным в любом виде платный;
-
Visual Query Builder поддерживает формат оплаты;
-
Платные predefined queries;
-
Различные условия формирования стоимости;
Создаём репозиторий данных
Открываем страницу создания нового репозитория данных:
![](https://habrastorage.org/getpro/habr/upload_files/e47/e3a/063/e47e3a063073641c73e58d5a90c6ff7c.png)
Заполняем поля — описываем наш репозиторий с данными так, как если бы мы писали в README.md файле на GitHub. Я буду создавать демо-репозиторий со списком стран, поэтому моё описание выглядит следующим образом:
![](https://habrastorage.org/getpro/habr/upload_files/c2a/54b/9b4/c2a54b9b4befc4c09a15a6522a1b6473.png)
После — нажимаем кнопку публикации (Publish).
![](https://habrastorage.org/getpro/habr/upload_files/75c/411/d22/75c411d225cd2b991fe1023e1f836ae4.png)
Наш репозиторий данных создан, но он ещё пуст. В том, что он создан можно убедиться перейдя в раздел «My Repositories»:
![](https://habrastorage.org/getpro/habr/upload_files/e28/50c/8dc/e2850c8dc6cf2578ab15976db7ddf2d7.png)
А сам публичный репозиторий будет иметь следующий вид:
![](https://habrastorage.org/getpro/habr/upload_files/b5c/4ca/dfb/b5c4cadfbcf0503e2ab1be422ed6ea6b.png)
Ссылка на демо репозиторий с данными.
Вернёмся к редактированию репозитория с данными и в правом блоке меню переключимся на вкладку Storages (Хранилища):
![](https://habrastorage.org/getpro/habr/upload_files/bd2/65e/11f/bd265e11faa2b3b11579cc1541bbe0e9.png)
В созданном репозитории никакие хранилища не создаются по-умолчанию, а на момент написания заметки доступен один тип хранилища — MySQL 8.0
Создадим его:
![](https://habrastorage.org/getpro/habr/upload_files/6c8/f8d/55f/6c8f8d55f420c5dd585c00369f403708.png)
После создания хранилища экран обновится и мы увидим следующее:
![](https://habrastorage.org/getpro/habr/upload_files/53d/fa0/001/53dfa0001575b7582c12413f631aeaa6.png)
У нас в репозитории появилось новое хранилище типа MySQL 8.0 и пока оно пустое — не содержит таблиц и данных. Давайте это исправим!
Чтобы перейти в режим работы с хранилищем MySQL можно воспользоваться кнопкой с шестеренкой и пунктом меню Wizard:
![](https://habrastorage.org/getpro/habr/upload_files/9f5/38b/5f2/9f538b5f218d5ff54243abe3d9c21062.png)
… либо просто кликнуть на название хранилища — откроется Wizard (помощник по работе с типом хранилища MySQL, который похож на MySQL Workbench).
![](https://habrastorage.org/getpro/habr/upload_files/8d8/8f4/839/8d88f4839269743374629d48d27482c3.png)
Подробно о возможностях MySQL Wizard я расскажу в другой статье, а сейчас остановимся на том, что мы хотели — создании соответствующей таблицы для списка наших стран.
![](https://habrastorage.org/getpro/habr/upload_files/966/e36/148/966e3614870a6884a2da574c466824c3.png)
Я создам 4 поля в таблице countries, a затем добавлю в таблицу несколько тестовых значений с которыми мы будем в дальнейшем экспериментировать:
![](https://habrastorage.org/getpro/habr/upload_files/491/8f2/1c5/4918f21c502f1f0982ab3772f181be2b.png)
Нажимаю кнопку выполнения запросов и получаю результат выполнения каждого запроса в отдельной таблице:
![](https://habrastorage.org/getpro/habr/upload_files/4eb/b4b/461/4ebb4b4612b15020268c80c07e276675.png)
Наша таблица countries успешно создана и в неё добавлены данные, чтобы в этом убедиться — закройте MySQL Wizard и обновите страницу:
![](https://habrastorage.org/getpro/habr/upload_files/490/dd3/b7b/490dd3b7b6775a83172cb9624034e4c6.png)
Поздравляю, вместе с вами создали первый репозиторий с данными, которые стали уже доступны через визуальный редактор запросов:
![](https://habrastorage.org/getpro/habr/upload_files/ae2/3f9/f92/ae23f9f92a8defebf918464fad670f53.png)
Обратите внимание, что вкладки Builder, Raw Query и Share стали активными, а это значит, что мы с вами, как и другие пользователи, теперь можем работать с этими данными — получать, связывать, фильтровать, скачивать.
![](https://habrastorage.org/getpro/habr/upload_files/261/f81/df5/261f81df5002c08105d3a51658b0e550.png)
Отдельная статья будет про то, как работать с визуальным конструктором запросов, какие возможности он предоставляет и какие есть ограничения.
SPONSORED репозиторий — как?
Теперь, когда наш первый репозиторий с данными создан и мы можем делиться структурированными данными с другими разработчиками, настала пора посмотреть, как же работает SPONSORED репозиторий данных.
Для изменения типа репозитория данных необходимо вернуться в режим редактирования репозитория и изменить его тип на SPONSORED, а затем сохранить.
![](https://habrastorage.org/getpro/habr/upload_files/512/435/029/5124350298cb88c97679e35448c8c108.png)
Перейдём на главную страницу репозитория, чтобы посмотреть на произошедшие изменения:
![](https://habrastorage.org/getpro/habr/upload_files/240/439/bd1/240439bd113c635ad5a88a182b0c2c2d.png)
Под блоком с автором появилась кнопка SPONSOR, по клику на которую у авторизованного пользователя будет возможность сделать донат — указать сумму и комментарий:
![](https://habrastorage.org/getpro/habr/upload_files/a87/f6e/29f/a87f6e29fb36b69964f5ddd1e72c51d5.png)
Деньги будут перечислены на баланс автора репозитория, а вывести он их сможет по клику на баланс под блоком с профилем в левой части экрана.
На этом завершим с вами работы с FREE и SPONSORED репозиториями данных.
Если вам понравилась статья — ставьте лайк и оставляйте комментарий. Подписывайтесь на мой блог про DataHub на Хабре, а так же на Телеграм канал поддержки сервиса.
Мой публичный профиль на DataHub — @aashmig.
Буду рад ответить на ваши вопросы и дополнить статью.
ссылка на оригинал статьи https://habr.com/ru/articles/730434/
Добавить комментарий