Big Data Tools 1.0

На днях вышло очередное обновление плагина Big Data Tools. Почти полтора года мы выпускали только Early Access Preview, и сейчас мы рады представить вам самую первую версию, рассчитанную на широкую аудиторию.

Big Data Tools — это плагин, позволяющий подключаться к кластерам Hadoop и Spark. Он предоставляет возможность мониторинга узлов, приложений и отдельных задач. Кроме того, можно создавать, запускать и редактировать ноутбуки Zeppelin. Вы можете не переключаться на веб-интерфейс Zeppelin и продолжать спокойно работать из любимой IDE. Плагин обеспечивает удобную навигацию по коду, умное автодополнение, рефакторинги и квик-фиксы прямо внутри ноутбука. Плагин доступен для установки в IntelliJ IDEA Ultimate, PyCharm и DataGrip. Вы можете скачать его со страницы плагина на сайте либо установить прямо из IDE.

Давайте подробней рассмотрим, что же изменилось в новой версии.

Поддержка Zeppelin 0.9

26 декабря команда Zeppelin сделала всем новогодний подарок: новый релиз 0.9, в котором было закрыто 568 тикетов.

Мы давно были готовы к этому событию, так как протестировали плагин на версии 0.9-preview2, поэтому поддержка 0.9 не заняла много времени. Приглашаем всех попробовать не только новую версию Big Data Tools, но и новую версию Zeppelin!

Импорт и экспорт ноутбуков Zeppelin

Плагин Big Data Tools берет на себя мелкие рутинные операции, ради которых неудобно переключаться на веб-интерфейс. Одна из таких операций — импорт и экспорт ноутбуков. Теперь вы можете сохранить ноутбук себе на компьютер и поделиться им с коллегами, не выходя из IDE.

Настройки интерпретаторов и репозиториев Zeppelin

Выбрав в контекстном меню ноутбука пункт «Open Interpreter Settings», вы теперь попадете вот в такой интерфейс:

На этом скриншоте видны настройки интерпретатора Markdown. Точней, настройка здесь всего одна — markdown.parser.type. Этот параметр может принимать значения flexmark, pegdown и markdown4j, причем возможность выбрать flexmark появилась только в новом Zeppelin 0.9.

Здесь вы найдете полный список интерпретаторов и сможете просмотреть и отредактировать их настройки.

Этот интерфейс является улучшенным аналогом того, что уже существует в веб-интерфейсе Zeppelin. Огромный плюс в том, что теперь вам не нужно открывать браузер, чтобы посмотреть или отредактировать какую-либо настройку.

Кроме того, отсюда вы можете перезагрузить интерпретатор или отредактировать список репозиториев:

Подсветка precode

В Zeppelin есть возможность объявить переменные вне блокнота — они будут доступны при запуске интерпретатора. Например, это можно использовать для хранения конфигурации.

Соответствующая настройка называется zeppelin.SparkInterpreter.precode (теоретически здесь может участвовать любой интерпретатор, но в данный момент наша подсветка поддерживает только Spark и PySpark). Это фича Zeppelin, документацию можно прочитать здесь.

Начиная с этого обновления, плагин Big Data Tools учитывает код, записанный в precode. Если вы будете использовать в ноутбуке переменные, объявленные в precode, они будут подсвечиваться стандартным способом.

Чтобы сконфигурировать precode, используйте окно настроек интерпретатора, о котором мы рассказали выше.

Проверим, действительно ли работает подсветка:

Запуск скрипта перед выполнением spark-submit

Если перед запуском задачи на выполнение вам нужно как-либо сконфигурировать среду, теперь для этого есть простой способ. Просто укажите строку, которую хотели бы выполнить с помощью шелла, в настройках spark-submit.

Допустим, нам нужно сконфигурировать окружение Python. Для этого можно запустить команду типа “source activate py36”. Впрочем, с тем же успехом можно запустить echo «Hello World» или любую другую команду.

Улучшенная поддержка Python

Мы продолжаем улучшать поддержку Python, которая появилась в конце декабря. На этот раз мы добавили окно, позволяющее прописать настройки Python, если это не было сделано до вас.

Обратите внимание на опцию «Install stubs for Spark built-ins». Включив ее, вы можете значительно улучшить автодополнение в PySpark.

Улучшенный поиск по ноутбукам

Теперь ноутбуки можно находить с помощью Search Everywhere (вызывается двойным нажатием клавиши Shift).

Найденные ноутбуки будут отображены вместе со всеми результатами поиска во вкладке «All», а также отдельно — во вкладке «Zeppelin Notebooks».

Связь с разработчиками

У вас могут возникнуть вопросы к разработчикам, но как понять, куда обратиться? Мы покончили с этой проблемой: теперь вы можете найти нужные ссылки прямо в интерфейсе плагина, воспользовавшись меню «Support» в правом верхнем углу панели «Big Data Tools».

Исправление ошибок

Плагин Big Data Tools продолжает активно развиваться. Мы стараемся учитывать все важные замечания и оперативно исправлять ошибки.

Подробный обзор основных улучшений можно найти в разделе «What’s New» на странице плагина. Если вы ищете информацию по конкретной проблеме, воспользуйтесь полным отчетом из YouTrack.

Спасибо, что пользуетесь нашим плагином! Напоминаю, что установить свежую версию можно либо с официальной страницы плагина, либо прямо в IDE (плагин называется «Big Data Tools»). На странице плагина вы можете оставить свои отзывы и предложения (мы обязательно их прочтем!), а также поставить оценку при помощи звездочек.

Документация и социальные сети

Ну и наконец, если вам нужно разобраться в функциональности Big Data Tools, у нас есть подробная документация — отдельно для IntelliJ IDEA, PyCharm и DataGrip. Задать вопрос можно в комментариях под этой статьей либо в Twitter.

Версия 1.0 — это большая веха в истории плагина Big Data Tools. Надеемся, что все эти улучшения окажутся полезными, позволят вам сконцентрироваться на интересных вещах и получать от этого удовольствие.

Ваша команда Big Data Tools
The Drive to Develop