Визуализация занятого места под Linux

Наконец-то выросло поколение пользователей, которые никогда не работали с файлами и не понимают, что это. Для них чужда сама концепция, поскольку они во всех приложениях имеют дело с «документами» и не знают, что такое файловая система, жёсткие ссылки, поддиректории и др.

Может быть, это одна из причин, почему в РФ образовался мощнейший дефицит сисадминов. Хотя никто не забывает и основную причину печальной ситуации на рынке труда и общего спада демографии.

Так или иначе, ещё более очевидной становится важность ключевого навыка для современного человека: управление Linux-сервером. Учитывая ситуацию на рынке труда, навык становится не только важным, но и финансово ценным.

В этой статье рассмотрим полезные утилиты для визуализации дискового пространства, а также резервного копирования системных файлов под Linux в стиле «машины времени» MacOS. Это полезные инструменты для системного администрирования серверов.

Визуализация занятого места в ОС помогает визуально оценить, на что расходуется дисковое пространство накопителя — и быстро выявить проблемные папки, которые нуждаются в очистке и удалении. Если на диске тысячи директорий, то вручную довольно трудно найти те самые забытые файлы, которые и отъедают терабайты на нашем NAS. А инструмент визуализации сразу найдёт «нарушителя».

▍ Красивые картинки

Duc — это библиотека и набор инструментов для проверки и визуализации использования диска. Отличается высокой производительностью. Информация о распределении дискового пространства хранится в оптимизированной базе данных. После построения индекса интерфейс работает абсолютно без задержек.

Авторы говорят, что тестировали программу в системе с более 500 млн файлов на несколько петабайт: индексация и визуализация прошли без зависаний.

Скачиваем и устанавливаем на Debian/Ubuntu:

$ sudo apt-get install duc 

Для других дистрибутивов можно взять исходники на Github.

Duc поддерживает несколько UI: его можно использовать из командной строки, через интерфейс ncurses, в графических интерфейсах X или OpenGL, а также через интернет с помощью CGI.

В текстовом интерфейсе работа выглядит следующим образом.

Сначала индексируем папку:

$ duc index /usr

Потом визуализируем результат:

    $ duc ls -Fg /usr/local       4.7G lib/                 [+++++++++++++++++++++++++++++++++++++++++++]       3.1G share/               [++++++++++++++++++++++++++++               ]       2.7G src/                 [++++++++++++++++++++++++                   ]     814.9M bin/                 [+++++++                                    ]     196.6M include/             [+                                          ]      66.6M x86_64-w64-mingw32/  [                                           ]      59.9M local/               [                                           ]      38.8M i686-w64-mingw32/    [                                           ]      20.3M sbin/                [                                           ]      13.6M lib32/               [                                           ]      13.3M libx32/              [                                           ]

Выдача древовидной структуры с флагом -R:

 24.0K ╰┬─ ignore.d.server   4.0K  │  ╰┬─ gpg-agent   4.0K  │   ├─ rsyslog   4.0K  │   ├─ hddtemp   4.0K  │   ├─ ntpdate   4.0K  │   ╰─ libsasl2-modules   4.0K  ├─ ignore.d.paranoid   4.0K  ├─ ignore.d.workstation   4.0K  ╰─ violations.ignore.d

Запуск интерфейса ncurses:

duc ui /usr

Графический интерфейс вызывается командой типа duc gui /usr, а результат показан на КДПВ.

Более подробно о функциях и параметрах см. в документации.

▍ Windows и MacOS

Под Windows тоже есть утилиты для визуализации дискового пространства. Например, WinDirStat или SpaceSnipper, оба инструмента свободные, с открытым исходным кодом.

Принцип работы остаётся тем же: задаём отдельные папки или диски для анализа, программа их сканирует несколько секунд (примерно 10−20 секунд на терабайт) — и показывает результат:

WinDirStat

Цвета на карте соответствуют расширениям файлов, чтобы было удобно ориентироваться. В правом верхнем углу указано, какие цвета соответствуют каждому расширению.

На основной карте каждый файл представлен в виде цветного прямоугольника, площадь которого пропорциональна размеру. Прямоугольники расположены таким образом, что каталоги снова образуют прямоугольники, в которых содержатся уже их файлы и подкаталоги, это структура дерева. Поэтому площадь прямоугольников пропорциональна размеру поддеревьев.

Другая программа под Windows — SpaceSnipper, очень маленькая и простая утилитка с минимальными функциями, которая умеет работать в реальном времени, обновляя карту на экране сразу же, как происходят изменения в файловой системе:

SpaceSnipper

Под MacOS можно назвать DaisyDisk, хотя это проприетарная и платная программа. Она позиционируется как самая производительная: скорость сканирования якобы в 6−32 раза превышает этот показатель у всех аналогичных программ.

Из необычных функций — предпросмотр медиафайлов во встроенном файл-менеджере, сканирование скрытого пространства (снапшоты машины времени и др.) и облачных хранилищ, параллельное сканирование разных накопителей и др.

Предпросмотр медиафайлов в DaisyDisk

▍ Машина времени для Linux

В качестве бонуса можно упомянуть приложение Timeshift, которое предназначено не для визуализации файлов, а для инкрементальных бэкапов ОС. Оно делает снапшоты системных файлов, обеспечивая функциональность «машины времени», примерно как функция System Restore в Windows или инструмент Time Machine под MacOS.

Под Linux существует десятки утилит для резервного копирования, но разработчики Timeshift поставили цель сделать удобный инструмент именно для системного администрирования. В отличие от похожих программ вроде rsnapshot, BackInTime и TimeVault, здесь происходит резервное копирование именно системных файлов и настроек. Пользовательские данные (музыка, видео, документы) по умолчанию исключены из снапшотов. Хотя их можно включить вручную:

Но этого не рекомендуется делать, потому что при восстановлении системы новые версии документов могут быть перезаписаны старыми. Если нужен инструмент для резервного копирования именно документов и пользовательских файлов, то лучше обратить внимание на отличное приложение BackInTime. Там более широкие настройки для этой задачи.

Timeshift делает инкрементальные снимки файловой системы через регулярные промежутки времени. Программа поддерживает несколько режимов работы.

В режиме RSYNC снапшоты делаются с помощью rsync и жёстких ссылок. Общие файлы снимаются один раз для всех снапшотов, что экономит место на диске. Каждый снапшот представляет собой полную резервную копию системы, которую можно просматривать в файловом менеджере.

В режиме BTRFS используются встроенные функции файловой системы BTRFS. Такой режим поддерживается только в системах с компоновкой подпапок в стиле Ubuntu, то есть с подпапками @ и @home.

Восстановление старой версии системы из снапшота делается или на работающей системе (онлайн-восстановление, требует перезагрузки для завершения процесса), или из другой системы, на которой тоже установлен Timeshift (офлайн-восстановление).

Если основная система не загружается, то можно загрузиться с Ubuntu Live CD, установить Timeshift — и восстановить снимок основной системы. Timeshift найдёт рутовый аккаунт, бэкапы — и всё восстановит как было, включая загрузочный раздел.

Установка Timeshift на Denian/Ubuntu и др.:

$ sudo apt-get install timeshift

Первую версию этой программы написал американский разработчик Тони Джордж (Tony George), вот архив его репозитория. Сейчас Timeshift является частью проекта Xapp — это коллекция «кросс-дистрибутивных» приложений для Linux, которую курируют активисты Linux Mint, одного из самых популярных современных дистрибутивов.

Многие из нас сталкивались с ситуацией, когда что-нибудь в системе изменяется непонятным способом, или какой-то файл конфигурации случайно изменяется, так что приходится тратить дни и недели на ковыряние в настройках с целью вернуть всё как было. Иногда система ломается в самый неподходящий момент, когда уже нет времени разбираться. Благодаря Timeshift всегда есть опция откатиться на предыдущее рабочее состояние, а Linux становится поистине «неубиваемой» системой.

---

Некоторые современные студенты действительно не понимают концепции файлов. Говорят, что проблема начала проявляться в районе 2017 года. Феномен можно объяснить по-разному. С одной стороны, молодёжь во все времена вызывала недовольство у взрослых: ещё со времён Древней Греции старшие считали новое поколение более глупым, дерзким и т. д. С другой стороны, сейчас выросло первое поколение в истории, которое с детства работало только со смартфонами в качестве компьютерной техники. То есть опыт работы с компьютерами у них основан только на смартфонах и планшетах. Эти люди никогда не работали с настольными компьютерами или ноутбуками. Может быть, кто-то из них считает ПК «реликтом прошлого», мол, сейчас все приложения выпускаются для смартфонов, а настольные компьютеры — это для дедов. Мол, всем известно, что документы просто «сохраняются в память», правда?

Так оно всё и работает, думает молодёжь. Непонятно, зачем эти деды и программисты нам рассказывают сказки про файловые системы с иерархиями.

© 2024 ООО «МТ ФИНАНС»

Telegram-канал со скидками, розыгрышами призов и новостями IT 💻