Скачивание любого сайта с помощью Python себе на компьютер

Здравствуйте!

Сегодня я Вам расскажу про интересную библиотеку для Python под названием Pywebcopy.

​PyWebCopy – бесплатный инструмент для копирования отдельных веб-страниц или же полного копирования сайта на жесткий диск.

Модуль обладает такими полезными методами как:

• save_webpage() — для сохранения одной страницы;

• save_website() — позволяет копировать сайт целиком.

Как предупреждают разработчики используйте save_website() аккуратно, т.к метод отправляет множество запросов, что может повлечь за собой значительную нагрузку на сервер.

Итак, не будем тянуть и приступим к коду. Сначала скачаем необходимые библиотеки:

pip install pywebcopy

pip install validators

Теперь приступаем к написанию скрипта. Для начала импортируем заранее установленные библиотеки:

from pywebcopy import save_webpage, save_website import validators

Теперь напишем блоки, которые будут скачивать весь веб-сайт или его отдельную страницу:

def webpage(url, folder, name): save_webpage( url=url, project_folder=folder, project_name=name, bypass_robots=True, debug=True, open_in_browser=True, delay=None, threaded=False, )  def website(url, folder, name): save_website( url=url, project_folder=folder, project_name=name, bypass_robots=True, debug=True, open_in_browser=True, delay=None, threaded=False,   )

Блок webpage скачивает отдельную страницу сайта по ссылке url в папку folder и называет папку с сайтом name. Блок website скачивает весь сайт, а не его отдельную страницу.

Теперь напишем блок, который будет выводить текст красного цвета в терминал, для вывода ошибок.

def warning(text): print("\033[1m\033[31m{}\033[0m".format(text))

Теперь соединяем всё это вместе:

print("""Выберите цифру: 1 - Сохранить страницу 2 - Сохранить сайт""") b=False  while b==False: try: a = int(input()) if a==1 or a==2: b=True else: warning("Выберите корректный номер!") except: warning("Только цифры!")  c=False while c==False: url = input("Введите ссылку: ") if validators.url(url): c=True else: warning("Некорректная ссылка!")  folder=input("Куда сохранять: ") name=input("Название проекта: ") if a==1: webpage(url, folder, name) else: website(url, folder, name)

В этом куске кода мы просим пользователя выбрать один из вариантов, или скачать весь сайт или только одну его страницу. Потом делаем проверку того, что пользователь ввел цифру, и что это число равно 1 либо 2. Потом с помощью библиотеки validators проверяем корректность введённой пользователем ссылки, если такая ссылка существует, то просим пользователя ввести путь к папке в которую будет сохранен сайт. А потом просим ввести название проекта. После чего, если все данные введены верно, то начинается закачка сайта на Ваш компьютер.

Ну вроде бы всё. Теперь Вы можете скачивать любой сайт к себе на компьютер. Но будьте окуратны с этим скриптом, так как если попытаться скачать весь сайт YouTube, то комп просто ляжет от огромного размера данных. Удачи!

Вот весь исходный код данного скрипта:

from pywebcopy import save_webpage, save_website import validators  def warning(text): print("\033[1m\033[31m{}\033[0m".format(text))  def webpage(url, folder, name): save_webpage( url=url, project_folder=folder, project_name=name, bypass_robots=True, debug=True, open_in_browser=True, delay=None, threaded=False, )  def website(url, folder, name): save_website( url=url, project_folder=folder, project_name=name, bypass_robots=True, debug=True, open_in_browser=True, delay=None, threaded=False, )  print("""Выберите цифру: 1 - Сохранить страницу 2 - Сохранить сайт""") b=False  while b==False: try: a = int(input()) if a==1 or a==2: b=True else: warning("Выберите корректный номер!") except: warning("Только цифры!")  c=False while c==False: url = input("Введите ссылку: ") if validators.url(url): c=True else: warning("Некорректная ссылка!")  folder=input("Куда сохранять: ") name=input("Название проекта: ") if a==1: webpage(url, folder, name) else: website(url, folder, name)