Сканер сайтов macOS

Сканер архивирует сайты целиком, а не отдельные страницы: он идёт по ссылкам, собирает все страницы в заданной области, даёт вам просмотреть список и затем скачивает их все как офлайн-архивы, ссылки в которых ведут друг на друга.

Что делает Сканер

Откройте Сканер кнопкой Сканер на панели инструментов. Введите начальный URL, задайте область, и Сканер отработает в два прохода: сначала он находит страницы, переходя по ссылкам, а после вашей проверки скачивает каждую страницу как самодостаточный архив. Внутренние ссылки между архивированными страницами переписываются, так что весь сайт можно листать офлайн, страница за страницей.

Сканирование идёт в отдельном окне и продолжается, даже если вы это окно закроете; откройте его снова в любой момент, чтобы увидеть ход работы.

Два движка: Статическая загрузка и Браузер

Начните со статического движка, он значительно быстрее. Если страницы получаются неполными, Сканер об этом сообщит: для страниц, которым, судя по всему, нужен JavaScript, он предложит перезагрузить их движком Браузер.

Область: глубина, лимиты, домены

• Глубина ссылок: на сколько кликов от начальной страницы Сканер уходит по ссылкам.
• Лимит страниц: жёсткий предел числа страниц.
• Включать поддомены: архивировать и страницы на поддоменах начального хоста (blog.example.com рядом с example.com).
• Разрешить внешние домены: переходить и по ссылкам на другие сайты. Возможность мощная, и легко переусердствовать, поэтому её сначала нужно разблокировать в разделе Настройки → Захватить → Сканер.

Назначение: выберите родительскую папку в библиотеке; Сканер создаст в ней подпапку с именем сайта для всего сканирования.

Шаг проверки

После поиска вы видите все найденные страницы в виде дерева, сгруппированные по хосту и пути. Снимите галочки со всего лишнего (500 вариантов товара в магазине, страницы тегов, версии для печати) и запустите загрузку. Архивируется только то, что вы выбрали.

Ход работы, пауза и повтор

Во время загрузки в реальном времени обновляются счётчики Найдено / Сохранено / Не удалось / Пропущено, показываются обрабатываемые сейчас адреса и список страниц с ошибками. В любой момент доступны Пауза / Продолжить и Отменить, а Повторить неудачные заново запускает только те страницы, которые не удалось сохранить.

Сканирования в библиотеке

Страницы одного сканирования составляют единое целое, и библиотека относится к ним именно так: в списке элементов они сворачиваются в одну строку группы сканирования. Нажмите на неё, чтобы посмотреть страницы сканирования; нажмите правой кнопкой, чтобы получить действия для группы: Показать все страницы, Переместить в или Удалить сканирование (убирает все страницы сканирования разом).

Хотите плоский список? Отключите группировку переключателем Группировать сканирования в меню сортировки или скройте папки сканирований в боковой панели: Настройки → Захватить → Сканер → Скрывать папки сканирований.

Настройки Сканера

В разделе Настройки → Захватить → Сканер:

• Разрешить внешние домены: разблокирует описанный выше параметр области.
• Скрывать папки сканирований в боковой панели.
• Соблюдать robots.txt: следовать правилам сканирования, заданным сайтом. По умолчанию выключено; включайте, когда сканируете чужие публичные сайты.
• Задержка между запросами (мс): пауза между обращениями к одному и тому же сайту.
• Параллельные загрузки: сколько страниц статический движок скачивает одновременно.
• Глубина по умолчанию и лимит страниц по умолчанию для новых сканирований.

Ограничения бесплатной версии

В бесплатной версии Сканер ограничен глубиной 1, а число страниц упирается в остаток бесплатных элементов (10 минус то, что вы уже сохранили). Полная версия снимает оба ограничения. См. Бесплатная версия, покупка и лицензия.