ウェブサイトクローラー macOS

クローラーは1ページずつではなく、ウェブサイト全体をアーカイブします：リンクをたどり、範囲内のページをすべて集め、その一覧を確認してから、リンクが互いにつながったオフラインアーカイブとしてまとめてダウンロードします。

クローラーでできること

クローラーはツールバーのクローラーボタンで開きます。開始URLを入力して範囲を決めると、クローラーは2つの段階で動きます：まずリンクをたどってページを検出し、確認が済んだあとに各ページを自己完結型のアーカイブとしてダウンロードします。アーカイブしたページ同士の内部リンクは書き換えられるので、サイト全体をページからページへとオフラインでたどれます。

クロールは専用のウインドウで実行され、そのウインドウを閉じても処理は続きます。進捗を確かめたいときは、いつでも開き直せます。

2つのエンジン：静的ダウンロードとブラウザ

まずは静的エンジンから始めます。速度が桁違いに速いためです。ページが不完全な仕上がりになった場合は、クローラーが知らせます：JavaScriptを必要としていそうなページには、ブラウザエンジンで再読み込みする提案が表示されます。

範囲：深さ、上限、ドメイン

• リンクの深さ：開始ページから何クリック分まで、クローラーがリンクをたどるかを決めます。
• ページ数上限：ページ数に対する絶対的な上限です。
• サブドメインを含める：開始ホストのサブドメインにあるページもアーカイブします（blog.example.comもexample.comと同じように対象になります）。
• 外部ドメインを許可：他のウェブサイトへのリンクもたどります。強力な反面、行き過ぎやすい設定なので、まず「設定」→「キャプチャ」→「クローラー」で有効にする必要があります。

保存先：ライブラリから親フォルダを選びます。クローラーはその中に、サイト名を付けたサブフォルダをクロール全体用に作成します。

確認ステップ

検出が終わると、見つかったすべてのページがホストとパスごとにまとめられ、ツリーとして表示されます。不要なもの（ショップの500件の商品バリエーション、タグのページ、印刷用の表示）のチェックを外してから、ダウンロードを開始します。アーカイブされるのは選択したものだけです。

進捗、一時停止、再試行

ダウンロード中は検出／保存済み／失敗／スキップのカウンターがリアルタイムで更新され、処理中のURLと失敗したページの一覧も表示されます。「一時停止」／「再開」と「キャンセル」はいつでも行え、「失敗分を再試行」を使うと失敗したページだけをやり直せます。

ライブラリ内のクロール

1回のクロールで集めたページはひとまとまりであり、ライブラリもそのように扱います：項目リストでは1本のクロールのグループ行に折りたたまれます。クリックするとそのクロールのページを見られます。右クリックするとグループ単位の操作が出ます：「すべてのページを表示」、「移動先」、「クロールを削除」（クロールのページを一度にすべて削除）です。

フラットな一覧のほうがよいときは、並べ替えメニューの「クロールをグループ化」スイッチをオフにします。サイドバーからクロールフォルダを隠すには「設定」→「キャプチャ」→「クローラー」→「クロールフォルダを非表示」を使います。

クローラーの設定

「設定」→「キャプチャ」→「クローラー」には次の項目があります：

• 外部ドメインを許可：上で説明した範囲のオプションを使えるようにします。
• クロールフォルダを非表示：サイドバーのクロールフォルダを隠します。
• robots.txtを尊重：サイトのクロール規則に従います。初期状態はオフで、自分のものではない公開サイトをクロールするときにオンにします。
• リクエスト間の遅延（ms）：同じサイトへのリクエストの間に置く待ち時間です。
• 並列ダウンロード：静的エンジンが同時に取得するページ数です。
• 新しいクロールのデフォルトのリンク深度とデフォルトのページ上限を決めます。

無料版の制限

無料版ではクローラーは深さ1までに制限され、ページ数は残っている無料の項目数（10件から保存済みの件数を引いた数）が上限になります。フルバージョンではどちらの制限もなくなります。詳しくは無料版、購入、ライセンスで説明しています。