Web Sitesi Tarayıcısı macOS

Crawler, tek tek sayfalar yerine web sitelerinin tamamını arşivler: bağlantıları izler, kapsamdaki her sayfayı toplar, listeyi incelemenize olanak tanır ve sonra hepsini, bağlantıları birbirini gösteren çevrimdışı arşivler olarak indirir.

Crawler ne yapar

Crawler'ı araç çubuğundaki Tarayıcı (Crawler) düğmesiyle açın. Bir başlangıç URL'si girin, kapsamı belirleyin; Crawler iki aşamada çalışır: önce bağlantıları izleyerek sayfaları keşfeder, incelemenizin ardından her sayfayı kendi kendine yeten bir arşiv olarak indirir. Arşivlenen sayfalar arasındaki iç bağlantılar yeniden yazılır, böylece sitenin tamamını çevrimdışı olarak sayfa sayfa gezebilirsiniz.

Tarama kendi penceresinde çalışır ve o pencereyi kapatsanız da çalışmayı sürdürür; ilerlemeyi görmek için pencereyi istediğiniz zaman yeniden açın.

İki motor: Statik ve Tarayıcı

Statik motorla başlayın. Belirgin biçimde daha hızlıdır. Sayfalar eksik çıkarsa Crawler size haber verir: JavaScript'e ihtiyaç duyduğu anlaşılan sayfalar için Tarayıcı motoruyla yeniden yükleme önerisi sunar.

Kapsam: derinlik, sınırlar, alan adları

• Bağlantı derinliği: Crawler'ın başlangıç sayfasından kaç tıklama uzaktaki bağlantıları izleyeceği.
• Sayfa sınırı: sayfa sayısı için kesin bir üst sınır.
• Alt alan adlarını dahil et: başlangıç sunucusunun alt alan adlarındaki sayfaları da arşivleyin (blog.example.com, example.com ile birlikte).
• Harici alan adlarına izin ver: başka web sitelerine giden bağlantıları da izleyin. Bu güçlü ve kolayca aşırıya kaçan bir seçenek olduğu için önce Ayarlar → Yakalama → Crawler bölümünde açılması gerekir.

Hedef: kütüphanenizden bir üst klasör seçin; Crawler, taramanın tamamı için orada sitenin adını taşıyan bir alt klasör oluşturur.

İnceleme adımı

Keşiften sonra bulunan her sayfayı, sunucuya ve yola göre gruplanmış bir ağaçta görürsünüz. İstemediğiniz her şeyin işaretini kaldırın (mağazanın 500 ürün varyantı, etiket sayfaları, yazdırma görünümleri), sonra indirmeyi başlatın. Yalnızca seçtikleriniz arşivlenir.

İlerleme, duraklatma ve yeniden deneme

İndirme sırasında Bulunan / Kaydedildi / Başarısız / Atlandı için canlı sayaçları, o anda işlenen URL'leri ve başarısız sayfaların listesini görürsünüz. İstediğiniz zaman Duraklat / Sürdür veya İptal düğmelerini kullanabilirsiniz; Başarısızları Yeniden Dene ise yalnızca hata veren sayfaları yeniden çalıştırır.

Kütüphanenizdeki taramalar

Bir taramanın sayfaları birbirine aittir ve kütüphane onları böyle ele alır: öğe listesinde tek bir tarama grubu satırı hâlinde toplanırlar. Taramanın sayfalarına göz atmak için satıra tıklayın; grup işlemleri için sağ tıklayın: Tüm Sayfaları Göster, Şuraya Taşı veya Taramayı Sil (taramanın bütün sayfalarını tek seferde kaldırır).

Düz bir liste mi tercih edersiniz? Gruplamayı sıralama menüsündeki Taramaları Grupla anahtarıyla kapatın veya tarama klasörlerini kenar çubuğundan gizleyin: Ayarlar → Yakalama → Crawler → Tarama klasörlerini gizle.

Crawler ayarları

Ayarlar → Yakalama → Crawler bölümünde:

• Harici alan adlarına izin ver: yukarıda anlatılan kapsam seçeneğini açar.
• Kenar çubuğunda Tarama klasörlerini gizle.
• robots.txt'ye uy: sitenin tarama kurallarına uyun. Varsayılan olarak kapalıdır; size ait olmayan herkese açık siteleri tararken açın.
• İstekler arası gecikme (ms): aynı siteye gönderilen istekler arasındaki bekleme.
• Paralel indirmeler: statik motorun aynı anda kaç sayfa indireceği.
• Yeni taramalar için varsayılan derinlik ve varsayılan sayfa sınırı.

Ücretsiz sürüm sınırları

Ücretsiz sürümde Crawler derinlik 1 ile sınırlıdır ve sayfa sayısı kalan ücretsiz öğe sayınızla sınırlanır (10 eksi hâlihazırda kaydettikleriniz). Tam sürüm her iki sınırı da kaldırır. Bkz. Ücretsiz sürüm, satın alma, lisans.