वेबसाइट क्रॉलर macOS

क्रॉलर अकेले पेजों के बजाय पूरी वेबसाइटें आर्काइव करता है: यह लिंक का अनुसरण करता है, दायरे में आने वाला हर पेज इकट्ठा करता है, आपको सूची जाँचने देता है और फिर सब कुछ ऑफ़लाइन आर्काइव के रूप में डाउनलोड कर लेता है, जिनके लिंक आपस में जुड़े रहते हैं।

क्रॉलर क्या करता है

टूलबार में क्रॉलर बटन से क्रॉलर खोलें। शुरुआती URL डालें, दायरा तय करें, और क्रॉलर दो चरणों में काम करता है: पहले वह लिंक का अनुसरण करते हुए पेज खोजता है, फिर आपकी समीक्षा के बाद हर पेज को स्वतंत्र आर्काइव के रूप में डाउनलोड करता है। आर्काइव किए गए पेजों के आपसी लिंक फिर से लिखे जाते हैं, ताकि आप पूरी वेबसाइट ऑफ़लाइन, पेज दर पेज देख सकें।

क्रॉल अपनी अलग विंडो में चलता है, और वह विंडो बंद करने पर भी चलता रहता है; प्रगति देखने के लिए उसे कभी भी दोबारा खोलें।

दो इंजन: स्टैटिक और ब्राउज़र

स्टैटिक इंजन से शुरू करें। यह कहीं ज़्यादा तेज़ है। अगर पेज अधूरे निकलें, तो क्रॉलर आपको बता देता है: जिन पेजों को JavaScript की ज़रूरत लगती है, उनके लिए वह ब्राउज़र इंजन से फिर से लोड करने का विकल्प देता है।

दायरा: गहराई, सीमाएँ, डोमेन

• लिंक गहराई: क्रॉलर शुरुआती पेज से कितने क्लिक दूर तक लिंक का अनुसरण करता है।
• पेज सीमा: पेजों की संख्या पर सख़्त ऊपरी सीमा।
• सबडोमेन शामिल करें: शुरुआती होस्ट के सबडोमेन पर मौजूद पेज भी आर्काइव करें (blog.example.com भी, केवल example.com नहीं)।
• बाहरी डोमेन की अनुमति दें: दूसरी वेबसाइटों के लिंक का भी अनुसरण करें। यह ताक़तवर है और आसानी से हद पार कर जाता है, इसलिए इसे पहले सेटिंग्स → कैप्चर → क्रॉलर में अनलॉक करना पड़ता है।

गंतव्य: अपनी लाइब्रेरी से एक मूल फ़ोल्डर चुनें; क्रॉलर उसमें पूरे क्रॉल के लिए वेबसाइट के नाम वाला एक सबफ़ोल्डर बनाता है।

समीक्षा चरण

खोज पूरी होने पर आपको हर मिला हुआ पेज एक ट्री में दिखता है, होस्ट और पथ के अनुसार समूहित। जो नहीं चाहिए उसका चुनाव हटा दें (दुकान के 500 उत्पाद वैरिएंट, टैग पेज, प्रिंट दृश्य), फिर डाउनलोड शुरू करें। आर्काइव सिर्फ़ वही होता है जो आपने चुना है।

प्रगति, रोकना और फिर से आज़माना

डाउनलोड के दौरान आपको मिले / सहेजे गए / विफल / छोड़े गए के लाइव काउंटर दिखते हैं, अभी प्रोसेस हो रहे URL और विफल पेजों की सूची भी। आप कभी भी रोकें / जारी रखें या रद्द करें पर क्लिक कर सकते हैं, और विफल फिर से आज़माएँ सिर्फ़ उन्हीं पेजों को दोबारा चलाता है जो विफल हुए थे।

लाइब्रेरी में क्रॉल

एक क्रॉल के पेज आपस में जुड़े होते हैं, और लाइब्रेरी उन्हें वैसे ही संभालती है: आइटम सूची में वे सिमटकर एक ही क्रॉल समूह पंक्ति बन जाते हैं। क्रॉल के पेज देखने के लिए उस पर क्लिक करें; समूह की क्रियाओं के लिए राइट-क्लिक करें: सभी पेज दिखाएँ, यहाँ ले जाएँ या क्रॉल हटाएँ (क्रॉल के सारे पेज एक साथ हटा देता है)।

सपाट सूची पसंद है? क्रमबद्ध करने के मेनू में क्रॉल समूहित करें टॉगल बंद कर दें, या साइडबार से क्रॉल फ़ोल्डर छिपा दें: सेटिंग्स → कैप्चर → क्रॉलर → क्रॉल फ़ोल्डर छिपाएँ।

क्रॉलर सेटिंग्स

सेटिंग्स → कैप्चर → क्रॉलर में:

• बाहरी डोमेन की अनुमति दें: ऊपर बताया गया दायरा विकल्प अनलॉक करता है।
• साइडबार में क्रॉल फ़ोल्डर छिपाएँ।
• robots.txt का पालन करें: वेबसाइट के क्रॉलिंग नियमों का सम्मान करें। डिफ़ॉल्ट रूप से बंद; जब आप ऐसी सार्वजनिक साइटें क्रॉल करें जो आपकी नहीं हैं, तब इसे चालू करें।
• अनुरोधों के बीच विलंब (ms): एक ही वेबसाइट को भेजे जाने वाले अनुरोधों के बीच ठहराव।
• समानांतर डाउनलोड: स्टैटिक इंजन एक साथ कितने पेज लाता है।
• नए क्रॉल के लिए डिफ़ॉल्ट गहराई और डिफ़ॉल्ट पेज सीमा।

मुफ़्त संस्करण की सीमाएँ

मुफ़्त संस्करण में क्रॉलर गहराई 1 तक सीमित है, और पेजों की संख्या आपके बचे हुए मुफ़्त आइटम से बँधी होती है (10 में से उतने घटाकर जितने आप पहले ही सहेज चुके हैं)। पूर्ण संस्करण दोनों सीमाएँ हटा देता है। मुफ़्त संस्करण, खरीद और लाइसेंस देखें।