Blogger ब्लॉग में Custom Robots.txt फाइल कैसे जोड़ें

vikasdangi

एडमिन
पोस्ट
37
प्रतिक्रिया स्कोर
36
पॉइंट्स
18
हर Search Engine इंटरनेट की websites को crawl करने के लिए search robots का इस्तेमाल करते हैं, जिन्हें web crawlers भी कहा जाता है।

कोई भी search robot किसी भी website को crawl करने से पहले उसकी robots.txt की जाँच करता है और उसमें दिए गए commands के अनुसार ही website को crawl करता है।

इस पोस्ट के जरिये मैं यह बताऊँगा कि Blogger ब्लॉग में robots.txt फाइल कैसे जोड़ते हैं।

Robots.txt क्या है?

Robots.txt एक text file होती हैं जिसमें simple code की कुछ lines डली होती हैं।

यह website या blog के root folder में saved होती है। आपके ब्लॉग का कौनसा हिस्सा index होना चाहिए और कितनी बार होना चाहिए, इसकी commands को आप इस फाइल में डाल सकते हैं।

इसके जरिये आप अपने ब्लॉग के किसी खास हिस्से को search engine में index होने से रोक सकते हैं, जैसे Blogger ब्लॉग में label page, search page, demo page या कोई अन्य page जो important नहीं है।

Blogger के हर ब्लॉग में एक default Robots.txt फाइल पहले से ही होती है, जो इस प्रकार दिखती है:

Code:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

विवरण

यह कोड तीन भागों में विभाजित है। चलिए सबसे पहले इन सबको एक-एक करके समझते हैं।

User-agent: Mediapartners-Google

यह कोड Google Adsense robots के लिए है जो आपके ब्लॉग पर बेहतर ads दिखाने में मदद करता है। चाहे आप अपने ब्लॉग पर Adsense का उपयोग कर रहे हों या नहीं, इसको ऐसा ही डला रहने दें।

User-agent: *

इस कोड का मतलब है सभी robots जो आपके ब्लॉग पर आते हैं, जिसे * से indicate किया जाता है। Disallow: /search का मतलब हुआ आपके ब्लॉग के search pages जिनमें labels भी शामिल हैं index नहीं होंगे। अगली लाइन Allow: / का मतलब है बाकी के सभी pages को index करना है।

किसी विशेष पोस्ट को Disallow करना

मान लीजिये आप किसी विशेष पोस्ट को index होने से रोकना चाहते हैं, तो उस पोस्ट को निम्न कोड की तरह डालें:

Disallow: /yyyy/mm/post-url.html

यहाँ पर yyyy और mm का मतलब है पोस्ट का publishing साल और महीना। उदाहरण के लिए आपने अपनी पोस्ट को 22 फरबरी 2020 को पब्लिश किया है तो आपके पोस्ट का URL निम्न format में होगा:

Disallow: /2013/03/post-url.html

किसी विशेष पेज को Disallow करना

यदि आप अपने ब्लॉग के किसी विशेष पेज को Disallow करना चाहते हैं तो यह भी ऊपर दिए गए तरीके जैसे ही होगा। अपने पेज के URL में से blog address को छोड़कर आगे का पूरा भाग डालें, जैसे

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

यह कोड आपके ब्लॉग के sitemap को बताता है। यह कोड डालकर हम search engine को अपने sitemap की जानकारी देते हैं, ताकि वह सभी posts तक पहुँच सके।

ऐसा करने से आपके ब्लॉग को crawl करना आसान हो जायेगा।

नोट: यह sitemap सिर्फ आपकी हाल की 25 posts के बारे में ही crawlers को बताएगा। यदि आप अपनी posts की संख्या को बढ़ाना चाहते हैं तो निम्न sitemap को डालें। यह आपकी हाल की 500 posts को sitemap में दिखायेगा:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

यदि आपके ब्लॉग पर 500 से ज्यादा posts हैं तो निम्न कोड का इस्तेमाल करें:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Blogger ब्लॉग में अपना खुद का Robots.txt कोड डालना

Blogger में अपना खुद का Robots.txt कोड डालने के लिए निम्न स्टेप्स को फॉलो करें -
  1. अपने Blogger ब्लॉग के dashboard में Settings पेज पर जाएँ।
  2. अब Search Preferences पर जाएँ और "Custom robots.txt" के सामने वाली "Edit" बटन पर क्लिक करें।
  3. अब "Enable custom robots.txt content?" के सामने "Yes" सेलेक्ट करें।
  4. अब जो बॉक्स खुलेगा उसमें अपना Robots.txt कोड डालें।
  5. इसके बाद Save बटन पर क्लिक करें।
Blogger ब्लॉग में अपना खुद का Robots.txt कोड डालना


अपनी Robots.txt फाइल को चेक कैसे करें?

आप अपने ब्लॉग के URL में /robots.txt डालकर विजिट करने पर अपनी Robots.txt फाइल देख सकते हैं। जैसे

http://www.yourblogurl.blogspot.com/robots.txt

आपको अपना कोड इस प्रकार दिखेगा -

robots.txt फाइल


आखिरी शब्द

यह blogger ब्लॉग में खुद की robots.txt फाइल जोड़ने की पूरी गाइड थी।

मैंने इसे जितना हो सके उतना सरल और जानकारी युक्त बनाने की कोशिश की। लेकिन यदि अभी भी आपका कोई डाउट या प्रश्न है तो रिप्लाई करके मुझसे पूछें।

Robots.txt को सम्पादित करते समय आपको बस इतना ध्यान रखना है कि इसमें कोई ऐसा कोड न डालें जिसे आप न समझते हों। यदि आप इस फाइल में कुछ अतिरिक्त rules डालना चाहते हैं, लेकिन आपको नहीं पता कि कैसे करें तो मुझसे रिप्लाई करके पूछें।
 

मेंबर ऑनलाइन

अभी कोई मेंबर ऑनलाइन नहीं है।

हाल की पोस्ट

फोरम के आँकड़े

टॉपिक
47
पोस्ट
61
मेंबर्स
6
हाल के मेंबर
Yogi
Top