Blogger के लिए Custom Robots txt File कैसे Generate करे

Custom Robots.txt Blogger blog के लिए कैसे Generate करे इसके बारे में हमने इस पोस्ट में बताया है जिससे आपकी वेबसाइट सर्च रिजल्ट में अच्छेसे क्रॉल होगी. इसके अलावा हमने पिछले एक post मे discussed किया था की कैसे आप blogger मे Custom Robots Header Tags की सेटिंग कर सकते हो. अगर आपने वो पोस्ट देखी होगी तो आप लोगो को पता चल गया होगा की इसकी search rankings मे कितनी इम्पोर्टेंस हैं.

इसके लिए आज हम ऐसेही एक नए useful टॉपिक पर लिख रहे हैं जिसको ब्लॉगिंग की term मे Robots.txt कहते हैं.

Blogger मे इसे Custom Robots.txt कहा जाता हैं जिसका मतलब हैं की आप अपने हिसाब से इस फ़ाइल को customize कर सकते हो (you can customize file according to your choice)

आज के इस tutorial मे हम इसी topic को discuss करने वाले हैं और मैं आपको विस्तार मे बताऊंगा की इसके use और benefits क्या हैं.

इसके अलावा आप कैसे अपने blogger account मे custom robots.txt फ़ाइल को add कर सकते हो इसके बारे मे भी बताऊंगा. पर इसके पहले ये समझ ले की Robots.txt फ़ाइल क्या होती हैं.

Robots.txt क्या हैं?

​Robots.txt एक text file हैं जिसमे कुछ सिंपल लाइन ऑफ़ कोड होता हैं. ये code हमारे website या blog’s server पर store होता हैं जो web crawlers को inform करता हैं की कैसे आपके वेबसाइट को और उसके कंटेंट्स को सर्च रिजल्ट मे इंडेक्स और क्रॉल करना हैं|

इसका अर्थ हैं की आप अपने वेबसाइट के किसी भी वेबपेज को अपने ब्लॉग पर restrict कर सकते हो, जिससे की web crawlers ज़ब scan करेंगे तब आपकी website के बारे मे उनको को पता चले और आपके पेजेस सर्च इंजन पर indexed ना हो.

for example, आपके website के blog labels page, demo page या फिर कोनसा भी पेज जो index करना इम्पोर्टेन्ट नहीं हैं वो आप इसके जरिये सर्च होने से हाईड कर सकते हो.

आसान तरीखे से कहा जाये तो search engine bots जब वेबसाइट और ब्लॉग पर आते हैं, तो वे robots.txt file को फॉलो करते है और कंटेंट को crawl करते हैं। लेकिन आपकी साईट में Robots.txt file नहीं होगी, तो सर्च इंजन Bots आपके वेबसाइट के सभी कंटेंट को index और crawl करना शुरू कर देंगे जिन्हें आप Index करना नहीं चाहते हैं।

हमेशा याद रखे की search crawlers, webpage को crawl करने से पहले robots.txt files को scan करते है इसलिए इस code का आपके site मे होना बहुत जरूरी हैं.

Robots.txt के फायदे

देखा जाये तो robots.txt के बहुत से फायदे हैं पर यहां पर मैंने कुछ महत्वपूर्ण फायदों को बताया हैं जिसे आपको जानना जरूरी हैं.

• सर्च इंजन Bots को बताता है कि साइट के किस भाग को Crawl और Index करना है और किस भाग को नहीं.
• इसके इस्तेमाल से sensitive information को private रखा जा सकता हैं.
• किसी खास फाइल, फोल्डर, इमेज, pdf आदि को सर्च इंजन में Index होने से रोका जा सकता है।
• कभी कभी सर्च इंजन क्रॉलर आपके site को इस तरह क्रॉल करते है, की जिससे आपकी साईट performance पर असर पड़ता है। लेकिन आप अपने robots.txt file में crawl-delay जोडकर इस प्रॉब्लम से छुटकारा पा सकते है।
• हालंकि Googlebot इस Command को नहीं मानता है। लेकिन Crawl rate को आप Google Search Console में सेट कर सकते है। यह आपके सर्वर को ओवरलोड होने से बचाता है।
• किसी भी वेबसाइट के पुरे section को Private कर सकते है जिसको आओ लोगो को नहीं दिखाना चाहते।
• आप low quality pages को block करके अपनी Website SEO में सुधार कर सकते है।
• इसकी मदद से आपके website की search visibility बढ़ती हैं और ranking मे भी सुधार आता हैं.

Robots.txt मे क्या होता हैं?

Blogger मे बनी हर एक website उनके खुदके server पर hosted होती हैं इसकी वजह से इनकी default robots.txt file होती हैं. जैसे की आप निचे देख सकते हो ये किस प्रकार की होती हैं और हम इसका मतलब भी समझेंगे की ये क्या हैं और इसका use क्या हैं.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://YOUR-BLOG-URL/feeds/posts/default?orderby=UPDATED

इसका अर्थ क्या हैं?

यह कोड तीन सेक्शन मे डिवाइड होता हैं. सबसे पहले हम हर एक को समझते हैं की इसका मतलब क्या हैं और फिर हम सीखेंगे की कैसे आप अपने blogspot ब्लॉग मे कस्टम robots.txt file को ऐड कर सकते हो.

User-agent: Mediapartners-Google

ये code Google Adsense के लिए होता हैं जिसकी मदत से आपके blog पर ads अच्छेसे दिखाई देगी. और अगर आप Adsense के ads रन कर रहे हो तो इसका यूज करो या फिर इसको as it is जैसे के वैसा छोड़ दो.

User-agent: *

Robots.txt में यह command सभी सर्च इंजन bots को आपकी साईट के सभी पेज क्रॉल करने की अनुमति देता है। इसके अलावा अगर आप सभी सर्च इंजन bots को same instruction देना चाहते हैं, तो User-agent: के बाद * चिन्ह का प्रयोग करें।

Disallow: /search

ब्लॉग के किसी भी URL के बाद सर्च keyword आएगा तो इसका यूज करके आप इस लिंक को सर्च होने से हाईड कर सकते हो. आप निचे दिया गये example को देख कर समझ सकते हो की इसकी लिंक कैसी होती है.

http://www.prohdphotos.co.in/search

और अगर आप Disallow: /search का यूज नहीं करोगे तो क्रॉलर्स आपके पुरे ब्लॉग को इंडेक्स करेगा और इसके अलावा ब्लॉग के सभी कंटेंट और वेब पेज को भी.

Allow: /

यह कोड होमपेज को रेफर करता हैं जिसका अर्थ हैं की वेब क्रॉलर्स आपके ब्लॉग होमपेज को भी क्रॉल और इंडेक्स करेंगे.

How to Disallow Particular Post?

मान लीजिये अगर आपको किसी particular पोस्ट को इंडेक्स होने नहीं देना हैं या सर्च होने से block करना हैं तो आप निचे दिए code की तरहा इसका प्रयोग कर सकते हो:

Disallow: /yyyy/mm/my-post-url.html
Disallow: /2013/03/post-url.html

यहां पर आपको ब्लॉग URL के आगे की लिंक इसमें add करनी हैं ना की पूरा url.

How to Disallow Particular Page

अगर आपको किसी स्पेसिफिक पेज को disallow करने की जरूरत हैं तो आप same method को use कर सकते हो जो हमने particular post को हाईड करने के लिए की थी. इसके लिए Simply copy करे page URL को और अपने blog address को remove कर दे, निचे दी गयी लिंक की तरहा आपको इसे करना हैं:

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

यह कोड हमारे ब्लॉग के sitemap को संदर्भित करता है। यहां साइटमैप लिंक जोड़कर हम केवल अपने ब्लॉग की crawling rate को optimized कर रहे हैं।

जब भी web crawlers हमारे robots.txt फ़ाइल को scan करेंगे, तो वे हमारे sitemap का एक रास्ता खोज लेंगे, जहाँ हमारे published किये हुए posts के सभी लिंक मौजूद हैं.

इससे वेब क्रॉलर्स आसानी से हमारे ब्लॉग पर मौजूद सभी पोस्ट्स को क्रॉल कर सकते हैं.

Note: Sitemap हमारे सिर्फ recent के 25 पोस्ट्स के बारे मे ही वेब क्रॉलर्स को बतायेगा. अगर आप अपने sitemap में लिंक की संख्या बढ़ाना चाहते हैं तो डिफ़ॉल्ट sitemap की जगह हमें निचे दी गयी लिंक की तरह रिप्लेस करना है, जिससे एक ही बार मे 500 लिंक्स तक क्रॉल हो सकते हैं.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

अगर आपके पास 500 से ज्यादा published posts हैं तो आप दो sitemaps का प्रयोग कर सकते हो जैसे मैंने निचे के कोड मे दिया हैं:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap:
http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Custom Robots.txt Blogger मे कैसे add करे?

यह हमारे टुटोरिअल का सबसे मेन पार्ट हैं.क्यों की इतना सब जानने के बाद अब हम यह देखने वाले हैं की कैसे robots.txt को ब्लॉगर मे add करना हैं. इसके लिए आप नीचे दिए गए स्टेप्स को फॉलो करे –

Step 1 – सबसे पहले अपने blogger blog के account मे sign in करे.

Step 2 – हमें अब blogspot के dashboard मे जाना हैं और Settings >> Search Preferences ›› Crawlers and indexing के section मे, Custom robots.txt ›› Edit मे जाकर Yes करना हैं.

Step 3 – अब जैसे की मैंने कहा था की अगर आपको robots.txt code को समझने मे दिक्क़त आरही हैं और जाहिर सी बात हैं की सभी नए users को आती हैं, इसलिए हम sitemap generator tool की मदद से robots.txt को generate करेंगे.

Step 4 – इसके लिए निचे दी गयी link मे जाकर अपने blog का URL उसमे डाले और generate button पर click करे. और इतना याद रखे की यह टूल सिर्फ ब्लॉगर्स ब्लॉग के लिए ही बनाया गया हैं. अगर आप वर्डप्रेस जैसे साइट पर से आये हो तो आपको अलग स्टेप्स को फ़ॉलो करना होगा.

इस वेबसाइट पर जनरेट करे – Labnol Sitemap Generator Tool

Step 5 – यहां पर आपको अपने ब्लॉग का पूरा url पेस्ट करना हैं और जनेरेट sitemap पर क्लिक करना हैं.

Step 6 – अगर आपके पेजेस ज्यादा हैं तो इसे जनेरेट होने मे थोड़ा समय लग सकता हैं पर 10 सेकंड के अंदर ही हमारी robots.txt फ़ाइल generate हो जाती हैं.

Step 7 – अब उपर के स्टेप मे जो हमारी robots.txt फ़ाइल जनरेट हुई हैं उसे कॉपी करके ब्लॉगर मे जाकर पेस्ट करे.

Step 8 – ये हमारी final स्टेप हैं. कोड पेस्ट करने के बाद Save Changes पर क्लिक करे और done! यहाँ पर हमने successfully हमारी robots.txt code को blogger मे ऐड कर दिया हैं.

• Blogspot मे Country Specific URL Redirection को कैसे बंद करे?

Robots.txt File को check कैसे करे?

आपको अपने ब्लॉग url के आगे बस /robots.txt को add करना हैं और वेब ब्राउज़र पर लिंक डालके सर्च करना हैं. For example:

http://www.yourblogurl.blogspot.com/robots.txt

ज़ब आप विजिट करोगे उस URL को तो आपको निचे दी गयी इमेज जैसा इंटरफ़ेस देखने को मिलेगा. और अगर निचे के जैसा पेज ओपन हो जाता हैं तो इसका मतलब हैं की आपकी robots.txt फ़ाइल generate हो गयी हैं. और अगर दिख नहीं रही तो थोड़ा 1-2 घंटे तक वेट कीजिये क्यूंकि इसे थोड़ा समय लगता हैं.