Blogger के लिए Custom Robots.txt File कैसे Generate करे

Custom Robots.txt file blogger blog के लिए कैसे Generate करे इसके बारे में हमने इस पोस्ट में बताया है जिससे आपकी वेबसाइट सर्च रिजल्ट में अच्छेसे क्रॉल होगी. इसके अलावा हमने पिछले एक post मे discussed किया था की कैसे आप blogger मे Custom Robots Header Tags की सेटिंग कर सकते है. अगर आपने उसे आर्टिकल को पढ़ा है तो आप लोगो को पता चल गया होगा की robots.txt file की search rankings मे कितनी इम्पोर्टेंस हैं.

इसी लिए आज हम ऐसेही एक नए useful टॉपिक पर लिख रहे हैं जिसको ब्लॉगिंग की term मे Robots.txt कहते हैं.

Blogger मे इसे Custom Robots.txt कहा जाता हैं जिसका मतलब हैं की आप अपने हिसाब से इस फ़ाइल को customize कर सकते है (you can customize file according to your choice)

आज के इस tutorial मे हम इसी topic को discuss करने वाले हैं और मैं आपको विस्तार मे बताऊंगा की इसके use और benefits क्या हैं.

इसके अलावा आप कैसे अपने blogger account मे custom robots.txt file को कैसे add कर सकते है, blogger me robots.txt kaise add karte hai, blogger robots.txt generator, Custom robots.txt for blogger Custom Robots.txt File Blogger Me Kaise Add Kare इसके बारे मे भी बताऊंगा. लेकिन इसके पहले यह समझ ले की Robots.txt file क्या होती हैं.

Robots.txt क्या हैं – What is Robot.txt in Hindi

​Robots.txt एक text file हैं जिसमे कुछ सिंपल लाइन ऑफ़ कोड होता हैं. यह code हमारे website या blog’s server पर store होता हैं जो web crawlers को inform करता हैं की कैसे आपके वेबसाइट को और उसके कंटेंट्स को सर्च रिजल्ट मे इंडेक्स और क्रॉल करना हैं|

इसका अर्थ हैं की आप अपने वेबसाइट के किसी भी वेबपेज को अपने ब्लॉग पर restrict कर सकते है, जिससे की web crawlers ज़ब scan करेंगे तब आपकी website के बारे मे उनको को पता चले और आपके पेजेस सर्च इंजन पर indexed ना हो.

for example, आपके website के blog labels page, demo page या फिर अन्य कोई भी पेज जो index करना इम्पोर्टेन्ट नहीं हैं वो आप इसके जरिये सर्च होने से हाईड कर सकते है.

आसान तरीखे से कहा जाये तो search engine bots जब वेबसाइट और ब्लॉग पर आते हैं, तो वे robots.txt file को फॉलो करते है और कंटेंट को crawl करते हैं। लेकिन आपकी साईट में Robots.txt file नहीं होगी, तो सर्च इंजन Bots आपके वेबसाइट के सभी कंटेंट को index और crawl करना शुरू कर देंगे और जिन्हें आप Index करना नहीं चाहते हैं वह आर्टिकल भी सर्च इंजन पर show हो जायेंगे।

हमेशा याद रखे की search crawlers, webpage को crawl करने से पहले robots.txt files को scan करते है इसलिए इस code का आपके site मे होना बहुत ही जरूरी हैं.

Robots.txt के फायदे

देखा जाये तो robots.txt के बहुत से फायदे हैं लेकिन यहां पर मैंने कुछ महत्वपूर्ण फायदों को बताया हैं जिन्हे आपको जानना जरूरी हैं-

• सर्च इंजन Bots को बताता है कि साइट के किस भाग को Crawl और Index करना है और किस भाग को नहीं.
• इसके इस्तेमाल से sensitive information को private रखा जा सकता हैं.
• किसी खास फाइल, फोल्डर, इमेज, pdf आदि को सर्च इंजन में Index होने से रोका जा सकता है।
• कभी कभी सर्च इंजन क्रॉलर आपके site को इस तरह क्रॉल करते है, की जिससे आपकी साईट performance पर असर पड़ता है। लेकिन आप अपने robots.txt file में crawl-delay जोडकर इस प्रॉब्लम से छुटकारा पा सकते है।
• हालंकि Googlebot इस Command को नहीं मानता है। लेकिन Crawl rate को आप Google Search Console में सेट कर सकते है। यह आपके सर्वर को ओवरलोड होने से बचाता है।
• किसी भी वेबसाइट के पुरे section को Private कर सकते है जिसको आओ लोगो को नहीं दिखाना चाहते।
• आप low quality pages को block करके अपनी Website SEO में सुधार कर सकते है।
• इसकी मदद से आपके website की search visibility बढ़ती हैं और ranking मे भी सुधार आता हैं.

Robots.txt मे क्या होता हैं?

Blogger मे बनी हर एक website उनके खुदके server पर hosted होती हैं इसकी वजह से इनकी default robots.txt file होती हैं. जैसे की आप निचे देख सकते हो ये किस प्रकार की होती हैं और हम इसका मतलब भी समझेंगे की ये क्या हैं और इसका use क्या हैं.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://YOUR-BLOG-URL/feeds/posts/default?orderby=UPDATED

Robots.txt का अर्थ क्या हैं

यह कोड तीन सेक्शन मे डिवाइड होता हैं. सबसे पहले हम हर एक को समझते हैं की इसका मतलब क्या हैं और फिर हम सीखेंगे की कैसे आप अपने blogspot ब्लॉग मे कस्टम robots.txt file को ऐड कर सकते है.

User-agent: Mediapartners-Google

यह code Google Adsense के लिए बनाया हैं जिसकी मदत से आपके blog पर ads अच्छेसे दिखाई देगी. अगर आप Adsense के ads रन कर रहे है तो इसका यूज करना महत्वपूर्ण है. Yoast SEO प्लगिन robots txt फ़ाइल मे आटोमेटिकली कोड add करता है इसलिए यदि आप wordpress पर है तो इसकी चिंता छोड़ दीजिये.

User-agent: *

Robots.txt में यह command सभी सर्च इंजन bots को आपकी साईट के सभी पेज क्रॉल करने की अनुमति देता है। इसके अलावा अगर आप सभी सर्च इंजन bots को same instruction देना चाहते हैं, तो User-agent: के बाद * चिन्ह का प्रयोग करें।

Disallow: /search

ब्लॉग के किसी भी URL के बाद सर्च keyword आएगा तो इसका यूज करके आप इस लिंक को सर्च होने से हाईड कर सकते है. आप निचे दिया गये example को देख कर समझ सकते है की इसकी लिंक किस तरह की होती है.

http://www.prohdphotos.co.in/search

इसके अलावा अगर आप Disallow: /search का यूज नहीं करोगे तो क्रॉलर्स आपके पुरे ब्लॉग को इंडेक्स करेगा और इसके अलावा ब्लॉग के सभी कंटेंट और वेब पेज को भी.

Allow: /

यह कोड होमपेज को रेफर करता हैं जिसका अर्थ हैं की वेब क्रॉलर्स आपके ब्लॉग होमपेज को भी क्रॉल और इंडेक्स करेंगे.

Disallow Particular Post using Custom robots.txt in blogger

मान लीजिये अगर आपको किसी particular पोस्ट को इंडेक्स होने नहीं देना हैं या सर्च होने से block करना हैं तो आप निचे दिए code की तरहा इसका प्रयोग कर सकते है:

Disallow: /yyyy/mm/my-post-url.html
Disallow: /2013/03/post-url.html

यहां पर आपको ब्लॉग URL के आगे की लिंक add करनी हैं ना की पूरा url. WordPress के लिये permalink structure अलग होगा.

How to Disallow Particular Page

अगर आपको किसी स्पेसिफिक पेज को disallow करने की जरूरत हैं तो आप same method को use कर सकते है जो हमने particular post को हाईड करने के लिए की थी.

Page हाईड करने के लिये page URL को कॉपी करें और अपने blog एड्रेस (main url) को remove कर दे, निचे दी गयी लिंक की तरहा आपको इसे करना हैं:

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

यह कोड हमारे ब्लॉग के sitemap को संदर्भित करता है। यहां साइटमैप लिंक जोड़कर हम केवल अपने ब्लॉग की crawling rate को optimized कर रहे हैं।

जब भी web crawlers हमारे robots.txt फ़ाइल को scan करेंगे, तो वे हमारे sitemap का एक रास्ता खोज लेंगे, जहाँ हमारे published किये हुए posts के सभी लिंक मौजूद हैं.

इससे वेब क्रॉलर्स आसानी से हमारे ब्लॉग पर मौजूद सभी पोस्ट्स को क्रॉल कर सकते हैं.

Note: Sitemap हमारे सिर्फ recent के 25 पोस्ट्स के बारे मे ही वेब क्रॉलर्स को बतायेगा. अगर आप अपने sitemap में लिंक की संख्या बढ़ाना चाहते हैं तो डिफ़ॉल्ट sitemap की जगह हमें निचे दी गयी लिंक की तरह रिप्लेस करना है, जिससे एक ही बार मे 500 लिंक्स तक क्रॉल हो सकते हैं.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

अगर आपके पास 500 से ज्यादा published posts हैं तो आप दो sitemaps का प्रयोग कर सकते हो जैसे मैंने निचे के कोड मे दिया हैं:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap:
http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Custom Robots.txt File Blogger Me Kaise Add Kare?

यह हमारे टुटोरिअल का सबसे मेन पार्ट हैं. अब हम यह देखने वाले हैं की कैसे robots.txt को ब्लॉगर मे add करना हैं. इसके लिए आप नीचे दिए गए स्टेप्स को फॉलो करे –

Step 1 – सबसे पहले अपने blogger blog के account मे sign in करे.

Step 2 – हमें अब blogspot के dashboard मे जाना हैं और Settings >> Search Preferences ›› Crawlers and indexing के section मे, Custom robots.txt ›› Edit मे जाकर Yes करना हैं.

Step 3 – अब जैसे की मैंने कहा था की अगर आपको robots.txt code को समझने मे दिक्क़त आरही हैं और जाहिर सी बात हैं की सभी नए users को आती हैं, इसलिए हम sitemap generator tool की मदद से robots.txt को generate करेंगे.

Step 4 – इसके लिए निचे दी गयी link मे जाकर अपने blog का URL उसमे डाले और generate button पर click करे. और इतना याद रखे की यह टूल सिर्फ ब्लॉगर्स ब्लॉग के लिए ही बनाया गया हैं. अगर आप वर्डप्रेस जैसे साइट पर से आये हो तो आपको अलग स्टेप्स को फ़ॉलो करना होगा.

इस वेबसाइट पर जनरेट करे – Labnol Sitemap Generator Tool

Step 5 – यहां पर आपको अपने ब्लॉग का पूरा url पेस्ट करना हैं और जनेरेट sitemap पर क्लिक करना हैं.

Step 6 – अगर आपके पेजेस ज्यादा हैं तो इसे जनेरेट होने मे थोड़ा समय लग सकता हैं. यहां 10 सेकंड के अंदर ही हमारी robots.txt फ़ाइल generate हो जाती हैं.

Step 7 – अब उपर के स्टेप मे जो हमारी robots.txt फ़ाइल जनरेट हुई हैं उसे कॉपी करके ब्लॉगर मे जाकर पेस्ट करे.

Step 8 – ये हमारी final स्टेप हैं. कोड पेस्ट करने के बाद Save Changes पर क्लिक करे और done! यहाँ पर हमने successfully हमारी robots.txt code को blogger मे ऐड कर दिया हैं.

• Blogspot मे Country Specific URL Redirection को कैसे बंद करे?

Custom Robots.txt blogger kaise check kare

आपको अपने ब्लॉग url के आगे बस /robots.txt को add करना हैं और वेब ब्राउज़र पर लिंक डालके सर्च करना हैं. For example:

http://www.yourblogurl.blogspot.com/robots.txt

ज़ब आप विजिट करोगे उस URL को तो आपको निचे दी गयी इमेज जैसा इंटरफ़ेस देखने को मिलेगा. और अगर निचे के जैसा पेज ओपन हो जाता हैं तो इसका मतलब हैं की आपकी robots.txt फ़ाइल generate हो गयी हैं. और अगर दिख नहीं रही तो थोड़ा 1-2 घंटे तक वेट कीजिये क्यूंकि इसे थोड़ा समय लगता हैं.

उम्मीद करता हूँ robots.txt क्या हैं और blogger me robots.txt kaise add karte hai यह आर्टिकल आपको अच्छा लगा होगा और आपको इससे काफी मदद मिली होगी।

यदि आपको यह आर्टिकल अच्छा लगा हो तो इसे अपने दोस्तों के साथ शेयर करे और अगर आप सोशल मीडिया से जुड़े हुए है तो वह पर लोगो को Blogger के लिए Custom Robots.txt File कैसे Generate करे आर्टिकल के बारे में बताये जिससे सभी इस टर्म को सिख सके.