Robots.Txt Kya Hai,Blogspot Me Add Kaise Kare ? - जब हम ब्लॉग्गिंग की शुरुवात करते है तो हमे blogging से related बहुत सी चीजो के बारे में जानकारी नहीं होती है,लेकिन हमे इनकी जानकारी ज़रूर होनी चाहिए क्योकि बिना इनकी knowledge के ब्लॉग को Successful नहीं बनाया जा सकता है.इस कारण सभी नए blogger को blogging से सम्बंधित सभी basic व advance knowledge को प्राप्त करना चाहिए.हमारा ब्लॉग आपकी ब्लॉग्गिंग से सम्बंधित सभी जानकारियाँ देता है.इस पोस्ट में हम आपके Robots.txt क्या है और इसे ब्लॉग में Add कैसे करते है इन सभी सवालों के जबाव देने की कोशिश करेंगे.
आज की यह पोस्ट कुछ लम्बी ज़रूर है,लेकिन यदि आप इसको पूरा पढ़ते है तो इससे आपके robots.txt संबंधित सभी सवाल हल हो जायेगे.जिससे आपको benefits मिलेगा.
आज की यह पोस्ट कुछ लम्बी ज़रूर है,लेकिन यदि आप इसको पूरा पढ़ते है तो इससे आपके robots.txt संबंधित सभी सवाल हल हो जायेगे.जिससे आपको benefits मिलेगा.
Robots.Txt Kya Hota Hai,Hindi Me Jankari ?
robots.txt एक txt फॉर्मेट में एक फाइल होती है,जो सर्च engine को बताती है की वह इस साईट या ब्लॉग की किस जानकारी को सर्च रिजल्ट में show करे और किस जानकारी को show न करे.यानि की search engine के bots ( bots एक सॉफ्टवेयर या प्रोग्राम होता है,जिसके द्वारा सर्च engines ब्लॉग website को crawl करके उस site की जानकारियों को प्राप्त करके,उन इनफार्मेशन हो सर्च engines result में show करते है) के लिए हम एक txt फाइल बनाते है.जिसमे हम bots के लिए यह order सेट करते है की उसको हमारी ब्लॉग की कौनसी इनफार्मेशन को crawl करना है,और कौनसी इनफार्मेशन को crawl नहीं करना है.
यानि की कुल मिलाकर यह कहा जा सकता है की हम search engines bots के लिए अपनी website से related जो txt फाइल उसको आदेश देने के लिए बनाते है,वह robots.txt file कहलाता है.
इसके द्वारा हम अपने blog की privacy या ज़रूरी pages को search engines bots द्वारा crawl करने से रोक सकते है,जबकि हमारे ब्लॉग की posts को crawl करने की अनुमति bots को दे सकते है.होता यह है की जो नये blogger robots.txt का मतलब नहीं जानते वो किसी गलत robots.txt को अपने ब्लॉग में add कर लेते है,जिससे वह तब परेशान होते है,जब वो अपनी साईट या ब्लॉग को सर्च रिजल्ट में कुछ अव्यवस्थित ढंग से पाते है,यानि की सर्च रिजल्ट में उनकी कोई पोस्ट show होती है,और कोई नहीं,या फिर किसी पोस्ट की डिस्क्रिप्शन ही सर्च रिजल्ट में show नहीं होती है.
robots.txt को लेकर मैने भी काफी गलतिया की थी,जिससे search results में मेरे ब्लॉग की पोस्ट्स का कई बार सर्च डिस्क्रिप्शन ही show नहीं होता था, तब मैने नॉलेज प्राप्त की ,और मैने जाना की robots.txt किसी ब्लॉग या साईट की महत्वपूर्ण फाइल होती है,इसका या तो सही इस्तेमाल करना चाहिए या इसका इस्तेमाल ही नहीं करना चाहिए .
लेकिन मै आपको यह बात स्पष्ट रूप से बता देना चाहता हूँ की हम google या और किसी search engines से अपने ब्लॉग की इनफार्मेशन को पूर्ण रूप से छुपा नहीं सकते क्योकि google और bing सर्च engine के bots अपग्रेड होते रहते है,यानि की यह bots काफी powerful होते है और यह मामूली robots.txt को कुछ नहीं समझते है.
Robots.txt Blog Website Ke Liye Important Kyo Hote Hai ?
यह हमारे blog website के लिए बहुत ही important होते है,क्योकि robots.txt फाइल में हम अपने ब्लॉग की sitemap भी add करते है,आप जानते है की sitemap में हमारे ब्लॉग की सभी posts की links add होती है,जिससे जब search engines के bots हमारे ब्लॉग को crawl करेगा तो उसको यह order मिलेगा की sitemap allow है,यानि की bots sitemap में जितनी भी links है उनको पूर्ण रूप से crawl व scan कर सकता है.जिससे वह हमारे ब्लॉग की सभी posts को scan कर सकता है,जिससे हमारे ब्लॉग की posts सर्च engines result में show होने लगती है.
और जो इनफार्मेशन हम अपने ब्लॉग की search engines result में नहीं दिखाना चाहते उसके लिए हम disallow tag का इस्तेमाल कर सकते है,जिससे bots को यह order मिलेगा की उसको यह इनफार्मेशन search engines तक नहीं पहुँचानी है,जिससे हमारे ब्लॉग की वह जानकारी search engines result में show नहीं होती.अब आप जान ही चुके होंगे की robots.txt blog website के लिए important क्यों होते है.
Robots.Txt Se Related Question Jo Naye Blogger Sochte Hai ?
1 - यदि हम robots.txt का इस्तेमाल नहीं करते तो क्या हमारे ब्लॉग की posts search engines में show नहीं होगी?
answer – नहीं,यदि आप robots.txt का use नहीं करते तो आपके ब्लॉग पर इसका negative impact कुछ नहीं होता,आपको इसका इस्तेमाल करने की ज़रूरत नहीं.बस आपको अपने ब्लॉग का sitemap search engine में add करना है,जिससे आपकी ब्लॉग posts सर्च रिजल्ट में show होती रहेंगी.
2 - robots.txt का इस्तेमाल करना चाहिए या नहीं ?
answer - यह आप पर निर्भर करता है,यदि आप चाहते है की आपका ब्लॉग search engines द्वारा पूर्ण रूप से crawl होता रहे और index होता रहे तो आपको इसका इस्तेमाल करने की कोई ज़रूरत नहीं है.और यदि आप अपने ब्लॉग की कुछ important या privacy वाले pages,posts को search engines रिजल्ट में show नहीं करवाना चाहते तो आपको robots.txt का use करना चाहिए.
3- क्या robots.txt का इस्तेमाल नहीं करने से ब्लॉग की search engine optimization पर कोई bad गलत प्रभाव तो नहीं पड़ेगा?
answer -- इसका search engine ऑप्टिमाइजेशन से सामान्य रूप से कोई लेना देना नहीं होता है,यदि आप robots.txt का इस्तेमाल नहीं करते तो आपके ब्लॉग पर किसी भी प्रकार का bad impact नहीं पड़ेगा.और हाँ मैं इसका इस्तेमाल नहीं करता हूँ.
Blogspot Blog Ke Liye Robots.txt File Kaise Banaye Or Blog Me Add Kaise Kare ?
ब्लॉग के लिए Robots.txt बनाने से पहले आपको यह जान लेना चाहिए की इसको बनाते समय कौन - कौनसे tags का use किया जाता है और उनका मतलब क्या है.क्योकि इससे आप और ज्यादा अच्छे तरीके से इसके बारे में समझ जायोगे.
1 - User Agent --- यह हमारे ब्लॉग के सभी तरह के users के लिए इस्तेमाल किया जाता है.यानि की हमारे ब्लॉग के लिए सभी user agent.यदि हम किसी विशेष user agent के लिए robots.txt बना रहे है तो इसके आगे उसका नाम आता है.यदि हम सभी user एजेंट्स के लिए एक ही robots.txt की फाइल बनाना चाहते है तो इसके आगे * लगा दिया जाता है.जिसका मतलब है की सभी के लिए यह robots.txt एक command सेट करेगा.
2 – Allow -- यदि हम robots.txt में किसी चीज के लिए इस tag का use करते है तो हम bots को यह आदेश देते है की वह इस चीज को पूर्ण तरीके से scan/क्रॉल कर सकता है और जो उसने इनफार्मेशन store की है वह search engine system तक transfer कर सकता है.हम sitemap के लिए robots.txt में इस allow tag का use करते है,जिससे हमारी ब्लॉग की सभी posts सर्च engines रिजल्ट में show होती रहे.
3 – Disallow -- यह disallow के लिए use किया जाता है.यानि की हम किसी ब्लॉग की पोस्ट या पेज की link के लिए इस tag का use करते है तो हम चाहते है की यह पोस्ट या page search engine में show नहीं होनी चाहिए.जिससे bots उसको crawl नहीं करते है और जिससे सर्च इंजन उसको इंडेक्स नहीं कर पाता है.मान लीजिये की मैं चाहता हूँ की मेरे ब्लॉग का blogger वाला label crawl न हो तो मैं कुछ इस प्रकार से कमांड सेट करूँगा.
Disallow: /search/labels/blogger
अब ब्लॉग के लिए robots.txt file बनाते है,blogger ब्लॉग के लिए हमने नीचे robots.txt create किया हुआ है.आपको बस वह code copy करना है और अपने blogger blog में add करना है.आप सबसे पहले अपने sitemap के हिसाब से robots.txt code copy करे.यदि आपने google search console में अपनी blog website के लिए sitemap.xml वाला sitemap add किया है तो आपको code 1 copy करना है और यदि आपने google search console में atom/feed वाला sitemap add किया है तो आपको code 2 copy करना है.
Robots.Txt Code First -
robots.txt को कॉपी करके आप इसमें yourblogdomain.blogspot.com वाले स्थान पर अपने ब्लॉग का Url Address लिख दे.अब हम इस रोबोट्स.txt फाइल को Blogspot Blog में Add करते है.
इसे ब्लॉग में ऐड करने के लिए आप इन Simple Steps को फॉलो करे -
Step - 1 - सबसे पहले अपने Blogger Blog में Login करके डैशबोर्ड में जाये.
Step - 2 - Settings पर क्लिक करे व उसके नीचे Search Preference पर क्लिक करे.
Step - 3 - अब Custom robots.txt के सामने Edit पर क्लिक करे.
Step - 4 - Edit पर क्लिक करने के बाद Enable custom robots.txt content में Yes को select करे.
अब नीचे Box में अपनी robots.txt file paste कर दे.
robots.txt ऐड करने के बाद Save changes पर क्लिक करे ब्लॉग की setting save कर दे.बस आपने अपना काम कर दिया है,अब बाकी बचा काम Search Engines Bots करेंगे.
तो यदि आपका आज की पोस्ट को लेकर कोई विचार या सवाल है तो आप कमेंट कर सकते है.इसी तरह की ब्लॉग्गिंग टिप्स व updates के लिए हमारे ब्लॉग के साथ बने रहे.आज की इस पोस्ट Robots.Txt Blogger Blog के लिए कैसे बनाये,Robots.Txt क्या है ? को दूसरे bloggers के साथ Share ज़रूर करे.अपना ख्याल रखे,अगली पोस्ट में मिलते है.Happy Blogging.
Blogger Blog Me Robots.Txt Ko Add Use Kaise Kare ?
इसे ब्लॉग में ऐड करने के लिए आप इन Simple Steps को फॉलो करे -
Step - 1 - सबसे पहले अपने Blogger Blog में Login करके डैशबोर्ड में जाये.
Step - 2 - Settings पर क्लिक करे व उसके नीचे Search Preference पर क्लिक करे.
Step - 3 - अब Custom robots.txt के सामने Edit पर क्लिक करे.
Step - 4 - Edit पर क्लिक करने के बाद Enable custom robots.txt content में Yes को select करे.
अब नीचे Box में अपनी robots.txt file paste कर दे.
robots.txt ऐड करने के बाद Save changes पर क्लिक करे ब्लॉग की setting save कर दे.बस आपने अपना काम कर दिया है,अब बाकी बचा काम Search Engines Bots करेंगे.
तो यदि आपका आज की पोस्ट को लेकर कोई विचार या सवाल है तो आप कमेंट कर सकते है.इसी तरह की ब्लॉग्गिंग टिप्स व updates के लिए हमारे ब्लॉग के साथ बने रहे.आज की इस पोस्ट Robots.Txt Blogger Blog के लिए कैसे बनाये,Robots.Txt क्या है ? को दूसरे bloggers के साथ Share ज़रूर करे.अपना ख्याल रखे,अगली पोस्ट में मिलते है.Happy Blogging.
सर, मेरा ब्लोग ब्लॉग्स्पॉट है। मैने गूगल गाईड में पडा था कि ब्लॉग्स्पॉट की robot.txt file खुद ही बन जाती। बनाने की ज़रूरत नही पड़ती। मैने गाईड के अनुसार अपना ब्लोग चेक किया। मेरी robot.txt file बनी हुई थी। बिल्कुल जैसा आपने कोड लिखा हुआ है। सबसे नीचे ब्लोग का sitemap भी बना हुआ है। तो फिर क्या मुझे custom robot.txt बन्द रखना चाहिएं, या उसे इनेबल करना चाहिएं, और वहां पर भी code लिखना चाहिये? या इनेबल करके ऐसे ही छोड़ देना चाहिएं?
ReplyDeleteEnable कर दीजिये। यदि उस बॉक्स में पहले से Robot.txt file हैं तो उसे वैसा ही रहने दे और enable कर दे।
ReplyDelete