Robots.txt क्या है? Blogger में Robots.txt File कैसे Add करें?

Robots.txt File- आज की इस Post में आप लोग जानेंगे कि Robots.txt क्या है? और अपने Blogger Website में Custom Robots.txt File कैसे Add करें? आइये पूरी जानकारी हिंदी में जानते है।

Robots.txt file एक छोटा सा Text फ़ाइल होता है, जो Website के Root folder में रहता है। यह Search Engine Bots को बताता है कि Website के किस भाग को Crawl और Index करना है, और साइट के किस भाग को Crawl नहीं करना है।

कभी – कभी तो ऐसा हो जाता है कि हम अपने Article/Post को Google में Index करना चाहते है पर वो Index नही होता है। अगर आपके भी Post Google में Index नही हो रहे है, तो आपके Robots.txt की वजह से ही हो सकता है।

Robots.txt क्या है?

Robots.txt एक Text File है, हम जो कमांड देते हैं वैसा ही काम करता है। इस में हम जो लिखते है Google Search Engine वही करता है।

Robots.txt File Search Engine को बताता है कि आज यह New Post Publish की गई है, या Update की गई है। जिससे Search Engine आपके Post को Index करके अपने Search Result में दिखाता है।

Robots.txt File Website के लिए बहोत ही ज्यादा जरूरी है। अगर आप इसे अपने Site पर नही लगाएंगे तो आपको काफी परेशानियों का सामना करना पड़ सकता है।

अभी तो आपको Robots.txt Flie के बारे पता चल ही चुका है कि इसका काम क्या होता है।

उदाहरण- अगर आप अपने Website के Tag, Category या Labels को Search Engine में Index नही करना चाहते है, तो आप Robots.txt File में इनको Disallow कर देंगे। जिस से की Search Engine को पता चल जाता है कि किस चीज़ को Index करना है और किसे नही।

Robots.txt क्यो जरूरी है?

जब भी Search Engine के Bots हमारी Website पर Post/Articles को Crawl या Index करने आते है, तो वो सबसे पहले Robots.txt File को देखता है। और जो कुछ भी Robots.txt File पर लिखा होता है उसे Follow करता है।

अगर आपके Blog/Website पर Robots.txt File नही मिलेगा तो Search Engine के Crawler आपके Site से सभी चीज़े Index कर लेंगे, जो Index नही होना चाहिए। और Google Search Console में Error आ जाते है जिससे आपको काफी Problem हो सकती है।

जिससे आपकी साइट Rank नही होती, और हो सकता है आपकी साइट को Google Search Engine से भी निकाल दिया जाए। इस लिए ये Robots.txt File को Blogger में Add करना बहोत जरूरी होता है।

Robots.txt File Generate कैसे करें?

Robot Text Generator एक उपकरण (Tool) है, जो आपकी वेबसाइट के लिए robots.txt file तैयार करता है। आप Google में Rotobs.txt File Generator लिख कर सर्च करेंगे, तो Internet पर बहोत सारी Website मिल जाएगी। जिनपर आपको अपने ब्लॉग का URL डालना पड़ता है, और थोड़े बहोत स्टेप्स को फॉलो करने के बाद वो आपको Robots.txt बना कर दे देती है।

लेकिन इन सब में आपका काफी समय खराब होगा, इस लिए मै आपको Robot.txt File दे रहा हु, आप इसको Copy कर के अपने Website में उपयोग कर सकते है। और आपका समय भी बचेगा-

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.yourblog.com/sitemap.xml

Note- आपको इस Robots.txt File को Copy करना है, और https://www.yourblog.com की जगह अपने Blog/Website का Link (Url) add कर लेंना है।

तो इस तरह आप लोग Robot.txt File को बना सकते है, अब आइये जानते है की Blogger में Robot.txt File को Add करें।

Blogger में Robots.txt File कैसे Add करें?

Blogger में Robots.txt File Add करने के लिए आपको नीचे बताये गए Steps को Follow करना है। जिससे आप बहोत ही आसानी से अपने Blogger Website में Robots.txt File Code को Add पाएंगे-

Step-1: आपको सबसे पहले अपने Blogger के Dashbord पर आना है

Step-2: अब आपको Settings पर Click करना है।

Step-3: अब आपको नीचे आना है वहा “Crawlers and indexing” Option दिखाई देगा, और वही पर आपको “Enable custom robots.txt” Option को Enable कर देना है।

Step-4: फिर वही आपको “Custom robots.txt” Option दिखाई देगा उस पर Click कर देना है।

Step-5: Custom robot.txt पर Click करने के बाद एक Box दिखाई देगा, इस बॉक्स में आपको Robot.txt File को Paste कर देना है जो आपने यहाँ से Copy किया था।

Step-6: इसके बाद Save Button पर Click कर देना है।

अब आपके Blogger Website में Robots.txt File Add हो चुकी है, और अब Search Engine वहीं Index करेगा जो Robots.txt File उसे Allow करेगा।

Blogger में Robots.Txt File Add करने के फायदे

Blogger में Robots.txt को Add करना बहोत जरूरी होता है, और इससे आपको बहोत फायदे मिलते है जो की आप नीचे पढ़ सकते है-

• आप लोग Robots.txt से Search Engine को बता सकते है कि वो आपके ब्लॉग कि कोन – कोन सी चीजें Index करे और कोन – कोन सी चीजें Index न करें।

• आप अपने Website के Duplicate File या Page को Noindex करा सकते है।

• आप अपने वेबसाइट की Category, Tags, Author Page और Comments को Noindex करा सकते है।

• आप अगर कुछ File, PDF, Image इत्यादि को Index नही करना चाहते है।

• आप इसे अपनी वेबसाइट को Secure कर सकते है।

• Internal Search Results Pages को आप Index नही करना चाहते हैं।

• आप Robots.txt File में Sitemap Add करके किसी भी पोस्ट को Search Engine में जल्द Index करा सकते है।

• आप इससे Low Quality Page block करके अपनी वेबसाइट का SEO कर सकते है।

• आप इससे किसी भी Secure File, Page को Noindex करा सकते हैं।

Robots.txt File के Syntax का क्या मतलब है?

Robots.txt File में जो Syntax है, उनके बारे में आपको समझ लेना चाहिए ये आपको बहोत काम आएंगे-

User – agent : यह Code आपकी वेबसाइट पर आने वाले User के लिए है कि वो आपकी वेबसाइट पर क्या देख सकते है और क्या नहीं देख सकते है। आप इसे हमेशा Disallow ही रहने दें, क्युकी यह आपकी वेबसाइट के Security के लिए बहुत जरूरी है।

Disallow: /search : अगर आप अपने पोस्ट के Keyword को नहीं दिखाना चाहते है तो आप इसे हमेशा Disallow ही रखे, और यहां पर आप किसी भी Post & Page के URL को Paste करके उसे Disallow कर सकते है और Google उसको Index नहीं करेगा।

Allow : इससे आप User को जो दिखना चाहते है वो Allow कर सकते है, इसे आप हमेशा Allow ही रहने दें क्युकी यह Search Engine को Index करने की अनुमति देता है।

Sitemap : यह आपके ब्लॉग कि नई पोस्ट कि जानकारी Search Engine को देता है, जिससे Search Engine उसे जल्द Index करके अपने Search Results में दिखाता है। Sitemap यह भी बताता है कि आपकी वेबसाइट पर कितनी पोस्ट अभी तक Publish हुई है।

How to add Robots.txt file in Blogger Hindi

निष्कर्ष :- Blogger में Robots.txt File कैसे Add करें

मुझे उम्मीद है कि आपको सबकुछ समझ मे आ गया होगा जैसे- Robots.Txt File क्या है, Robots.txt के फायदे क्या है और Robots.txt को Blogger में कैसे Add करते है। अगर फिर भी कोई चीज़ समझ नही आई हो तो आप नीचे Comment में बता सकते है।

आपको ये पोस्ट पसंद आई हो तो आप इसे Social media- Facebook, LinkedIn, Twitter, Telegram, Reddit, Whatsapp पर Share करना न भूले, ताकि और Blogger तक ये Information पहोच सके और उनकी भी थोड़ी हेल्प हो जाए।

FAQs-