ব্লগের জন্য কিভাবে Robots.txt ফাইল তৈরি করবেন 2023

আপনাকে ব্লগিং-এ স্বাগতম। আজ আমি আপনাকে ব্লগের জন্য কিভাবে Robots.txt ফাইল তৈরি করবেন।

আপনি গুগলের ব্লগারের মাধ্যমে নিজের একটি ব্লগ তৈরি করেছেন। কিন্তু ব্লগ তৈরি করার পর আপনাকে কিছু গুরুত্বপূর্ণ সেটিংসও করতে হবে।

এই অ্যাডভান্স সেটিংস আপনার ব্লগের এসইও এর জন্য খুবই গুরুত্বপূর্ণ।

আপনার ব্লগের র‌্যাঙ্কিং এবং ইনডেক্সিং এই সেটিংসের উপর নির্ভর করে।

আপনি যখন একটি ব্লগ তৈরি করেন, তখন প্রথমেই ব্লগের ইনডেক্সিং করা হয়।

আমাদের ব্লগের ভিতরে, লেবেল, বিভাগ এবং অন্যান্য পৃষ্ঠাগুলি স্বয়ংক্রিয় হয়ে ওঠে, যা Google বট ক্রল করে এবং সূচী করে।

এই কারণে আমাদের দুটি অসুবিধা আছে, প্রথমত অবাঞ্ছিত পৃষ্ঠাগুলি ইন্ডেক্স করা হয় এবং দ্বিতীয়ত আমাদের ক্রল নষ্ট হয়ে যায়।

যার ফলে আমাদের নতুন পেজগুলো ইন্ডেক্স করা যাচ্ছে না। আপনি কাস্টম Robots.txt ফাইলের মাধ্যমে এটি করতে পারেন।

আজ, আমি আপনাকে বিস্তারিত বলব কিভাবে Robots.txt ফাইল তৈরি করতে হয় এবং কিভাবে জমা দিতে হয়।

কাস্টম Robots.txt ফাইল কি –

বন্ধুরা, এখন আপনার মনে অবশ্যই আসছে কাস্টম Robots.txt কি।

Custom Robots Txt একটি ফাইল এবং কোড যা আমরা ব্লগারের সেটিংসে পেস্ট (Paste) করি।

এই কোডটি গুগল বটকে নির্দেশ দেয় কোন পৃষ্ঠাগুলি ক্রল করতে হবে এবং কোনটি নয়৷

এর সুবিধা হল আপনার ক্রল বাজেট অপ্টিমাইজ করা হয় এবং Google আপনার গুরুত্বপূর্ণ পৃষ্ঠাগুলিকে ইন্ডেক্স করে।

যখনই Google বট আপনার ওয়েবসাইট পরিদর্শন করে, এটি প্রথমে আপনার একই ফাইলটি পড়ে।

এই ফাইলটির মাধ্যমে, আপনি আপনার লেবেল, বিভাগ এবং অপ্রয়োজনীয় পৃষ্ঠাগুলি ক্রল করা বন্ধ করতে পারেন।

কিভাবে Robots.txt কাজ করে -

বন্ধুরা, Robot.txt-এর ভিতরে আমরা Allow এবং disallow ব্যবহার করি।

আমরা যে পৃষ্ঠা বা পোস্টকে ক্রল করতে চাই তা অনুমোদন করি।

সম্পূর্ণ Robot.txt বেস এই দুটি কমান্ডের উপরে।

ব্লগের জন্য কিভাবে Robots.txt ফাইল তৈরি করবেন-

এখন আপনার মনে এই প্রশ্নটা নিশ্চয়ই আসছে যে কিভাবে আমরা এই ফাইলটি তৈরি করতে পারি।

আপনার মোটেও চিন্তা করার দরকার নেই।

ইন্টারনেটে অনেক ওয়েবসাইট পাওয়া যায় যেখান থেকে আপনি এই ফাইলটি তৈরি করতে পারেন।

এই ফাইলটি তৈরি করতে, আপনাকে Google-এ Robots.txt জেনারেটর টাইপ করতে হবে।

আপনার সামনে অনেক ওয়েবসাইট আসবে, আপনি ওয়েবসাইটে প্রাথমিক তথ্য পূরণ করে আপনার ফাইল তৈরি করতে পারেন।

অন্যথায়, আপনি নীচে দেওয়া বিন্যাসটিও ব্যবহার করতে পারেন।

ব্যবহারকারী-এজেন্ট: Mediapartners-Google

অনুমতি না দেওয়া: / অনুসন্ধান

অনুমতি না দেওয়া:/বিভাগ

অস্বীকৃতি:/ট্যাগ

অনুমতি দিন: /

সাইটম্যাপ: https://www.web.com। com/sitemap.xml

বন্ধুরা, এখানে ক্যাটাগরি এবং ট্যাগ অননুমোদিত করতে হবে যাতে আপনার লেবেল এবং ক্যাটাগরি গুগলে ইন্ডেক্স না হয়।

Robot.txt-এ উপস্থিত কোডগুলির অর্থ কী -

1) ব্যবহারকারী-এজেন্ট - *

এই কোড মানে সার্চ ইঞ্জিন (Google, Yahoo, Bing) বট আপনার ব্লগ ক্রল করতে পারে।

এখানে * মানে সমস্ত রোবট যেমন – Google, Bing ইত্যাদি আপনার ব্লগে ক্রল করার জন্য অনুমোদিত।

2) অস্বীকৃতি:/ অনুসন্ধান/বিভাগ/ট্যাগ –

এই কোডটির অর্থ হল যখনই আপনার ডোমেন নামের পরে অনুসন্ধান শব্দটি আসবে, বটগুলি এটি ক্রল করবে না।

লাইক - https://www.trickbangla.com/search

Google এই কোড দিয়ে আপনার বিভাগ এবং লেবেলগুলি ক্রল করে না এবং এটি অনুসন্ধান ইঞ্জিনে প্রদর্শিত হয় না৷

3) অনুমতি দিন:

এই কোডটি আপনার হোমপেজ ক্রল করতে সাহায্য করে যাতে আপনার হোমপেজটি Google এ দ্রুত ইন্ডেক্স করা হয়।

4) সাইটম্যাপ -

এই কোডটি রোবটকে সাইটম্যাপে উপস্থিত সমস্ত ইউআরএল ক্রল করার নির্দেশ দেয়।

আপনার পোস্টে যাই হোক না কেন, বটস শুধুমাত্র সাইটম্যাপের মাধ্যমেই এটিকে সূচী করে।

কিভাবে ব্লগে Robots.txt ফাইল যোগ করবেন-

বন্ধুরা, ব্লগারে Robots.txt ফাইল যোগ করতে প্রথমে আপনাকে আপনার ব্লগার খুলতে হবে।

আপনি ব্লগারের ড্যাশবোর্ডে আসবেন। এখানে আপনি বাম পাশে Settings অপশন দেখতে পাবেন।

আপনাকে এটি খুলতে হবে এবং নীচে স্ক্রোল করতে হবে। এখন আপনি এখানে Crawlers and indexing এর অপশন দেখতে পাবেন।

প্রথমে আপনাকে এখানে কাস্টম রোবট সক্ষম করতে হবে। txt অপশন আসবে। আপনাকে এটি চালু করতে হবে।

এখন আপনি পরবর্তী অপশনের ভিতরে Custom Robots .txt এর অপশন দেখতে পাবেন।

আপনাকে এটিতে ক্লিক করতে হবে, আপনার সামনে একটি নতুন পেজ আসবে।

আপনাকে উপরের কোডটি এখানে পেস্ট করে save এ ক্লিক করতে হবে।

গুরুত্বপূর্ণ সেটিংস -

এখন আপনি কাস্টম রোবট হেডার ট্যাগ সক্ষম করুন বিকল্পটি দেখতে পাবেন, আপনাকে এটি চালু করতে হবে।

এর পরে আপনি হোম পেজ ট্যাগের বিকল্পটি দেখতে পাবেন, আপনাকে এটিতে ক্লিক করতে হবে।

এখানে আপনাকে All এবং noodp সিলেক্ট করে Save এ ক্লিক করতে হবে।

এখন আপনাকে Archive and search page tags এর অপশনে ক্লিক করতে হবে এবং no index এবং Noodp চালু করে Save এ ক্লিক করতে হবে।

অবশেষে আপনাকে Post এবং Pages Tags খুলতে হবে এবং All এবং Nudap নির্বাচন করে save এ ক্লিক করতে হবে।

আপনার ফাইলের সেটিংস সম্পূর্ণ হবে।

কীভাবে সার্চ ইঞ্জিনে অবাঞ্ছিত পৃষ্ঠা এবং পোস্টগুলিকে ইন্ডেক্স করা থেকে আটকানো যায়?

বন্ধুরা, রোবট txt এর ভিতরে, আপনি নিজের মত করে কোড পরিবর্তন করতে পারেন।

আপনি যে পৃষ্ঠাটি ক্রল করতে চান না কেন, আপনাকে কেবল এটির সামনে Allow লিখতে হবে এবং আপনি যে পৃষ্ঠাটি ক্রল করতে চান না তার সামনে Disallow লিখতে হবে।

এই শর্তাবলী ব্যবহার করে, Google বট বুঝতে পারবে আপনি কোন পৃষ্ঠাটি ক্রল করতে চান এবং কোনটি আপনি ক্রল করতে চান না৷

কাস্টম Robots.Txt ফাইল কীভাবে যুক্ত করবেন – ব্লগার

বন্ধুরা, আমি আশা করি আজকের পোস্ট ব্লগার ব্লগে Custom Robots.Txt ফাইল কিভাবে যুক্ত করবেন তা আপনাদের খুব ভালো লাগবে।

আজ আমি আপনাকে ব্লগার ব্লগের সবচেয়ে গুরুত্বপূর্ণ সেটিংস সম্পর্কে বলেছি।

বন্ধুরা, আপনি যদি ব্লগার ব্যবহার করেন তবে আপনাকে অবশ্যই এই সেটিংটি করতে হবে কারণ এটি আপনার এসইওর জন্য খুবই গুরুত্বপূর্ণ।

আশা করি আজকের পোস্ট থেকে আপনি অনেক কিছু শিখতে পেরেছেন এবং আমি আপনার সমস্ত প্রশ্নের সমাধান করার জন্য যথাসাধ্য চেষ্টা করেছি।

কাস্টম রোবট Txt ফাইল সম্পর্কিত প্রশ্ন এবং উত্তর -

প্রশ্ন 1) আমি কিভাবে ব্লগারে কাস্টম রোবট txt যোগ করব?

উত্তর- বন্ধুরা, আপনি ব্লগারের সেটিংসে গিয়ে ক্রলার এবং ইন্ডেক্সিংয়ের ভিতরে robots.txt এর সেটিংস করতে পারেন।

প্রশ্ন 2) ব্লগারে আমার কি কাস্টম robots.txt সক্ষম করা উচিত?

উত্তর - বন্ধুরা, আপনি যদি আপনার ওয়েবসাইটের ক্রল বাজেট অপ্টিমাইজ করতে চান, তাহলে অবশ্যই এই ফাইলটি যোগ করুন।

প্রশ্ন 3) আমি কিভাবে একটি কাস্টম রোবটের txt ফাইল তৈরি করব?

উত্তর - বন্ধুরা, গুগলে অনেক ওয়েবসাইট পাওয়া যায় যেখান থেকে আপনি বিনামূল্যে এই ফাইলটি তৈরি করতে পারেন।

Q4) WordPress এর জন্য কাস্টম রোবট Txt ফাইল কিভাবে তৈরি করবেন?

আপনাকে ওয়ার্ডপ্রেসে এই ফাইলটি তৈরি করার দরকার নেই, আপনি এটি Setting Seo Plugin এ পাবেন। আপনি শুধুমাত্র এটি চালু করতে হবে.

প্রশ্ন 5) ব্লগারে কাস্টম রোবট Txt ফাইলের বিকল্প কোথায় পাবেন?

উত্তর - আপনি ব্লগারের সেটিংসে এই বিকল্পটি পাবেন, আপনি সেখানে গিয়ে এই ফাইলটি সম্পাদনা করতে পারেন।