سلام;
آیا درباره اهمیت فایل ربات های گوگل یا robots.txt چیزی می دانید؟! خب شاید بپرسید اصلا فایل robots.txt چیست و چه اهمیتی در سئو دارد؟ در واقع فایل robots.txt به ربات های موتور های جستجوگر از قبیل گوگل و بینگ دستور می دهد که کدام یک از بخش های سایت را ببینید و یا کدام بخش را بررسی نکنند و مکان دقیق نقشه سایت را به آنها خواهد داد.
آیا من به فایل robots.txt نیاز دارم؟
جواب این سوال راحت است اگر آدم منطقی باشید صد در صد دریافت کرده اید که به این فایل نیاز دارید و دقیقا پیشنهاد ما هم همین هست. پس شروع می کنیم به نحوه ساخت و بهینه سازی فایلrobots.txt
فایل robots.txt کجاست؟ چگونه آنرا بسازم؟
این فایل اکثر مواقع در پوشه اصلی ( روت ) سایت شما موجود بوده و شما می توانید از طریق فایل منیجر هاست خود به آن دسترسی داشته باشید.
اگر این فایل را ندارید به راحتی می توانید آنرا بسازید. یا راحتر، میریم سراغ یک راه میانبر برای ایجاد و تغییر در فایل robots.txt!
شما با استفاده از افزونه wordpress seo by yoast می توانید از بخش سئو > tools وارد file editor شده و اقدام به ایجاد یا تغییر فایل robots.txt کنید.
چگونه از robots.txt استفاده کنیم؟
این فایل یک ساختار ساده و سبک دارد. اولین خط این فایل عبارت User-agent است. این عبارت مشخص می کنید که کدام یک از ربات ها می توانند از این فایل استفاده کنند. اگر روی * قرار داده شود شامل تمامی ربات ها می شود و اگر Googlebot قرار داده شود ربات های گوگل و در صورتی که Bingbot را قرار دهید مشخص است که ربات های بینگ به سایت شما دسترسی دارند. پس پیشنهاد می کنیم روی * قرار دهید تا شامل تمامی ربات ها شود.
خطوط بعدی که با allow و disallow شروع شده مشخص می کند که این ربات ها کدام قسمت سایت را بررسی و ایندکس کنند.
[php] User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
[/php]
افزودن نقشه سایت به فایل robots.txt
اگر از افزونه محبوب wordpress seo by yoast یا افزونه xml sitemap برای سئوی سایت و ساخت نقشه سایت استفاده می کنید این افزونه ها بصورت خودکار نقشه سایت را به فایل Robots.txt اضافه می کنند. در هر صورت اگر می خواهید بصورت دستی اضافه کنید توسط خط زیر می توانید آنرا اضافه کنید.
[php] Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
[/php]
موفق باشید;
ارسال دیدگاه