فایل Robot.txt چیست؟ | 0 تا 100 آنچه باید بدانید + 3 دلیل که این فایل را دست کم نگیرید!

می‌خواهید بدانید فایل Robot.txt چیست؟ جای درستی را برای مطالعه انتخاب کرده‌اید! اگر جزو آن دسته از افرادی هستید که فکر می‌کنید، بازدیدکنندگان وب سایتتان، تنها آدم‌ها هستند، باید بگوییم سخت در اشتباه هستید. در این مطلب، قرار است حسابی دانسته‌هایتان را به چالش بکشیم! اما پیش از هر چیز، باید بدانید این تنها آدم‌ها نیستند که از محتوای وب سایتتان بازدذید می‌کنند؛ بلکه ربات‌ها هم علاقه زیادی به کسب و کار اینترنتی تان دارند و آن را مورد بررسی قرار می‌دهند.

ربات ها؟ بله درست خواندید، ربات ها! 

رباها، نرم‌افزارهایی هستند که بنابه دلایل مختلف، به بخش‌های مختلف وب سایتتان سر می‌زنند. مهمترین این ربات‌ها، متعلق به گوگل هستند که برای رتبه‌بندی و شناسایی صفحات جدید در دنیای اینترنت، وارد آنها می‌شوند. جالب است بدانید اگر وب سایت بزرگی دارید، ممکن است روزانه بیش از چند ده هزار بار، وب سایتتان، پذیرای ربات‌های گوگل باشد! 

و اما، مهمترین ویژگی‌های این ربات‌ها، آن است که اصلاً زبان آدمیزاد حالیشان نمی‌شود. در واقع، بدون هیچ اجازه ای وارد وب سایتتان می‌شوند و زیر و بم آن را درمی‌آورند. گاهی هم این ربات‌ها، چیزهایی که دوست نداریم دیگران ببیند را برمی‌دارند و در سرورهای گوگل ذخیره می‌کنند و به همه نشان می‌دهند! 

درست در چنین شرایطی است که فایل Robot.txt به دادتان می‌رسد و از اقدامات خودسرانه ربات‌ها جلوگیری می‌کند. به عنوان مثال به آنها می‌گوید که نباید وارد قسمت‌هایی از وب سایت شوند، به آنها دستوراتی خاص می‌دهید تا بیخودی سرورهایتان را درگیر نکنند و به بهبود سئو سایت کمک زیادی شود. 

در ادامه با این فایل و وظایفش بیشتر آشنا می‌شویم. بنابراین اگر می‌خواهید:

• فایل Robot.txt را به خوبی بشناسید 
• بدانید چرا استفاده از این فایل در وب سایت حیاتی است 
• چگونه این فایل قرار است به کسب و کارتان کمک کند 

به خواندن ادامه دهید و آژانس دیجیتال مارکتینگ تاس را تا انتهای این مطلب، همراهی کنید. 

فایل Robot.txt چیست؟ 

فایل Robot.txt چیست؟ اولین و مهمترین سؤالی که باید جواب آن را بدانید. 

اگر بخواهیم خیلی ساده و خلاصه، مفهوم این فایل را در ذهنتان بگنجانیم، باید بگوییم نوعی مجوز دهنده برای ربات‌ها هستند. (به یاد داشته باشید، هر جا صحبت از ربات‌ها شد، منظورمان ربات‌های گوگل است)

در واقع، ربات‌ها، پیش از آنکه وارد صفحات مختلف وب سایتتان شوند؛ ابتدا نگاهی به فایل Robot.txt می‌اندازند. 

در این فایل، به کمک دستوراتی ساده، اجاره‌هایی را برای این ربات‌ها، صادر می‌کنیم. به عنوان مثال می‌گوییم که حق بررسی یک صفحه خاص از وب سایتمان را ندارند. 

ربات‌های گوگل را چقدر می‌شناسید؟ 

از آنجایی که از ابتدای این مطلب، تا انتهای آن حرف از ربات‌های گوگل می‌شود، ممکن است تصویری مبهم از آنها در ذهنتان شکل گرفته باشد. پس پیش از هر چیز، بیایید کمی با هم این ربات‌ها را بشناسیم. 

گوگل دارای ربات‌های زیادی است که بخش مهمی از آنها، ربات‌های خزنده یا همان Crawler هستند. این ربات‌ها، به‌طور اتوماتیک وارد صفحات وب سایتتان می‌شوند و با دنبال کردم لینک‌ها، از صفحه ای به صفحه دیگر می‌روند. 

برخی از مهمترین این ربات‌ها به همراه وظایفشان، عبارتند از: 

• ADSense: این ربات، صفحات مختلف را با هدف نمایش تبلیغات مرتبط، بررسی می‌کند. 
• GoogleBot Image: این ربات تصاویر را ذیر ذره بین خودش قرار می دهد. 
• GoogleBot News: این ربات، مختص ایندکس کردن ساتی‌های خبری است. 
• GoogleBot Video: رباتی برای بررسی ویدیوها است. 
• GoogleBot: این ربات به‌طور کلی، صفحات وب سایت‌ها را کشف و ایندکس می‌کند. 

این ربات‌ها، همواره در حال بررسی وب سایتتان هستند و بهتر است بگوییم، معمولاً روزانه سری به وب سایتتان می‌زنند. 

اینکه تعداد مراجعه شان، به وب سایتتان چقدر است، به عوامل مختلفی بستگی دارد.

به عنوان مثال، هر چه در طول روز، تعداد بیشتری محتوا منتشر کنید، احتمال اینکه این ربات‌های خزنده، به وب سایتتان سر بزنند، بسیار بیشتر است. 

بنابراین اگر می‌خواهید، ورود هر کدام از ربات‌ها را به وب سایتتان یا بخش‌هایی از آن کنترل کنید، فایل Robot.txt حسابی به کمکتان می‌آید. 

چرا استفاده از فایل Robot.txt تا این اندازه مهم است؟ 

ممکن است با خودتان بگویید، چه نیازی است که حتماً از این فایل Robot.txt و دستوراتش استفاده کنیم؟ دلایل مختلفی هستند که دست به دست هم می‌دهند تا اهمیت این فایل، به خوبی برایتان روشن شود. در ادامه با این دلایل بیشتر آشنا می‌شوید: 

ترافیک وب سایتتان کنترل شده‌است 

معمولاً سرورها و میزبان‌های وب سایت‌ها، دارای ظرفیت و پهنای باند محدودی هستند؛ از این اگر سرور برای پردازش و بارگزاری صفحات مختلف سایتتان برای ربات‌ها، درگیر شود؛ اصلاً مقرون به صرفه نیست. 

این مطلب را هم بخوانید:

0 تا 100 آموزش خرید هاست؛ نکاتی که باید بدانید تا سرتان کلاه نرود! (+معرفی بهترین هاست)

 

برخی از صفحات در نتایج جست و جو، به نمایش در نمی‌آید 

در برخی مواقع، فایل Robot.txt برای جلوگیری از نمایش برخی از صفحه‌ها در نتایج جست و جوی گوگل می‌تواند کمکتان کند. اما این موضوع، اصلاً تضمینی نیست! 

در واثع، ممکن است شما دسترزسی به صفحه ای از وب سایتتان را محدود کنید اما به واسطه لینک‌هایی که به آن صفحه داده‌اید، ربات‌ها وارد آن شوند و آن را مورد بررسی قرار دهند. 

در حال حاضر، بهترین کاری که برای عدم نمایش برخی از صفحات در نتایج جست و جوی گوگل می‌توانید انجام دهید، استفاده از دستور noindex در بخش head صفحه است. 

البته این را هم در نظر داشته باشید اگر وب سایتتان وردپرسی است، افزونه‌هایی برای این کار وجود دارد. 

بودجه خزش وب سایتتان را مدیریت می‌کنید 

زیاد بودن تعداد صفحات وب سایتتان، همیشه به نفع شما عمل نمی‌کند. از آنجایی که هرچه تعداد صفحات وب سایتتان بیشتر باشد، ربات‌های خزش گوگل هم باید زمان بیشتری را صرف بررسی آنها بکنند؛ از این رو، نتیجه ای منفی در سئوی سایت، عایدتان خواهد شد. 

ربات‌های خزش گوگل دارای معیاری به نام بودجه خزش یا همان Crawl Budget هستند. 

این نرخ، نشان دهنده تعداد صفحاتی از وب سایتتان است که گوگل به‌طور روزمره، آنها را مورد بررسی قرار می‌دهد. این نرخ، بسته به اندازه وب سایتتان، سلامت آن و بک لینک‌هایی که گرفته‌اید تعیین می‌شود. 

بنابراین، ساده‌ترین تعریفی که می‌توانیم برای بودجه خزش بگوییم آن است که Crawl Budget، تعداد URLهایی از وب سایتتان است که گوگل آن‌ها را ایندکس می‌کند. 

مطمئناً شما هم مانند هر کسب و کار آنلاین دیگری می‌خواهید از این نرخ، به بهترین شکل ممکن استفاده کنید و اصطلاحاً آن را حرام و حراج نکنید! 

شما می‌خواهید صفحات مهم وب سایتتان در نتایج جست و گوگل نمایش داده شود و این صفحات ارزشمند، زودتر ایندکس شوند؛ از این رو، اگر بودجه خزشتان برای صفحات بی‌ارزش هدر برود، دیگر آن بخش‌هایی از وب سایتتان که واقعاً حائز اهمیت هستند ایندکس نمی‌شوند! 

چنین اتفاقی، واقعاً دردناک است! 

بنابراین، فایل Robot.txt به کمکتان می‌آید. شما در این فایل، دسترسی به برخی از صفحات غیر مهم وب سایتتان را محدود می‌کنید. 

به‌طور واضح تر، با زبان بی زبانی با ریات‌های گوگل صحبت می‌کنید و می‌گویید که این صفحات اولویت‌تان نیستند؛ پس آنها را ایندکس نکنند و بودجه ای که برای خزش ربات‌ها در اختیار دارید، صرف صفحات مهمتر شود. 

بنابراین، نرخ خزش وب سایتتان را مدیریت می‌کنید و به کمک فایل Robot.txt، کمک زیادی به سئوی سایت می‌کنید. 

این مطلب را هم بخوانید:

سئو و همه آنچه برای شروع نیاز دارید(برای مبتدی ها+آپدیت 2021)

محدودیت‌های فایل Robot.txt را همین حالا بشناسید 

ممکن است تا اینجای مطلب، فایل Robot.txt مانند فرشته ای نجات برای سئوی وب سایتتان جلوه کرده باشد. 

نمی‌خواهیم این تصویر را خراب کنیم، اما باید بدانید فایل Robot.txt هم محدودیت‌هایی دارد. محدودیت‌هایی که بهتر است همین حالا آنها را بشناسید تا بعداً نگویید، نگفتید! 

• دستوراتی که در فایل Robot.txt قرار می‌گیرند، برای همه ربات‌های موتورهای جست و جوی مختلف، کار نمی‌کند. این بدان معنی است که ممکن است یک دستور، ربات‌های گوگل را محدود کند؛ اما تأثیری روی ربات‌های موتور جست و جوی بینگ نداشته باشد. از این رو بهتر است، پیش از نوشتن فایل Robot.txt خودتان، دستوراتی را انتخاب کنید که برای همه کار می‌کنند. 
• گاهی ممکن است، دستورات به شکل‌های مختلفی درک شوند. یعنی ربات‌های یک موتور جست و جو مانند گوگل، دستورات یکسان را به شکل‌های مختلفی برداشت کنند. به عنوان مثال، یک ربات از آنها پیروی کند و دیگری این کار را انجام ندهد. 
• ممکن است اجازه دسترسی به صفحه ای را به ربات‌های گوگل نداده باشیم؛ اما باز هم در نتایج جست و جو ظاهر شود. این موضوع به دلیل آن است که ربات به سبب لینک‌هایی که به آن مطلب داده‌اید، وارد صفحه شده‌است. به‌طور کلی، ربات‌ها یا به‌طور مستقیم و یا به‌طور غیر مستقیم (از طریق لینک‌ها) وارد صفحه ای می‌شوند. 

چطور فایل Robot.txt وب سایت‌های دیگر را ببینیم؟ 

ممکن است بخواهید از بهترین وب سایت‌ها، برای نوشتن فایل Robot.txt خودتان ایده بگیرید. در چنین شرایطی چگوه می‌توانیم به آن دسترسی داشته باشیم؟ حتی ممکن است بخواهید فایل Robot.txt وب سایت خودتان را مشاهده کنید، باز هم کاری که باید انجام دهید، یکی است. 

تنها کافی است آدرس معمولی را در مرورگرتان وارد کنید. به عنوان مثال tasagency.com یا هر وب سایت دیگری که مد نظر دارید. 

سپس عبارت robots.txt/ را در انتهای این آدرس وارد کنید. 

و در نهایت … 

و در آخر، این هم از فایل Robot.txt! 

در این مطلب، سعی کردیم به‌طور مفهومی فایل Robot.txt را معرفی کنیم و شما را قانع کنیم که این فایل، مهم‌تر از آن چیزی است که فکرش را می‌کنید. در واقع، اگر به دنبال بهترین راهکارهای بهبود سئوی وب سایتتان هستید، یکی از آنها، توجه به همین فایل است.

و اما برای داشتن یک فایل Robot.txt فوق‌العاده باید چه کنیم؟ در مطلبی دیگر 0 تا 100 ساخت یک فایل Robot.txt  را مورد بررسی قرار می‌دهیم. از این رو، برای از دست ندادن این آموزش، وبلاگ آژانس دیجیتال مارکتینگ تاس را دنبال کنید.