פרוטוקול אי הכללת רובוטים

מתוך המכלול, האנציקלופדיה היהודית
(הופנה מהדף Robots.txt)
קפיצה לניווט קפיצה לחיפוש

פרוטוקול אי הכללת רובוטים או robots.txt הוא מוסכמה המאפשרת למנהל אתר אינטרנט (Webmaster) להגדיר כיצד יסרק האתר על ידי מנועי חיפוש ובוטים אחרים המצייתים לפרוטוקול. הגדרה זו מתבצעת באמצעות קובץ בשם robots.txt המכיל תחביר מיוחד ונמצא בספריית השורש (root) של האתר. פרוטוקול זה משמש בעיקר להסתרה של חלקים מסוימים באתר ממנועי חיפוש.

על ידי שימוש בפרוטוקול זה אפשר להורות למנועי חיפוש לסרוק דפים באתר או לא לאנדקס אותם.

ראו גם

קישורים חיצוניים

Crystal Clear app ktalkd.png ערך זה הוא קצרמר בנושא מחשבים. אתם מוזמנים לתרום למכלול ולהרחיב אותו.
Logo hamichlol 3.png
הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0