הנחיות מטא של רובוטים (מכונות לעיתים "מטא תגיות" או Meta Robots Tag) הינן קטעי קוד המספקים הוראות לבוטים כיצד לבחון או לאנדקס דף תוכן.
אם הנחיות קובץ robots.txt נותנות הצעות לבוטים כיצד לסרוק את דפי האתר, הנחיות מטא רובוטים מספקות הוראות ברורות ונחרצות יותר לסריקה ולאינדוקס של תוכן עמוד.
ישנם שני סוגים של הנחיות מטא רובוטים: אלה שהם חלק מדף ה-HTML (כמו ה-meta robots tag) וכאלה ששרת האינטרנט שולח ככותרות (header) של HTTP (כמו ה-x-robots-tag למשל).
ניתן להשתמש באותם פרמטרים (הוראות הסריקה או האינדוקס שמספק meta tag, כמו "noindex" ו- "nofollow" בדוגמה שלמטה) הן עם מטא-רובוטים והן עם x-robot-tags – ההבדל ביניהם יהיה בצורה שבה הפרמטרים הללו מועברים אל הבוטים.
הנחיות Meta Robots Tag
הנחיות מטא מסבירות לבוטים איך לסרוק ולאנדקס מידע שהם מוצאים בדף אינטרנט ספציפי.
אם הנחיות אלה מתגלות על ידי בוטים, הפרמטרים שלהם משמשים כהצעות חזקות להתנהגות אינדקס של הסורק.
אך כמו בקבצי ה-robots.txt הסורקים אינם חייבים לעקוב אחר הנחיות המטא שלכם. כך שזה בטוח כי חלק מרובוטי האינטרנט הזדוניים יתעלמו מההנחיות שלכם.
להלן הפרמטרים שסורקי מנועי החיפוש מבינים ועוקבים אחריהם כאשר הם משמשים בהנחיות המטא של רובוטים.
הפרמטרים אינם תלויי מקרה, אך יש לשים לב כי ייתכן שמנועי חיפוש עשויים לעקוב רק אחר קבוצה של פרמטרים אלה או להתייחס להנחיות מסוימות בצורה שונה.
פרמטרים לשליטה באינדקס:
- No index: אומר למנוע חיפוש שלא להוסיף אינדקס לדף.
- Index: מאפשר למנוע חיפוש לאנדקס עמוד. שימו לב שאין צורך להוסיף את התג-מטא הזה; זו ברירת המחדל.
- Follow: גם אם הדף אינו באינדקס, הסורק צריך לעקוב אחר כל הקישורים בדף ולהעביר את ה-equit לדפים המקושרים.
- Nofollow: אומר לסורק שלא לעקוב אחר קישורים בדף או העביר equity כלשהו.
- Noimageindex: אומר לסורק שלא להוסיף אינדקס לתמונות בעמוד.
- None: שווה ערך לשימוש בתגיות noindex וגם ב- nofollow בו זמנית.
- Noarchive: על מנועי חיפוש לא להציג קישור במטמון (cached link) לדף ב-SERP.
- Nocache: זהה ל-noarchive בעבור דפדפני האינטרנט: Internet Explorer ו-Firefox.
- Nosnippet: אומר למנוע חיפוש שלא יציג קטע (snippet) של דף זה (כלומר meta description) של דף זה ב-SERP.
- Noodyp/noydir [OBSOLETE]: מונע ממנועי חיפוש להשתמש בתיאור ה-DMOZ של הדף כקטע ה-SERP. חשוב לזכור אבל ש-DMOZ עצרו פעילות ב-2017 ולכן התג הזה מיושן ולא רלוונטי.
- Unavailable_after: על מנועי חיפוש לא להוסיף עוד אינדקס לדף זה לאחר תאריך מסוים.
סוגי הנחיות מטא רובוטים
ישנם שני סוגים עיקריים של הנחיות מטא רובוטים: meta robots tag ו-x-robot-tag. כל פרמטר שניתן להשתמש בו בתגיות מטא שמיש גם בתגיות x-robots.
אדבר הן על הנחיות המטא-רובוט והן על הנחיות ה-x-robots למטה.
תגית מטא רובוטים – Meta Robots Tag
התגית הזו, ידועה בכינויה "מטא רובוטים" או באופן קולקטיבי כ"תג רובוטים", היא חלק מקוד ה-HTML של עמוד אינטרנט ומופיעה כאלמנטים של קוד בקטע <head> של הדף:
דוגמה לקוד:
<pre> <meta name = "robots" content = "[PARAMETER]"> </pre>
בעוד התג הכללי <meta name = "robots" content = "[PARAMETER]"> הוא סטנדרטי,
ניתן גם לספק הנחיות לסורקים ספציפיים על ידי החלפת הפרמטר robots בשם של סוכן משתמש ספציפי.
לדוגמה, כדי למקד הוראה ספציפית ל-Googlebot, השתמשו בקוד הבא:
<meta name = "googlebot" content = "[DIRECTIVE]">
רוצים להשתמש ביותר מהנחיה אחת בעמוד? כל עוד הם מכוונים לאותו "רובוט" (משתמש-סוכן), ניתן לכלול הנחיות מרובות בשורת קוד אחת – פשוט הפרידו אותן באמצעות פסיקים. הנה דוגמה:
<meta name = "robots" content = "noimageindex, nofollow, nosnippet">
תגית זו תאמר לרובוטים לא להוסיף אינדקס לאף אחת מהתמונות בעמוד, לעקוב אחר אחד מהקישורים או להציג קטע של הדף כאשר הוא מופיע ב-SERP.
אם אתם משתמשים בהנחיות שונות של תגי מטא-רובוטים עבור סוכני משתמש שונים של חיפוש, תצטרכו להשתמש בתגים נפרדים עבור כל בוט.
תג x-robots
בעוד שתגית מטא-רובוטים מאפשרת לך לשלוט בהתנהגות האינדקס ברמת האלמנטים בתוך העמוד כולו בלבד,
ניתן לכלול את תג ה- x-robots כחלק מכותרת ה-HTTP כדי לשלוט באינדקס של העמוד בכללותו, כמו גם אלמנטים מאוד ספציפיים שלו.
אמנם ניתן להשתמש בתג ה-x-robots כדי לבצע את כל אותן הנחיות לאינדקס כמו תג מטא-רובוטים, ההנחיות שניתנות על ידי x-robots מציעות יותר גמישות ופונקציונאליות באופן משמעותי ממה שתג המטא-רובוטים מספק. באופן ספציפי, x-robotsמאפשרים להשתמש בביטויים רגילים, ביצוע הוראות סריקה על קבצי שאינם HTML, ויישום פרמטרים ברמה גלובאלית וכוללת.
כדי להשתמש בתג ה-x-robots עליכם לגשת לכותרת הראשית (Header), ל-.php, ל-htaccess או לקובץ הגישה לשרת.
משם ניתן להוסיף את סימון התג x-robots של תצורת השרת הספציפית שלכם, כולל הפרמטרים שתבחרו.
במאמר הזה השתדלתי לספק לכם כמה מהדוגמאות הטובות ביותר כדי להציג איך נראה סימון תגי x-robots אם משתמשים באחת משלוש התצורות הללו.
בואו נראה כמה מקרים שבהם יהיה עדיף להשתמש בתג x-robots:
- שליטה באינדקס של תוכן שלא כתוב ב-HTML (כמו סרטונים או קבצי פלאש).
- חסימה של אינדקס של אלמנט מסוים בדף (כמו תמונה או וידאו), אך לא של כל הדף עצמו.
- שליטת אינדקס אם אין גישה ל-HTML של דף (ספציפית לקטע <head>) או אם האתר שלך משתמש בכותרת (header) גלובלית שלא ניתן לשנותה.
- הוספת כללים לשאלה האם יש להוסיף לאינדקס עמוד (לדוגמה, אם משתמש הגיב כבר 20 פעמים, ציין את עמוד הפרופיל שלו באינדקס).
שיטות עבודה מומלצות ל-SEO עם הנחיות מטא רובוטים
- כל הוראות המטא (רובוטים או אחרות) מתגלות כאשר מתבצעת סריקה של כתובת אתר.
פירוש הדבר שאם קובץ txt מונע מ-URL להיסרק כליל, כל הנחיית מטא בעמוד (ב-HTML או בכותרת ה-HTTP) לא תיסרק ולא תתבצע. - ברוב המקרים, יש להשתמש בפרמטרים של מטא רובוטים עם "noindex, follow" כפרמטרים שמגבילים סריקה או אינדוקס במקום להשתמש בקבצי txt.
- חשוב לציין כי הסורקים הזדוניים עשויים להתעלם לחלוטין מהוראות המטא ובמקרה כזה פרוטוקול זה אינו מהווה מנגנון אבטחה טוב.
אם יש לכם מידע פרטי שאתם לא רוצים להפוך לנגיש בחיפוש באופן ציבורי, בחרו גישה בטוחה יותר כגון הגנת סיסמאות כדי למנוע ביקורים בדפים חסויים. - אין צורך להשתמש גם בתגיות מטא רובוטים וגם ב-x-robots באותו עמוד – פעולה זו תהיה מיותרת, אל תעבדו כפול לחינם.
