מפות אתר, בפורמטים XML ו־HTML, נועדו לסייע לגוגל ולמשתמשים בסריקה וניווט יעילים באתר. מפת אתר XML מייעלת את תהליך הזחילה של גוגל וחוסכת משאבים באמצעות הצגת העמודים שעברו שינוי, בעוד שמפת אתר HTML מספקת לגולשים מבט־על על מבנה האתר. כך ניתן לעדכן את התכנים בתוצאות החיפוש במהירות ולהבטיח חוויית משתמש מיטבית.
ממהרים? הנה השאלות (והתשובות) המרכזיות במאמר
לאחר הסריקה הראשונית, גוגל חוזר לאתר לפי תדירות מבוקרת כדי לגלות עדכונים או עמודים חדשים. כך הגולשים מקבלים תוצאות עדכניות יותר, וגוגל יכול לתעדף אתרים המתחדשים בתדירות גבוהה.
תקציב זחילה הוא משאב הסריקה שגוגל מקצה לאתר. אתרים גדולים או דינאמיים זקוקים ליותר משאבים, לכן חסכון בתקציב הזחילה מאפשר לגוגל לתעדף עמודים מעודכנים ולסרוק אותם מהר יותר מבלי לבזבז זמן על עמודים שלא השתנו.
מפת XML היא רשימת כתובות עם תאריך עדכון אחרון, המיועדת בעיקר לגוגל. היא מכוונת את הסורק רק לעמודים שעברו שינוי, ובכך חוסכת זמן ומשאבים בסריקות חוזרות.
מפת HTML היא עמוד ניווט פנימי באתר, המציג קישורים לכל העמודים במבנה היררכי, לטובת הגולשים. בניגוד למפת XML אין לה ערך עבור גוגל אלא יותר ערך מבחינת חוויית המשתמש
מפת אתר HTML אינה מכילה תוכן ייחודי לקידום, אלא רק רשימת קישורים. הגדרת noindex מונעת ממנה להופיע בתוצאות החיפוש ומפנה את תשומת הלב של גוגל לתכנים הרלוונטיים יותר.
מהן מפות אתר
מפות אתר הן מסמכים המכילים את כל הכתובות (URLs) שנמצאות באתר ומציגות אותן בפורמט ידידותי כך שניתן להגיע לכל עמוד באתר באופן קל ונוח.
קיימים שני סוגים מרכזיים של מפות אתר:
- מפת אתר XML – מיועדת בעיקר למנועי חיפוש ומסייעת להן בזיהוי וסריקה יעילה של תוכני האתר, וחוסכת במשאבי סריקה ("תקציב זחילה").
- מפת אתר HTML – מיועדת למשתמשים, ומאפשרת להם למצוא בקלות תכנים שונים באתר דרך עמוד ייעודי המסדר את הקישורים באופן היררכי.
מפת אתר XML
מפת אתר XML היא מסמך שבו מרוכזות כל כתובות העמודים (URLs) באתר כאשר לכל כתובת מצורפים פרטים טכניים חשובים עבור גוגל, כשהמרכזי שבהם הוא התאריך שבו בוצע שינוי אחרון (Last Modified). כך, מפת האתר משמשת כמעין "מפת דרכים" המאפשרת למנועי החיפוש להגיע במהירות לכל עמוד באתר ולהבין אילו עמודים קיימים באתר, אילו עמודים חדשים נוספו, ואילו עמודים עודכנו לאחרונה.
כדי להבין מדוע את החשיבות של מפת אתר XML חשוב להבין קודם את תהליך הסריקה החוזר שגוגל מבצע באתרים ומהו תקציב זחילה
תהליך הסריקה החוזר שגוגל מבצע באתרים
כאשר בנייה של אתר חדש מסתיימת הוא נפתח לסריקה עבור גוגל כדי לקבל חשיפה ודירוגים כך שגולשים יוכלו להגיע אילו. בשלב הזה בוט של גוגל נשלח אל האתר כדי לבצע סריקה ראשונית שלו (ניתן גם לזמן את הבוט לסרוק את האתר דרך הכלי גוגל סרץ' קונסול). בסריקה זאת גוגל סורק לראשונה את דף הבית, התפריטים המרכזיים והקישורים הבולטים באתר, ומתרשם מרמת האופטימיזציה הבסיסית שלהם. בשלב זה גם נבחנים היררכיית העמודים, תגיות המטא (כגון Title ו-Description) ועוד פרמטרים חשובים עבור גוגל. מטרת הסריקה הראשונה היא לבסס ידע ראשוני על מבנה האתר ועל תחומי התוכן המרכזיים בו.
לאחר שהסריקה הראשונה מסתיימת גוגל קובע מועד נוסף שבו ישוב לאתר ויסרוק אותו שוב כדי לראות מה השתנה בו מאז ביקורו האחרון. גוגל עושה זאת משום שאתרי אינטרנט אינם סטטיים, ובדרך כלל מתעדכנים בתכנים חדשים, מוצרים או מידע מעודכן. בתהליך החוזר הזה גוגל בוחן את השינויים שהתווספו או בוצעו, מה שמאפשר לו לעדכן את האינדקס שלו בגרסה העדכנית של האתר וכך להציג בתוצאות החיפוש תוכן עדכני ורלוונטי יותר. תהליך זה של סריקה חוזרת של אתר מתבצע שוב ושוב כך שככל שהאתר מתעדכן לעיתים קרובות, עולה תדירות שבה גוגל חוזר וסורק את האתר.
אם האתר אינו משתנה לעיתים קרובות, תדירות הסריקה פוחתת. לעומת זאת, כאשר מתרחשים עדכונים תדירים או נוספים עמודים חדשים, גוגל מקצר את פרקי הזמן שבין ביקור לביקור. כך הוא לא מפספס שינויים משמעותיים, ומאיץ את קצב העדכונים.
לדוגמא, אתר החדשות ynet מתעדכן לעיתים תכופות מאוד, שכן בכל רגע נתון מתפרסמות ידיעות חדשות, כתבות וסקירות מגוונות. בשל הקצב הגבוה של השינויים, גוגל לומד שהאתר מספק תכנים חדשים ללא הפסקה, ולכן מגיע לסרוק אותו בתדירות גבוהה מאוד. בכל פעם שתוכן נוסף לאתר, גוגל מעדכן במהירות את האינדקס שלו, כך שהחדשות מופיעות בתוצאות החיפוש בסמוך לפרסומן.
לעומת זאת, האתר השלי שהוא אתר תדמית ומכיל בעיקר מידע על שירותים או פרויקטים, מתעדכן בכל כמה ימים או שבועות בלבד. גוגל מזהה את דפוס העדכון המתון יותר, ומתאים לכך את תדירות הביקורים באתר. הדבר אינו פוגע באתר, הוא פשוט מאפשר לגוגל לנהל את משאביו ביעילות.
חשוב להבין שתהליך הסריקה החוזרת שמבצע גוגל הוא תהליך שדורש משאבים לא מעטים וכדי לדעת איך להקצות אותם באופן נכון וחסכוני גוגל משתמשת ב"תקציב זחילה".
מתעניין בבנייה או קידום האתר שלך? מוזמן לשיחת ייעוץ ראשונית ללא עלות!
ניתן גם להשאיר פרטים בטופס הבא
תקציב זחילה
"תקציב זחילה" הוא משאב הסריקה שגוגל מקצה לכל אתר. כאשר מדובר באתר גדול כמו ynet.co.il, המכיל אלפי עמודים ומעודכן בתדירות גבוהה, גוגל נדרש להשקיע משאבי מחשוב רבים כדי לסרוק את כלל התכנים, ולכן עליו להקצות תקציב זחילה גבוהה. בניגוד לכך, באתרים קטנים גוגל יכול להקצות תקציב זחילה נמוך יותר.
באתרים גדולים המתעדכנים בתדירות גבוהה, כמו ynet.co.il, ניהול נכון של תקציב הזחילה הוא חשוב מאוד. גוגל רוצה לוודא שהתכנים החדשים והעדכניים יופיעו מהר בתוצאות החיפוש, אך בו-זמנית לא לבזבז משאבים על סריקה מתמדת של עמודים שלא שונו. ככל שהאתר גדול ומורכב יותר, כך עולה גם רמת המורכבות של הסריקה, והצורך של גוגל להקצות את משאביו בתבונה גדל בהתאמה.
אם לא מנצלים את המשאבים הללו בחוכמה, הסריקה יכולה להפוך לאיטית ולגזול זמן רב — גם מצד גוגל וגם מצד בעלי האתר, שממתינים לעדכונים בתוצאות החיפוש. מפת אתר XML עוזרת לפתור את הבעיה הזאת
כיצד מפת האתר XML עוזרת לחיסכון בתקציב הזחילה ולעליה בדירוגים?
בעזרת מפת האתר, שמכילה את כל העמודים באתר וגם את תאריך השינוי האחרון שלהם, גוגל יכול לזהות מיד אילו עמודים באמת השתנו מבלי לעבור שוב על כל תוכני האתר. כך הוא ממקד את הסריקה רק בעמודים הרלוונטיים ובהתאם חוסך משאבי חישוב וסריקה יקרים. עבור אתרים גדולים במיוחד, מדובר בחיסכון עצום: במקום להיכנס לכל עמוד כדי לבדוק מה התעדכן, ולגלות שרוב העמודים נשארו ללא שינוי ורק חלק קטן כן השתנה, מפת האתר מיידעת את גוגל בדיוק היכן בוצעו שינויים ותאריכי העדכון האחרונים. באופן זה, גוגל יכול להיכנס ולסרוק רק את העמודים שהשתנו וכך “תקציב הזחילה” שהוקצה לאתר מנוצל ביעילות, וגוגל יכול להתרכז בסריקת העמודים החשובים, להוסיף או לעדכן את המידע החדש באינדקס מהר יותר ולשפר את חוויית המשתמש המחפש מידע עדכני בתוצאות החיפוש.
עם כל הכבוד לתקציב הזחילה והמשאבים של גוגל, המטרה שלנו כמקדמי אתרים היא להבין איך האתר שלנו יכול להרוויח דירוגים טובים יותר. ולכן כאן המקום לציין שכאשר גוגל מזהה שאתר מספק לו "הוראות" ברורות באמצעות מפת האתר ומתנהל ביעילות, הוא עלול לתת לאתר מעין "קרדיט" נוסף. גוגל עשוי להעניק עדיפות בדירוגים לאתרים שבהם הוא מזהה מבנה ברור ושינויים המתועדים באמצעות מפת אתר, ובכך לסרוק את העמודים החדשים מוקדם יותר מאתרים מתחרים. בנוסף, גוגל מעריך אתרים שעוזרים לו לנהל את משאביו ביעילות. כאשר האתר דואג למפת אתר עדכנית וברורה, הדבר מעיד על רמת רצינות ועקביות בניהול האתר. גם אמון מתבטא בשיפור בדירוגים. בסופו של דבר, האתרים שעושים למנועי החיפוש "חיים קלים" זוכים לעדכונים תכופים יותר והשפעה חיובית על הדירוגים שלהם
מתעניין בבנייה או קידום האתר שלך? מוזמן לשיחת ייעוץ ראשונית ללא עלות!
ניתן גם להשאיר פרטים בטופס הבא
מבנה מפת אתר XML וסיבות לחלוקת האתר לסגמנטים
כפי שניתן היה לראות בתמונה של מפת האתר שהופיעה בחלק העליון של מאמר זה, מפת האתר היא למעשה מעין טבלה או רשימה שמכילה הסגמנטים (חלקי האתר) העיקריים, לכל סגמנט כזהמצורף תאריך העדכון האחרון שלו, מה שמסייע לגוגל להבין אם קרה משהו חדש בחלק הספציפי הזה.
חלקים אלו נקראים “סגמנטים” (Segments) משום שהם משקפים חלוקה הגיונית של התכנים באתר: סגמנט ייעודי לעמודים סטטיים, אחר לפוסטים בבלוג, אחד נוסף לקטגוריות האתר ועוד. ברגע שגוגל קורא את המפה, הוא מזהה באילו סגמנטים חלו שינויים (למשל, סגמנט הפוסטים התעדכן לפני ימים ספורים), ואז הוא יודע לאיזה סגמנטים עליו להיכנס כדי להמשיך בסריקה שלהם גם ועל איזה סגמנטים הוא יכול לוותר וכך לחסוך בתקציב הזחילה. אם נלחץ על אחד הסגמנטים במפת האתר ניכנס למפת אתר ספציפית של אותו סגמנט שבה יופיעו כל הכתובות הרלוונטיות של אותו סגמנט ולידם תאריך של העדכון האחרון שלהם. גם גוגל נכנס למפות של הסגמנטים שהשתנו, מאתר בתוך כל סגמנט כזה אילו עמודים השתנו וניגש רק אליהם לביצוע סריקה חוזרת, וכך למעשה גוגל מצליח להגיע בזריזות וביעילות רק לעמודים שיש צורך לסרוק שוב ומתעדכן לגבם.
התהליך שגוגל עובר כאשר הוא מגיע לסריקה חוזרת
בהתאם למה שתואר, כאשר גוגל מעוניין לבצע סריקה חוזרת, הוא יבצע זאת בדרך הבאה כדי לחסוך בתקציב הזחילה .
- גישה למפת האתר: הבוט של גוגל (Googlebot) נכנס קודם אל קובץ ה-XML.
- בדיקת סגמנטים: גוגל יבדוק את הסגמנטים השונים ויראה באילו מהם התבצע שינוי. אם התאריך של הסינוי שבוצע בסגמנט הוא יותר מאוחר מתאריך הסריקה הקודם גוגל הוא יכנס למפת האתר הספציפית של אותו הסגמנט
- סריקת המפה הספציפית לסגמנט: בתוך אותו סגמנט, גוגל בודק את רשימת העמודים ואת תאריך העדכון האחרון שלהם. במידה ומופיעים עמודים חדשים שלא הופיעו בסריקה הקודמת, גוגל יכנס ויסרוק אותם. מעבר לכך, במידה ויש עמודים שהופיעו בסריקה הקודמת אך מצויין שתאריך העדכון שלהם הוא מאוחר יותר מתאריך הסריקה האחרונה, הבוט יכנס ויסרוק גם אותם.
- כניסה לעמודים הרלוונטים המחייבים סריקה ראשונה (אם הם עמודים חדשים) או סריקה חוזרת (במידה והם התעדכנו לאחרונה), ביצוע סריקה חוזרת שלהם ועדכון של האינדקס בהתאם.
מפת אתר דינאמית
ברוב האתרים כיום מפת האתר היא דינאמית, כלומר מתעדכנת אוטומטית בעת הוספת עמודים או עריכת תוכן באתר. במערכות ניהול תוכן כמו וורדפרס, תוספי לקידום אורגני כמו Yoast SEO דואגים שבכל פעם שמשתנה תוכן באתר, מפת האתר תתעדכן באופן אוטומטי ותשקף את השינויים – בין אם זה עמוד חדש, פוסט חדש או עדכון של עמוד קיים. בצורה זו, מנועי החיפוש מקבלים מהמפה תמונה אמיתית ועדכנית בנוגע למבנה האתר ויכולים לייעד את משאבי הסריקה שלהם לעמודים הרלוונטיים בלבד.
היתרון הבולט פה זה שבעלי האתר אינם צריכים לבצע פעולות ידניות כדי לעדכן את הקובץ – התהליך מתנהל מאחורי הקלעים באמצעות התוסף.
מתעניין בבנייה או קידום האתר שלך? מוזמן לשיחת ייעוץ ראשונית ללא עלות!
ניתן גם להשאיר פרטים בטופס הבא
כיצד להפעיל מפת אתר באמצעות תוסף הYoast
- בוחרים בתוסף Yoast SEO מתוך התפריט הצדדי במסך העריכה בוורדפרס.
- עוברים ל"הגדרות" (Settings) של התוסף (חשוב לציין שלא מדובר על החלק של ההגדרות הכלליות של האתר, אלא החלק של ההגדרות של תוסף היוסט בלבד).
- גוללים מטה עד שמוצאים את האפשרות "יצירת מפת אתר בפורמט. XML" ( היא מופיעה ככרטיסייה עם תמונה של פיראט שמחזיק מפה בידו
- לוחצים על הכפתור המייצר את המפה. מרגע זה התוסף יוצר קובץ XML דינמי ומעדכן אותה אוטומטית בכל שינוי שמתרחש באתר
- לאחר מכן, רצוי להגיש את כתובת מפת האתר לגוגל סרץ' קונסול כדי שגוגל יבין היכן למצוא אותה. אין צורך בשום פעולה נוספת בנושא זה בעתיד.
מפת אתר HTML
מפת אתר HTML היא עמוד פנימי באתר שבו מרוכזים בצורה היררכית קישורים לכל העמודים, הפוסטים, הקטגוריות והתכנים השונים באתר. הרעיון הוא להעניק למבקרים באתר מפה חזותית המאפשרת להם למצוא בקלות ובמהירות את מבוקשם, במיוחד אם יש באתר כמות גדולה של עמודים או בלוג עשיר בתוכן.
מפת אתר HTML מסייעת למשתמשים בשתי דרכים שונות
- התמצאות קלה במבנה האתר.
במקום להסתמך על תפריטים שלא מכילים קישורים לכל החלקים השונים באתר או קישורים בתוך עמודים, מפת האתר מספקת מבט-על על כל החלקים והתכנים. כך שגם גולש חדש יכול להבין במהירות אילו עמודים קיימים, איך הם מסודרים, והיכן נמצא התוכן שהוא מחפש. - גישה מהירה למידע
במידה ועמוד מסוים אינו מופיע בתפריט באף תפריט או בקישור ישיר, ניתן עדיין להגיע אליו דרך מפת האתר. היא לרוב תוצג כטבלה או רשימת קישורים, המחולקת לקטגוריות או אזורים שונים של האתר.
כיצד גוגל מתייחס לעמוד מפת אתר HTML?
מבחינת גוגל, מפת אתר HTML אינה מספקת תוכן ייחודי מעבר לרשימת קישורים. מנוע החיפוש כבר מקבל את המידע הדרוש לו ממפת האתר בפורמט XML (או מכלי סריקה פנימיים משלו) ולכן, אין יתרון קידומי בהצגת מפת האתר HTML באינדקס החיפוש. מהסיבה הזאת בעלי אתרים רבים מגדירים לעמוד זה noindex. בדרך זו הם מונעים מגוגל להציג את מפת האתר בתוצאות החיפוש, אך משאירים אותה זמינה למשתמשים הזקוקים לה.
מדוע להגדיר noindex למפת אתר HTML?
- חוסר ערך קידומי: העמוד של מפת האתר הכולל בתוכו רק רשימת קישורים ואין בו שום תוכן מעבר לכך ולכן גם לא יכול להתקדם על ביטוי מפתח כלשהו או לתורם באופן כללי לקידום האתר.
- מיקוד של גוגל בתוכן העיקרי: עדיף למקד את גוגל בבעמודים שיש בהם תוכן בעל ערך וייחודיות למשתמש ולקידום האורגני.חשיבות העמוד עבור המשתמש
למרות שמפת האתר HTML אינה בעלת חשיבות קידומית ישירה, היא עדיין יכולה להוות כלי עזר שימושי עבור הגולשים. במיוחד באתרים גדולים ורב-שכבתיים, עמוד זה חוסך זמן חיפוש ומאפשר לחקור או לנווט בין חלקי האתר שפחות מוצגים בתפריט העליון.
נהוג להציב קישור למפת האתר HTML במקום בולט בתפריט שמופיע תחתית כל עמוד (footer), או בתפריט הצידי (sidebar) כך שהמשתמשים יוכלו לגשת אליה בכל עת שהם זקוקים לה, בעוד שגוגל לא יאנדקס אותה כעמוד לקידום בתוצאות החיפוש.
