בניגוד למדריכי אתרים ואינדקסים ברשת, מנועי חיפוש הם כלים אוטומטיים המקטלגים דפי אינטרנט. מנועי חיפוש נבנים באמצעות תוכנה אוטומטית שסורקת את רשת האינטרנט הנקראות גם עכביש (Spider), ולא כמו במדריכי אתרים שבהן בני אדם ממיינים ומקטלגים אתרים באופן ידני.
יש לכך שתי השלכות מרכזיות:
- אתרי האינטרנט אינם עוברים כל הערכה נושאית ולכן לא ניתן לחפש לפי נושא במנוע חיפוש.
- המאגר של מנועי החיפוש גדול בהרבה מזה של מדריכי האתרים.
בעוד שמדריך האתרים קיטלג את האתרים ברמת האתר (ונתן לנו קישור לדף הבית שלו), מנוע חיפוש פועל ברמת דף האינטרנט הבודד. כלומר, מאחר ואתר אינטרנט בנוי מהרבה דפים בודדים המקושרים ביניהם. מנוע החיפוש שומר, ונותן לנו לחפש דפי אינטרנט ולא אתרי אינטרנט.
כיצד בנויים מנועי חיפוש?
מנוע חיפוש מורכב משלושה חלקים מרכזיים:
- רובוט
- מאגר מידע
- ממשק חיפוש
הרובוט, המכונה גם עכביש (Spider), הוא תוכנה אוטומטית הסורקת את רשת האינטרנט ומחפשת דפי אינטרנט חדשים או כאלה שעודכנו.
הרובוט "זוחל" ברשת ומוצא כל הזמן דפים חדשים באמצעות מעקב אחר קישורים הנמצאים בדפים קיימים. כאשר הרובוט מבקר בדף מסוים הוא נכנס אוטומטית גם לכל הדפים האחרים שדף זה מקשר אליהם. הרובוט מוזן ברשימת הכתובות בהן הוא מבקר ומשווה את הקישורים המופיעים בדפים לרשימה זו.
ברגע שהרובוט מוצא דפים חדשים או כאלה שעודכנו הוא מעתיק את תוכנם ושולח את המידע הזה למאגר המידע של מנוע החיפוש.
המאגר של מנוע החיפוש מכיל את עותקי הדפים שנשלחו אליו על ידי הרובוט. הדפים המאוחסנים במאגר עוברים מפתוח על פי שדות ועל פי המילים המופיעות בתוכנם.
תהליך המפתוח כולל את זיהוי המילים המופיעות בדף שהועתק ושמירה שלהן במאגר יחד עם מיקומן המדויק בדף ומספר ההופעות שלהן בו.
המיקום המדויק של כל מילה מורכב מ- 3 פרמטרים: שדה (כותרת, גוף הדף,קישורים או URL), מיקום בשדה ומיקום ברצף המילים בדף.
לכל טכניקות המפתוח של המילים במאגר יש השלכות ישירות על יכולות החיפוש של המשתמשים במנוע:
מפתוח המילים על פי סדר הופעתן בדף יאפשר למשתמש לחפש מחרוזות מילים (רצפים של מילים).
מפתוח המילים על פי השדה בו הן מופיעות יאפשר למשתמש לחפש מילים המופיעות רק בשדה מסוים, למשל בכותרת הדף (כותרת הדף זו השורה הכחולה בראש הדפדפן) ואילו מפתוח המילים על פי מיקומן במלל הדף (למעלה, למטה או באמצע) יסייע לקבוע את מידת הרלוונטיות של תוצאות החיפוש לשאילתה של המשתמש.
ממשק החיפוש של המנוע הוא אותו טופס המאפשר למשתמש להקליד מילות מפתח לחיפוש ומספק לו כלים המסייעים במציאת המידע המבוקש במאגר. מנועי חיפוש מציעים לרוב ממשק חיפוש פשוט המורכב משורת חיפוש אחת וממשק חיפוש מתקדם המורכב מאפשרויות חיפוש שונות.
חשוב לדעת:
- מנוע חיפוש מחפש ברמת דף האינטרנט הבודד. לכן במנוע חיפוש אנחנו לא מחפשים אתרים אלא דפים.
- במנוע חיפוש אנחנו לא יכולים לחפש דפים בנושא מסוים אלא רק דפים שמופיעות בהם מילים מסוימות.
- רק דפים שהמילים שנרשום בשורת החיפוש מופיעות בהם יאוחזרו מהמאגר
- כאשר מבצעים חיפוש במנוע חיפוש, החיפוש מתבצע רק במאגר המידע של המנוע ולא בדפים עצמם המצויים באינטרנט.
- רק הקלקה על אחת התוצאות שהתקבלו מעבירה אותנו לדף עצמו
