مقدمه
رشد اینترنت شگفت‌آور شده است. با توجه به تحقیق میدانی در سال 1996 این رشد تصاعدی همچنان ادامه دارد. و تخمین زده شده که شبکه از نظر اندازه و حجم هر 12 تا 15 ماه دوبرابر می‌شود. بطور تقریبی 000/100 وب‌گاه در اگوست 1995 وجود داشته و این تعداد در اگوست 1996 به 041/536 رسیده است. از آنجائی که هر پایگاه می‌تواند بسیاری از صفحات وب را در خود داشته باشد این باعث می‌شود که تعداد بیشتری از صفحات وب بوجود آید. در حالیکه کیفیت بسیاری از صفحات ممکن است مورد سؤال باشد و نگهداری بسیاری از صفحات پراکنده است. اما صفحات معتبری هم وجود دارد که اطلاعات با ارزشی در مورد بسیاری از موضوعات ارائه می‌دهد. آنچه استفاده‌کنندگان به آن نیاز دارند یک سیستم جداکننده است که مو از ماست بکشد.
تلاشهای زیادی صورت گرفته که این وظیفه را آسان کند: کتابداران و متخصصان موضوعی راهنماهای موضوعی را گردآوری کرده‌اند.«اخبار کتابخانه‌های تحقیقاتی و دانشکده‌ای»1 بطور دوره‌ای راهنماهای منابع اینترنتی را در موضوعات انتخابی منتشر می‌کند. علاوه بر آن فهرستنویسان Intercat را (که یک فهرست آزمایشی برای اینترنت است) بوجود آورده‌اند. OCLC نیز پایگاه Netfirst را برای نمایه‌سازی منابع اینترنت با سرعنوانهای موضوعی کتابخانه کنگره و اعداد طرح دهدهی دیویی ایجاد کرده است. کتابداران مرجع یک پایگاه وب را به نام Infofilter بوجود آورده‌اند که مرور منابع اینترنتی را به اشتراک بگذارند و کتابداران رده‌بندی موضوعی را برای سازماندهی منابع اینترنت مورد آزمایش قرار داده‌اند. اما چیزی که بیشترین توجه استفاده‌کنندگان اینترنت را به خود معطوف داشته است، احتمالاً عنکبوتها و روباتهایی هستند که خدمات جستجو را انتخاب می‌کنند. برای بسیاری از جستجوگران اینترنت، این موتورها با راه دادن آنها به فضای اطلاعاتی عظیم کمک موقتی ارائه می‌دهند. کاربران اینترنت بزودی فهمیدند که این موتورها کامل و مناسب نیستند زیرا آنها منطقه جغرافیایی خاصی را پوشش می‌دهند، بصورت متفاوت نمایه‌سازی می‌شوند و منابع را با کلیدواژه‌ها بازیابی می‌کنند. استفاده‌کنندگان هرگز نمی‌توانند اعتماد کنند که یک جستجو جامع یا قطعی باشد. با وجود اینکه نتایج بازیابی ظاهراً بوسیله میزان ارتباط مرتب شده است و استفاده‌کنندگان مبارزه با ریزش کاذب مواد تکراری و نامربوط را ادامه می‌دهند. در کل پیشرفت خوبی در کمک به استفاده‌کنندگان برای جهت‌یابی در اینترنت بوجود آمده، اما این ابزارها آنقدر زیاد هستند که انتخاب صحیح یکی از آنها کار سختی است.
علاوه بر آن انتخاب موتورهای جستجوی مناسب ممکن است برای استفاده‌کنندگان عمومی و نیز کتابداران، به علت رویه‌های پیچیده، مهمتر باشد. بعنوان مثال، اینفوسیک سرویس رایگان دارد، اما سرویسهای هزینه بر، یعنی متخصصان اینفوسیک، نمایهء بزرگتر و قابلیتهای جستجوی قویتر ارائه می‌دهند.
وب کروکر یک درخواست حق عضویت دارد که زمانی آن را تحمیل می‌کند. اگر این عمل در مقابل هزینه برای خدمات یک رویه شود، لازم خواهد بود برای استفاده کنندگان و بخصوص کتابداران که بدانند کدامیک از موتورهای جستجو را باید به خدمت بگیرند.
این تحقیق تلاش کرده که کارآیی موتورهای کاوش را در آدرس دهی نیازهای اطلاعاتی ارزیابی کند. آیا آنها می‌توانند جوابهایی برای سؤالات مرجع واقعی بازیابی کنند؟ آیا آنها منابع خوبی برای سؤالات موضوعی ارائه می‌دهند؟ آنها تا چه حد نتایج جستجو را براساس میزان ارتباط مرتب می‌کنند؟ کدامیک از موتورهای جستجو بهتر عمل می‌کنند؟ جواب این سؤالات به ما کمک خواهد کرد که نقاط ضعف و قوت موتورهای کاوش را بهتر بفهمیم و ما را قادر می‌سازد که برای برطرف کردن نیازهای اطلاعاتی موتور کاوش مناسب را انتخاب کنیم.
پیشینه پژوهش
موتورهای کاوش بسیاری موجود هستند و براحتی در دسترس قرار می‌گیرند Netsearch متعلق به نت اسکیپ و www by subject or keyword مربوط به کتابخانه کنگره، هر دو با هم موتورهای کاوش اصلی را گرد آورده‌اند. همچنین ابرموتورهایی وجود دارد که به جستجوگران اجازه می‌دهد که سریعاً به چندین موتور کاوش دسترسی پیدا کنند، اما فقط Savy search قادر به جستجوی بیش از 5 پایگاه در یک زمان است. “All-in-one” گروهی دیگر از ابزارهائی را که ارائه دهنده نمونه‌های جستجو بسیاری از موتورهای کاوش در یک پایگاه وب برای آسان‌سازی عمل جستجو هستند را نشان می‌دهد.
کار عنکبوتها، روباتها و دیگر برنامه‌های خودکار بوسیله پروسیس خلاصه شده است. (1995) و محدودیتهای این ابزارها بوسیلهء کاستر تجزیه و تحلیل شده‌اند. (1995) چندین مقاله ادعا کرده‌اند که ابزارهای جستجوی اینترنت را ارزیابی کرده‌اند، اما اغلب آنها توصیفهایی از شبکه جهانی وب یا موتورهای کاوش ارائه داده‌اند. برینکلی و بیورک (1995) هایتلنت، آرچی، گوفر، و ایزو شبکه جهانی وب را شرح داده‌اند. کورتولیس، بیرواستارک (1995) پرسشهایی بکار برده‌اند برای اینکه موتورهای کاوش و نمایه‌های وب را آزمایش کنند. اما گزارش آنها بیشتر توصیفی است. کایمل (1996) تاریخچه‌ای از پایگاههای تولید شده بوسیله رباتها را ارائه داده و به جستجوگران مبتدی راهنمائی‌های خوبی در مورد موتورهای کاوش پیشنهاد کرده است. وندیتو(1996) هفت موتور کاوش را آزمایش کرده و ویژگیهای جستجوی آنها را شرح داده است. گزارشهای مشابه در مورد اینترنت فراوان است و بسیاری از آنها را می‌توان در لیت کمپبل پیدا کرد. نمونه‌های خوب بسیار کم هستند. مثل گزارشهای لین (1995)، وین شیپ (1995) وبستر و پانول (1995).
مطالعات ارزشیابی نسبتاً کمی وجود داشته که شامل تحقیق میدانی در مورد موتورهای جستجو باشد. دسای (1995) قدرت بازیابی سیزده ابزار جستجو را با یک سؤال آزمایش کرده است. او قادر بود با جستجوی نامش تعیین کند که چگونه بسیاری از اسناد وبی او بازیابی شده است. اینفوسیک و لایکاس با بازیابی هفت سند از 24 سند بهتر عمل کردند. در حالیکه دیگر موتورها و نمایه‌ها نظیر وب کرولر و یاهو ضعیف عمل کردند. لیتون (1995) عملکرد اینفوسیک، لایکاس، وب کرولر و ورلد واید وب وارم را با استفاده از 8 سؤال مقایسه کرده است. او این آزمایش را با 4 معیار انجام داد-نسبت تکراری بودن، دقت، دقت کامل و حداکثر 10 دقت- و نتیجه گرفت که لایکاس و اینفوسیک بهتر از بقیه عمل کردند. پکروتومایولو 2 سؤال مرجع را در آلتاویستا، ماژلان، اینفوسیک، لایکاس و یونیت جستجو کردند. امتیاز دقت آنها مبتنی بود بر 10 نتیجه اول، آنها فهمیدند که آلتاویستا بهترین عملکرد را داشت بعد از آن اینفوسیک، لایکاس، ماژلان و پوینت. مقابقاب (1995) 5 سؤال را برای امتحان کردن 5 موتور کاوش با اجرای جستجوهای اصلی و اصلاح شده در هر موتور بکار برد. او دقت نتیجه اول را تغییر داد. با استفاده از 25 نتیجه بعنوان پایه و مبنا. او یاهو را بعنوان بهترین عمل کننده شناخت. یافته‌های این مطالعات بطور قطعی بهترین موتورهای کاوش را مشخص نکرد بعلت سؤالات مختلف، تعداد متفاوت سؤالات و مقیاسهای مختلف بکار رفته برای ارزشیابی. با این وجود، این مطالعات شیوه‌های مختلف ارزیابی موتورهای کاوش را ثابت کرد و معیارهای جدید و منطقی برای اجرای جستجو پیشنهاد کرد.
روش‌شناسی
این مطالعه هشت موتور کاوش را که مشهور هستند و برای عموم رایگانند ارزیابی می‌کند. این موتورها عبارتند از: آلتاویستا، اکسایت، اینفوسیک، گاید، لایکاس، ماژلان، این تکست، وب کرولر و ورد واید وب وارم.
عوامل بسیاری ممکن است برای موفقیت یک جستجو مشارکت کنند. درک صحیح از تقاضای جستجو، استراتژی جستجو، پایگاه اطلاعاتی، موتور کاوش، و قضاوت میزان ارتباط بوسیلهء جستجوگران. در این تحقیق تعدادی از این معیارها کنترل شده بودند بنحوی که تفاوت موتورهای کاوش قابل مشاهده بود. موتورهای کاوش از نظر اندازه، محتوای پایگاه اطلاعاتی‌شان، خط‌مشی‌های نمایه‌سازیشان، کنترل کیفیت، شیوه‌های بازیابی و ارائه نتایج جستجو متفاوتند. فرض بر این شد که سؤالات آزمایشی با پیچیدگی و وضع متفاوت در تعیین بهترین موتور جستجو با ارزش‌تر خواهد بود. با این وجود، مطالعات پیشین مشخص کردند که امکان اینکه یک موتور جستجو در جوابگویی همه نوع سؤالات بهتر از همه باشد، وجود ندارد. ما تقاضاهای جستجو را با استفاده از 20 سؤال مطرح شده در میز مرجع استاندارد کردیم. و 5 سؤال موضوعی که در حوزه‌هایی که منابع اینترنتی بسیاری داشت، بوجود آمده بود-سرگرمی، تجارت، سیاست اقتصاد و بهداشت. سؤالات مرجع گردآوری شده شامل سؤالات تخصصی و پرسشهای موضوعی وسیع بود و از نظر اینکه توانایی موتورهای کاوش را در جوابگویی به سؤالات مرجع واقعی مورد آزمایش قرار داد با ارزش بودند. 5 سؤال موضوعی ساختگی بودند، اما این طراحی ما را قادر می‌ساخت که تجزیه و تحلیل معنی‌دار بیشتری انجام دهیم. با این همه، هیچ ارزشیابی خیلی خردمندانه نبود اگر ما از سؤالاتی که برای آن هیچ چیز قابل بازیابی نبود، استفاده می‌کردیم.
مجموعه داده‌ها2 به هشت موتور کاوش چهار جستجو اختصاص یافته بود برای اطمینان از اینکه هر سؤال دو بار در یک موتور جستجو شده است. به جستجوگران آموزش داده شد که از مرورگر نت اسکیپ برای دسترسی به اینترنت استفاده کنند و سؤالات داده شده را در موتورهای کاوش تعیین شده جستجو کنند و نسخه‌های چاپی از نتایج جستجو ارائه دهند. جستجوگران کار را در آوریل شروع کردند و در ژوئن 1996 نتیجه‌گیری انجام شد. جمله‌بندی سؤالات مرجع برای جستجوهای اینترنتی کمی تغییر داده شد. برای اطمینان یافتن از تکنیکهای مشابه بکار رفته، کلیدواژه‌ها تعیین شده بودند و پارامترهای اساسی در مورد اینکه در هر موتور کاوش جستجو به چه صورت انجام شود ارائه شدند. به جستجوگران گفته شد که بهترین قضاوتشان را در ارزیابی ارتباط منابع بازیابی شده بکار گیرند.
یکی از سؤالات مرجع دو بخش داشت، بنابراین سئوالات مرجع به 21 تبدیل شد. هر کدامیک از سؤالات 21 گانه مرجع و 5 سؤال موضوعی دو بار در هر موتور، جستجو شده بود. اما در اکسایت 4 بار جستجو شد، زیرا در این موتور، جستجوگر قادر به جستجوی کلیدواژه‌ای و نیز جستجوی مفهومی می‌باشد. در میانه راه با ماژلان جستجوگران گزینه‌ای از جستجو را در بخش خاصی از پایگاههای اطلاعاتی یا کل پایگاهها به منظور هماهنگی و یکدستی همه جستجوگران در کل پایگاهها انجام دادند. در کل 468 جستجو انجام شده بود.
متغیرهای وابسته. چهار متغیر برای این تحقیق اندازه‌گیری شدند. «دقت»3 که بطور سنتی تعریف شده بود: تعداد منابع مرتبط بازیابی شده تقسیم بر تعداد منابع بازیابی شده و یک معیار استانداردی برای سیستمهای بازیابی اطلاعات بوده است. از آنجائی که ارزیابی ارتباط تعداد زیاد صفحات بازیابی شده بوسیلهء موتورهای کاوش غیرممکن بود .
این متغیر در این تحقیق بطور عملیاتی چنین تعریف شده:
دقت: تعداد منابع مرتبط در 10 گزینه اول
شیوه استفاده از ده گزینه اول قابل توصیه است، زیرا این گزینه‌ها بیشتر امکان دارد که به وسیله جستجوگران دیده شود. این معیار را لیتون، پیکروتومایولو بکار برده است. اما برخلاف تحقیق لیتون، این تحقیق پایگاههای ارجاعی و تکراری را در معیار دقت درنظر می‌گیرد. زیرا آنها بالقوه مفید بودند (در صورتی که گزینه‌های تکراری مرتبط باشد) و حذف آنها باعث می‌شد که پایهء مقایسه (که ده تا بود) کوچکتر شود.
«تکراری بودن»4: در همان اوایل جستجو در موتورهای کاوش گزارشهای حکایت گونه‌ای از تکراریها بوجود آمد. در نتیجه این معیار در ارزیابی‌های ما وارد شد. تکراری بودن بطور عملیاتی «تعداد گزینه‌هایی که تکرار شدند و قبل از آن نیز ارائه شده بودند» تعریف شده بود. پایگاههای ارجاعی هم جزء تکراریها به حساب آمدند. در این مطالعه ما تعداد گزینه‌های تکراری را بر اساس ده نتیجه اول در نظر گرفتیم.
«امتیاز مرتبط‌ترین گزینه»5: همه موتورهای کاوش انتخابی، نتایج بازیابی را با استفاده از الگوریتم متفاوت مرتب می‌کنند و بهترین تطبیقها را اول ارائه می‌دهند. اما تنظیم همیشه مفید نبوده است. این متغیر برای امتحان کردن توانایی درجه‌بندی موتورهای کاوش طراحی شده بود. که بر این فرضیه مبتنی است که شیوه درجه‌بندی مؤثر، مرتبط‌ترین گزینه‌ها را در بالاترین لیست نتایج جستجو قرار می‌دهد. جستجوگران، بطور عملیاتی مرتبط‌ترین گزینه از بین ده گزینه تعریف کردند و به آن بخاطر جایگاهش یک امتیاز دادند. اگر این گزینه در اولین، دومین یا سومین گزینه بود این موتور امتیازی بین 1 یا 2 یا سه می‌گرفت. اگر این گزینه جای دیگر ظاهر می‌شد به آن امتیاز 6 داده می‌شد. عدد 6 به این علت انتخاب شده بود که نشان می‌داد این گزینه در خارج از اولین نیمه لیست ده تایی قرار گرفته است. امتیاز پائین در مورد مرتبط‌ترین گزینه نشان دهنده این بود که آن موتور بهترین درجه‌بندی گزینه‌های مرتبط را داشته است.
«امتیاز درجه‌بندی میزان ارتباط»6: این متغیر نیز درجه‌بندی میزان ارتباط در موتورهای کاوش را ارزیابی کرد اما به شیوه‌ای متفاوت. این متغیر به عنوان درصد گزینه‌های مرتبط که در اولین نیمه لیست ده گزینه‌ای ظاهر شدند تعریف شد. این تعریف مبتنی بود بر این فرضیه که میزان ارتباط گزینه‌ها کاهش خواهد یافت هر چقدر که به گزینه‌های پائین‌تر می‌رسیم. جستجوگران تعداد گزینه‌های مرتبط را در هر نیمه از لیست ده گزینه‌ای ثبت کردند و مأموران تحقیق این تعداد را با توجه به فرمول زیر برای رسیدن به امتیاز درجه‌بندی براساس میزان ارتباط تبدیل کردند:
تعداد گزینه‌های مرتبط در اولین لیست
کل تعداد گزینه‌های مرتبط در لیست ده‌تایی
«بازیابی»7: یکی دیگر از معیارهای استاندارد برای بازیابی اطلاعات است و چنین تعریف شده: تعداد گزینه‌های مرتبط بازیابی شده تقسیم بر کل تعداد گزینه‌های مرتبط در یک فایل اطلاعاتی. این معیار برای استفاده دشوار بود زیرا جستجوگران می‌بایست همه گزینه‌های مرتبط را در کل یک پایگاه یا فهرست شناسائی کنند. این مشکل در شبکه جهانی وب خیلی شدیدتر است. با هزاران هزار صفحه وب نمایه شده به وسیله موتورهای جستجو انتخابی غیرممکن بود که همه صفحات وب مرتبط با موضوع جستجو شناسایی شود. به این ترتیب بازیابی در این مطالعه استفاده نشد.