تحقیق مقاله جستجوی پیشرفته در اینترنت

مقدمه:

کاربری که وارد اینترنت می شود با تنوع رنگارنگ و چشم گیری از سایت های متنوع روبرو می شود و با هیجان و علاقه با موس خود بر لینکهای جذاب اشاره می کند تا سایت های جدیدتر و جالب تر کشف کند.... اما این طراح یا مدیر سایت است که با زحمت و هزینه آن را طراحی و برنامه نویسی کرده، بر اینترنت نصب نموده و حال مشتاقانه به انتظار نشسته تا کاربران و یا در واقع مشتریان احتمالی، با کلیک های تصادفی خود وارد سایت او شوند.

اما دلیلی ندارد که این انتظار بطور انفعالی و یا با توسل به دعا و نذر بگذرد، زیرا نکات و ریزه کاریهای زیادی است که به مدیران وب سایت امکان آن را می دهد در بازار پر رقیب اینترنت سایت خود را عرضه و ارتقاء دهند و پایه و زیر بنای اعمال این گونه ریزه کاریها، دانشی عمیق و کارا از طرز جستجوی ماشین های جستجوگر که ابزار اصلی هر کاربر اینترنت به مشار می روند، است.

مباحثی عمیق تر در باب جستجو در اینترنت

اگر چه مبحث جستجو در اینترنت از نظر مفهومی ساده به نظر می رسد،‌ اما در عمل به وسعت و پیچیدگی شبکه اینترنت، مسائل و معضلات خاص خود را به همراه دارد. اگاهی از این مسائل برای کسانی که به طور جدی خواهان استفاده از اینترنت هستند (یعنی مثلا می خواهند برای خود وب سایتی را – حقوقی یا حقیقی- نصب و از آن به عنوان یک ابزار قوی اطلاع رسانی استفاده کنند) واقعا لازم است. امروزه دیگر فقط حضور داشتن در اینترنت و نصب یک وب سایت اطلاعات کافی نیست بلکه باید سعی کرد به طور فعالانه مخاطبین و یا در حقیقت بازدیدکنندگان بیشتری را به وب سایت خود جذب نمود. ارائه اطلاعات در اینترنت تنها زمانی مفید است که کاربران و جستجوگران و محققان اینترنت از وجود این اطلاعات، اگاه، و حاضر باشند وقت و منابع کامپیوتری خود را صرف بازدید از وب سایت حاوی آن اطلاعات نمایند. روشهای گوناگون ارتقاء وب سایت در شبکه اینترنت مساله ای است که هم اکنون ذهن و قوای بسیاری از متخصصین اینترنت را مشغول کرده است زیرا امروزه دیگر در این مورد که اینترنت یک رسانه بسیار قوی اطلاع رسانی است تردیدی وجود ندارد بلکه مساله اصلی، آن است که چگونه می توان با ایجاد استراتژیهای موثرتر برای انجام جستجوهای بهینه و سریع، اطلاعات موجود در وب سایتها را به بهترین نحو ارائه داد. یک شرکت، دانشگاه، تاجر، محقق، کتابخانه، خطاط و یا نمایشگاه به راحتی می تواند با صرف هزینه ای مشخص وب سایتی برای خود طرح و در اینترنت نصب نموده و ظرفیت های خدماتی و تولیداتی خود را معرفی کند اما چگونه می تواند مطمئن باشد که تمام مخاطبینی که ممکن است این وب سایت برایشان جالب باشد از وجود آن آگاهی پیدا کرده و از آن بازدید به عمل می آورند و در نهایت خدمات آنها را بر می گزینند؟ اهمیت این سئوال هنگامی روشن می شود که انبوه وب سایتهای متنوع و رقیب دراینترنت را به خاطر بیاوریم.

در چنین بازار آشفته ای که هیچ معیاری برای ارزیابی جز سلیقه شخصی بر آن حکمفرما نیست، لازم است هر کس که می خواهد به نحوی نامش در اینترنت مطرح شود نکات و راهنمایی های تکنیکی و منطقی خاصی را به کار بندد تا تلاش او برای عرضه اطلاعات بی نتیجه نماند و بهترین بازدهی را برایش داشته باشد.

گرافیستی را در نظر بگیرید که برای خود یک وب سایت طرح و در اینترنت نصب کرده باشد. این وب سایت ممکن است شامل نمونه هایی از کار خود، اطلاعات تماس، تخصص های ویژه و مسائل مربوط دیگر باشد. آنچه برای این گرافیست اهمیت دارد این است که، کسی که به دنبال خدمات گرافیکی می گردد بتواند زودتر به وب سایت او برسد. به عبارت دیگر و عملی تر، هنگامی که کسی عبارتی چون "خدمات گرافیکی" را به ماشین جستجوگر معتبی چون Alta Vista یا  Lycos وارد می کند، سایت وی در فهرست نتایج حتما موجود باشد تا بدین ترتیب، ‌جوینده بتواند آن را مشاهده و انتخاب کند.

پس در واقع دو عامل اصلی در اجرای موثرتر و بهتر جستجوها دخیل هستند: اول ساختار خود ماشین جستجوگر (یعنی اینکه اصولا نرم افزار آن چگونه کار می کند و کدام سایتها را برمی گزیند.) و دیگری خود وب سایت، و اینکه از چه اصولی باید پیروی کند تا در جستجوها مطرح شود و ترجیحا با یک رتبه بالا معرفی گردد.

ماشین جستجو گر چگونه کار می کند؟

ماشین جستجوگر در حقیقت یک بانک اطلاعات از منابعی است که طی یک فرآیند کاوشگرانه اتوماتیک از اینترنت استخراج شده اند. این بانک، از طریق پرسشهای کاربران قابل جستجو است؛ بدین ترتیب که کلمات یا عباراتی که کاربر در ناحیه مخصوص جستجو (Search Box) وارد می کند با منابعی از بانک اطلاعات که حاوی آن عبارات یا کلمات هستند تطبیق داده می شوند. سپس این منابع بر اساس ربطی که با پرسش  کاربر می توانند داشته باشد مرتب و ارائه می شوند؛ به طوری که سایت هایی که احتمال داده می شود ربط بیشتری دارند در ابتدای فهرست نتایج ظاهر می شوند. به عبارت ساده تر، پس از آن که ماشین جستجوگر با استفاده از عبارات وارد شده، سایت هایی را از بانک اطلاعات خود بازیابی نمود،‌ این سایت ها را بر اساس یک الگوریتم خاص –که مربوط بودن آن سایت را به عبارت کاربر تخمین می زند- مرتب کرده و در قالب فهرست نتایج به کاربر باز می گرداند. اما باید توجه کرد که رویه ها و عواملی که این رتبه بندی را تعیین می کنند معمولا جزو اسرار شرکت ها هستند و در نتیجه معمولا مشکل می توان فهمید که دقیقا چرا یک سایت در فهرست نتایج برتر ظاهر می شود.

پیش بینی ربط

عواملی که برای پیش بینی مربوط بودن یک سایت با عبارت جستجوی کاربر استفاده می شود را می توان به طور کلی به دو قسمت تقسیم کرد: عوامل درونی (یعنی عواملی که مربوط به صفحه وب می شوند) و عوامل بیرونی (یا عواملی که خارج از صفحه وب هستند)

عوامل درونی

فراوانی کلمات در سند موجود؛ یعنی فهرستی از تمام کلماتی که در سند به کار رفته اند و میزان فراوانی هر کلمه در سند.

محل کلمات مورد جستجو در سند؛‌ یعنی اینکه کلمات کلیدی و تعریف کننده در عنوان (title)، سرتیتر (heading)، پاورقی (footer) و ... آمده اند یا خیر.

خوشه بندی رابطه ای (Relation Clustering)؛ یعنی اینکه چند صفحه از این سایت حاوی کلمات مورد جستجو هستند.

طرح HTML سند؛‌ چگونگی فریم ها و لینک ها، سرعت انتقال، Metatags و ALT.

عوامل بیرونی

هر ماشین جستجوگر از الگوریتم خاص خود با اندیس بندی و امتیاز دادن به صفحات وب استفاده می کند و سعی می کند که با بهبود بخشیدن به این فرمول، به جستجوگران، مربوط ترین نتایج را بازگرداند. در این راستا عوامل مطرح شده ارزیابی می شوند و با یکدیگر ترکیب می شوند تا بهترین فرمول برای بازیافت بهترین نتایج پیدا شود. کسانی که تمایل دارند وب سایت آنها در زمره 20 سایت اولی که یک ماشین بر میگرداند باشد باید با دقت این عوامل را بررسی نمایند.

محبوبیت لینکی: هر چه لینک های بیشتری به یک سایت نشانه رفته باشند بدین معنی است که محبوبیت آن سایت بیشتر و در نتیجه رتبه آن بالاتر است.

محبوبیت کلیکی: سایت هایی که به لحاظ تعداد دفعات و مدت زمان بیشتر مورد بازدید عموم قرار گرفته باشند از محبوبیت بیشتر و در نتیجه رتبه بالاتری برخوردار هستند.

محبوبیت گروهی: با ردگیری مسیرهای کلیک قشرهای خاص جامعه مشخص می شود که کدام گروه ها بیشتر از این سایت بازدید می کنند و در نتیجه رتبه سایت برای گروه های مورد جستجو کننده مختلف، متفاوت است.

پیوندهای بازرگانی میان شرکتهای خدماتی: یعنی سایتهایی که مربوط به شرکای بازرگانی و یا خدمات خاصی باشند رتبه های بالاتری دارند.

امکان کسب جایگاه در ازای پول: بعضی ماشین های جستجوگر می پذیرند که در ازای دریافت وجهی مشخص، سایت را در مرتبه بالاتری قرار دهند.

اسم URL: برخی ماشین های جستجوگر سایتی را که URL آن حاوی کلمات کلیدی مورد جستجو باشد را رتبه بالاتری می دهند.

محتویات ماشین جستجوگر

محتویات یک ماشین جستجوگر در واقع همان بانک اطلاعات آن است. اما این بانک اطلاعات چگونه تشکیل می شود؟ ماشین های مختلف از روشها و تکنولوژیهای مختلفی استفاده می کنند و این باعث می شود که اگر یک عبارت جستجو را در دو ماشین مختلف وارد کنیم با دو نتیجه متفاوت رو به رو بشویم. این مساله ناشی از تفاوت در برنامه ریزی نرم افزارهایی است که ماشین های جستجوگر برای گزینش و بازیابی اطلاعات از آنها استفاده می کنند.

اما به طور کلی همه ماشین های جستجوگر از سه قسمت مجزا تشکیل شده اند:

قسمت اول «عنکبوت» (spider) نام دارد. عنکبوت نرم افزاری است که یک صفحه وب را ملاقات می کند، آن را می خواند و لینک های به صفحات دیگر را دنبال می کند. به این کار اصطلاحا کاوش می گویند. عنکبوت به طور منظم، مثلا هر ماه یا دو ماه یکبار مجددا به سایتها و فضای وب سر می زند. به عنکبوتها، کاوشگر و روبات نیز می گویند. این روبات ها مثل تمام بازدیدکنندگان دیگر در «کارنامه دسترسی» سایت ثبت می شوند (بدین معنی که روبات از آن سایت دیدن کرده است). بر طبق همین کارنامه است که می توان متوجه شد یک ماشین جستجوگر از سایت بازدید کرده است یا خیر.

البته باید توجه کرد که عنکبوتها نیز اسامی خاص خودشان را دارند و در اینجا، فهرست کوتاهی از اسامی عنکبوتهای معروف ترین ماشین ها ذکر گردیده است. با مشاهده این اسامی در کارنامه دسترسی وب سایت، می توان فهمید که آیا ماشین جستجوگر، آن وب سایت را تا به حال بازدید کرده است یا خیر.

AltaVista                       Scooter

HotBot                           Slurp

Netscape                        Mozilla

InfoSeek                         Infoseek Sidewinder /0.9

WebCrawler                            Robot libwww /5.0

در سایت Market ware (با آدرس www.marketware.com) ابزاری عرضه شده که برای تحلیل کارنامه دسترسی و گرفتن اطلاعاتی کامل تر در مورد بازدید عنکبوتها از یک محل، قابل استفاده است. با این ابزار حتی می توان فهمید که جویندگان از کدام کلمات کلیدی برای جستجوهای خود استفاده می کنند.

هر چند که از نظر طراحان و صاحبان وب سایت، عنکبوت مهم ترین قسمت ماشین جستجو گر است، اما هر ماشین دو قسمت اصلی دیگر نیز دارد:

تمام اطلاعاتی که عنکبوت می یابد وارد قسمت دوم ماشین جستجوگر، یعنی اندیس (index)   می شود. اندیس یا کاتالوگ مثل کتاب بزرگی است که صفحات آن کپی همان صفحه- وب هایی است که عنکبوت بازدید کرده. اگر صفحه وبی عوض شود، این کتاب نیز تغییر می کند.

بعضی وقتها بین زمان یافت شدن یک صفحه توسط عنکبوت و اضافه شدن آن به اندیس، فاصله ای می افتد. به عبارت دیگر، ممکن است عنکبوت از یک صفحه بازدید کرده باشد، اما هنوز آن صفحه به اندیس وارد نشده باشد. تا زمانی که صفحه به اندیس نرفته باشد، مورد جستجو و بازیابی قرار نخواهد گرفت.

سومین قسمت ماشین، نرم افزار جستجوگر آن است. این برنامه قادر است میلیونها صفحه ای که در اندیس وجود دارد را گشته و موارد هماهنگ با کلمات جستجو را بیابد و آنها را بر اساس موارد هماهنگ با کلمات جستجو را بیابد و آنها را بر اساس الگوریتم خاص خود، رتبه بندی نماید.

وجوه تمایز ماشین های جستجوگر

دو عامل مهمی که کیفیت یک ماشین را تعیین می کنند، «وسعت» و «عمق» جستجو هستند:

وسعت: منظور از وسعت، محدوده جغرافیایی اینترنت است که مورد جستجو قرار می گیرد. به طور کلی سه رده جغرافیایی برای جستجو وجود دارد : 1- سرورهایی که در کشور مبدا ماشین جستجوگر وجود دارند. 2-سرورهایی از تمام قاره 3-سرورهایی از تمام دنیا

عمق: منظور از عمق ماشین این است که چه مقدار از سایت بازیابی شده در اختیار کاربر قرار می گیرد. این موضوع می تواند چند سطح به ترتیب زیر از حداقل تا حداکثر را در بر بگیرد:

فقط URL (http://...)

عنوان (title)

سر تیتر اول

اولین 200 کلمه ابتدایی

متن کامل سند

متن کامل به همراه برخی از لینک های اتصالی آن

متن کامل به همراه تمام لینک های اتصالی آن