موتورهای جستجوگر اینترنت - پایگاه دانلود رایگان کتاب | دانلود کتاب

•    چکیده¨
مقاله حاضر کنکاش درباره موتورهای جستجو گر اینترنت.موتورهای جستجو طبقه بندی و دسترسی به اطلاعات را ساده می‌سازند.
اینترنت خصوصا وب منبع عظیمی‌از اطلاعات است که روز به روز بر حجم آن افزوده شود. در حال حاضر میلیونها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند بر روی سرویس دهنده های مختلف جا خوش کرده اند و این در حالی است که هر روز نیز بر حجم این اطلاعات افزوده می‌شود.
جنبه مثبت وب این است که اطلاعات فراوانی را در موضوعاتی بسیار گسترده, ارایه می‌دهد اما جنبه منفی آن این است که اگر کاربری دنبال موضوعی خاص باشد, کدام صفحه را بخواند؟ از میان میلیونها صفحه موجود, کدام صفحه و یا صفحات نیاز او را برآورده می‌کند؟
در چنین مواقعی کاربران سراغ موتورهای جستجوگر می‌روند. آمارهای رسمی‌نشان می‌دهد که افراد بسیاری سفر در دنیای وب را با موتورهای جستجو گر آغاز می‌کنند.
موتور جستجو گر سایتی است که با گرفتن عبارتی مختصر, کاربر را با لیستی از سایتها روبه رو می‌کند که به موضوع مورد علاقه او مرتبط است. موتور جستجو گر سایتی است که برای کمک به کاربران در یافتن اطلاعات موجود در سایر سایتها طراحی شده است. بسیاری از آنها ابتدا تنها پروژه های دانشگاهی بوده اند نظیر:
Google, Inktomi, Yahoo
وقتی یک کاربر عبارتی را جستجو می‌کند, موتور جستجو گر لیستی از سایتها را نشان می‌دهد که تعداد آنها از چند مورد تا میلیونها صفحه متغیر است. سایتهایی که موتور جستجو گر به عنوان نتایج جستجویش نشان می‌دهد بر حسب میزان ارتباط با موضوع جستجو شده به ترتیب نزولی لیست می‌شوند.
به عبارت دیگر سایتی که به عنوان اولین نتیجه جستجو معرفی می‌شود, مرتبط ترین سایت به عبارت جستجو شده از دید آن موتور جستجوگر بوده است.
هر چه بر محبوبیت وب افزوده می‌گردد  نیاز به بایگانی کردن اطلاعات آن نیز بیشتر می‌شود. موتور نیاز به سرعت در اختیار کاربران قرار می‌دهد.
بدون موتور جستجو گر, وب تنها به بخش کوچکی از موفقیت امروزی خود دست می‌یافت, زیرا موتور جستجو گر وب را به رسانه ای قابل استفاده برای همه کس کرده است چرا که از هیچ کس توقع نمی‌رود که آدرسهای بسیاری از سایتهای مختلف را به یاد آورده آنچه که تمام موتورهای جستجو گر انجام می‌دهند. (با درجات متفاوتی از موفقیت), فراهم آوردن یک وسیله جستجوی ساده است.
•    مقدمه:
افرادی که دستی در تجارت الکترونیک دارند اذعان می‌کنند که آوردن بیننده به سایت ضروری ترین شرط موفقیات برای سایتهای تجارت الکترونیک است. فرقی نمی‌کند که سایت چه کالا و خدماتی را ارایه می‌کند, هر سایت اگر خواهان کسب در آمد و محبوبیت است, باید بیننده داشته باشد.
تعداد بینندگان هر سایت, برگیرنده آن در دنیای وب است. سایتی که بیننده ندارد بدون شک مرگی آن لاین را تجربه می‌کند مرگی که متاسفانه نمی‌توان کسی را ختم به مراسم ختمش دعوت نمود!
آمارهای رسمی‌به خوبی نشان می‌دهند که موتورهای جستجوگر ابزار مناسبی هستند که کاربران آنها کالالإ خدمات و اطلاعات مورد نیاز خود را می‌یابند.
البته تنها رتبه های بالای نتایج جستجو است که مورد توجه کاربران قرار دارد و آنها به سایتهای لیست شده در این رتبه ها مراجعه می‌کنند. کابران هنوز هم علاقه دارند که ده سایت اول در نتایج جستجو را مرور کرده از بقیه سایتها صرفنظر کنند. این رفتار کاربران پیام بسیار واضحی دارد:
سایتهایی که در رتبه های بالا قرار نمی‌گیرند, بینندگان چندانی هم نخواهند داشت.
با دقت در این رفتار کاربران اهمیت کسب رتبه های بالا در موتورهای جستجوگر روشن تر می‌شود. نکته دیگر آنکه بینندگانی که بدین ترتیب از طریق موتورهای جستجوگر روانه سایتها می‌شوند. عموما علاقه مندان به آن سایت هستند و این در حالی است که هزینه چندانی صرف آوردن آنها به سایت نشده است.
امورزه تجارت الکترونیک خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است زیرا رتبه های بالاتر مستقیما به فروش بیشتر تعبیر می‌شوند.
طبق آمارهای ارایه شده در ابتدای سال جدید میلادی ۲۰۰۳ نزدیک به ۹۳ درصد بینندگان سایتهای فعال در زمینه ارایه هدایای کریسمس را موتورهای جستجو گر فراهم کرده اند که در این بین گوگل با ۲۷ درصد در صدر ایستاده است رتبه های بالا آر روز هر دارند سایتی است که آگاهانه پای در دنیای مجازی وب می‌نهد. هر روزه سایت های بسیاری در وب منتشر می‌شوند که دارندگان آنها به امید کسب در آمد و موفقیت به این تجارت نوین وارده شده اند اما تنها عدد معدودی از آنها با استفاده از تکنیک های موثر کسب در آمد و با تکیه بر تخصص خود در این بین به موفقیت دست می‌یابند.
امروز, بازاریابی در اینترنت روشهای بسیاری را برای کسب در آمد هر چه بیشتر در اختیار سایت های قرار داده است اما انتخاب اول تمامی‌سایت ها رتبه های بالا درموتورهای جستجوگر است.
به طور خلاصه موتور جستجوگر سایتی است که کاربران اینترنت به کمک آنها سایت ها و اطلاعات مورد علاقه خود را می‌یابند. نتایج جستجوی تمام موتورهای جستجوگر دقیق نیست.
بسیاری از کاربران دریافته اند که در اغلب موارد ۱۰ رتبه اول نتایج جستجوی موتورهای جستجوگر می‌تواند خواسته آنها را برآورده کند.
تجارت الکترونیک به شدت خود را با مسائل رتبه بندی در موتورهای جستجوگر هماهنگ کرده است و همه سایت ها برای کسب رتبه های بالا تلاش می‌کنند.
موتورهای جستجوگر در واقع یک کار انجام می‌دهند:
فراهم آوردن یک وسیله جستجوی ساده برای کمک به کاربران در رسیده به اطلاعات موردنیزا
برای نیل به این مم موتورهای جستجوگر از اطلاعات موجود در پایگاه داده شان کمک می‌گیرند. اطلاعات این پایگاه داده نیز به روش های گوناگونی تامین می‌شود. کار جمع آوری داده را اسپایدرها بر عهده دارند. اما آیا همه موتورهای جستجوگر اسپایدر دارند؟ آیا همه اسپایدرها مثل هم کار می‌کنند؟
با توجه به نوع جمع آوری اطلاعات شیوه ارایه نتایج و مواری دیگر موتورهای جستجوگر به انواع گوناگونی تقسیم می‌شوند که عبارتند از:
–    search engine
–    directory
–    meta search engine
–    pay per click search engine
–    specialty search engine

•    الف- search engine یا موتور جستجوگر
در این نوع از موتورهای جستجوگر کار جمع آوری اطلاعات بر عهده اسپایدها است. درحالت کلی زمانی که صحبت از موتور جستجو می‌شود مقصود این نوع آن است.
پایگاه داده این نوع از موتورهای جستجوگر بزرگتر از سایر انواع است و اطلاعاتی را که آنها ارایه می‌دهند معمولا به روزتر می‌باشد. عملیات به روز رسانی و گسترش پایگاه داده موتور جستجوگر از یک هفت تا چند ماه به طول می‌انجامد.
اسپایدرها, هیچ گاه از کار نمی‌ایستند و به طور مداوم به جمع آوری اطلاعات مشغول هستند. ممکن است اطلاعات جمع آوری شده توسط اسپایدرها از صفحات جدیدی باشد و یا اطلاعات به روز شده از صفحاتی باشد که قبلا هم به آنها مراجعه کرده اند.
وقتی که صحبت از تکنیک های بهینه سازی رتبه سایت های می‌شود در واقع تکنیک هایی مطرح اند که برای کار با این نوع از موتورهای جستجوگر موثرند. بعضی از این موتورهای جستجوگر عبارتند از:
google , MSN, Altavista, Northemlight, wisenut, teoma,…

•    ب- Directory  یا فهرست
دایرکتوری ها اطلاعات را در گروه های مختلف دسته بندی می‌کنند. تفاوت اصلی دایرکتوری با یک موتور جستجوگر در این است که دایرکتوری اسپایدر ندارد.
دارندگان سایت ها به دایرکتوری مراجعه می‌کنند, گروه مناسب برای سایت خود را در آن بر می‌گزینند و سایت خود را به آن گروه معرفی می‌کنند.
پس از آنکه اطلاعات سایت ها به گروه های مختلف ارسال شد ویراستاران دایرکتوری آن اطلاعات را بررسی می‌کنند. در صورتی که گروه درخواست شده با زمینه فعالیت سایتمعرفی شده یکی باشد و همچنین سایر قوانین دایرکتوری نیز رعایت شده باشد سایت معرفی شده را در گروه یاد شده می‌پذیرند و در غیر اینصورت از قبول آن امتناع می‌کنند. در صورتی که کاربران استفاده درستی از گروه های دایر کتوری بنمایند می‌توانند اطلاعات مفیدی را به کمک آنها کسب کنند.
دایرکتوری از وجود یک سایت مطلع نمی‌گردد مگر زمانی که آن سایت به دایرکتوری معرفی شود تا در یکی از گروه های آن قرار گیرد.
یکی از ایراداتی که دایرکتوری ها وارد می‌شود این است که سایت های مرده زیادی در خود دارند. به عبارت دیگر یا سایت بعد از آنکه به آن معرفی شده است دیگر به فعالیت خود ادامه نداده است اما با این حال هنوز هم دایرکتوری آنرا به عنوان یک سایت فعال به کاربران معرفی می‌کند.
البته دایرکتوری های حرفه ای با استخدام ویراستاران زیادی تلاش بسیاری برای رفع این نقص می‌نمایند.امکان دارد دایرکتوری ها برای بررسی این مورد از اسپایدارها هم کمک بگیرند. در این مورد خاص کار اسپایدار این است که بررسی کند که آیا سایت هایی که قبلا در گروه های قرار گرفته اند هنوز هم فعال می‌باشند.
قرار گرفتن در پایگاه داده دایرکتوری های عمده نقش مهمی‌در کسب رتبه های بالا در موتورهای جستجوگر دارد. دایرکتوری های عمده عبارتند از yahoo, looksmart, dmoz

•    ج- Meta search engine یا ابر جستجوگر
ابرجستجوگر از نتایج سایر موتورهای جستجوگر استفاده می‌کند. کار آن بدین صورت است که سوالات کاربران را هم زمان به موتورهای جستجوگر مختلفی ارسال ونتایج جستجوی آنها را بررسی می‌کند و در نهایت رتبه های بالای آنها را به عنوان نتایج جستجوی خود نشان می‌دهد. این نوع موتور جستجوگر اسپایدار ندارد.
مهم ترین آنها عبارتند از:
meta crawler, dogoile, IXQuick, mamma

•    د- pay per click gearch engine یا موتورهای جستجوگر رتبه به ازای پول
کار آنها بسیار شبیه یک مزایده است:
با توجه به واژه کلیدی انتخابی برای بالاترین رتبه باید قیمت نسبت به سایر متقاضیان پرداخت شود.
در واقع نحوه ارائه نتایج جستجو در ppc    به این ترتیب است که اگر سایتی خواهان بالاترین رتبه در نتایج جستجوی آن می‌باشد, باید بالاترین رقم به ازای هر کلیک را نسبت به تمام رقبا بپردازد.
به عنوان مثال اگر سایتی مکان اول را برای عبارت persian carpet به قیمت ۲۸ ریال از سوی سایت خریدار رتبه به موتور جستجوگر باید پرداخته شود. اگر هزار نفر این کار را انجام دهند آنگاه ۱۰۰۰*۲۸ ریال باید پرداخته شود.
البته اینگونه نیست که اینگونه از موتورهای جستجوگر فقط سایتهایی را نمایش دهند که با آنها قرارداد تجاری دارند. بلکه ابتدا تمام سایتهایی را که با آنها قرار داد تجاری دارند نمایش می‌دهد و سپس سایتهای دیگری را برای تکمیل کردن نتایج جستجوی خود به سایتهای یاد شده می‌افزایند.

•    روش ارایه نتایج در یک موتور جستجوگر رتبه بازای پول
سایتهای رده ۱۱۰ و ۱۱۱ برای عبارت free stuff هزینه می‌پردازند که بالاتر از سایت رده ۱۱۲ استاده اند. به عبارتهای sponsored listing و additional listing توجه کنید. فکرش را بکنید که ۱۱۱ سایت حاضر به پرداخت پول برای این عبارت بوده اند در حالیکه همه آنها می‌دانسته اند در چه رتبه ای نشان داده خواهند شد. اگر فرض کنید که سایت رده ۱۱۱ برای هر کلیک تنها یک سنت بپردازد و اختلاف هر رتبه با رتبه های دیگر تنها یک سنت باشد آنگاه سایت رتبه اول حاضر به پرداخت ۱۱۱ سنت برای هر کلیک برده است. سایتهایی را مشاهده کرده ام که حاضر به پرداخت ۱۴ دلار به ازاری هر کلیک نیز بوده اند.
این رقابت شدید در این نوع از موتورهای جستجوگر می‌تواند ناشی از بازده بسیار بالای این نوع موتورهای جستجوگر و همینطور اطمینان دارندگان سایتها از فروش خود باشد. البته می‌توانید سایتهایی را که ناشیانه حاضر به پرداخت رقم بالایی شده اند را هم به دلایل بالا بیافزایید.
•    فواید آنها
–    دارنده سایت تنها زمانی پول می‌پدازند که واقعا بیننده ای به سایت او بیاید.
–    سایت تقریبا در عرض چند ساعت و یا حداکثر یک هفته در نتایج جستجو قرار می‌گیرد و دیگر نیازی به چندین ماه ماندن نیست تا در نتایج جستجوی سایر موتورهای جستجوگر قرار گیرد که آن هم معلوم نیست در چه رتبه ای قرار خواهد گرفت.
–    سایتی اگر بالاترین رتبه را می‌خواهد, کافی است که بالاترین قیمت را بپردازد ودیگر نیازی به کاربرد تکنیکی های رایج برای کسب رتبه های بالا نیست.
–    یک سایت با استفاده از سیستم این موتورهای جستجوگر در نتایج جستجو شرکای تجاری آنها هم قرار می‌گیرد.

•    ه- Specialty search engine یا موتورهای جستجوگر خاص.
این نوع از موتورهای جستجوگر بر موضوعی خاص تمرکز دارند و تنها سایت های مرتبط با آن موضوع را در پایگاه داده خود قرار می‌دهند. به عنوان مثال یکی از آنها ممکن است تنها سایت های ایرانی را بپذیرد و موضوع فعالیتش سایت های ایرانی باشد.
این موتورهای جستجوگر معمولا اطلاعات تخصصی تری را ارائه می‌دهند زیرا معمولا توسط افرادتخصص در آن زمینه اداره می‌شوند. موتورهای جستجوگر منطقه ای و موضوعی نیز به این دسته تعلق دارند. در این مورد می‌توان به مواردی نظیر chemical search, industry search اشاره کرد.
وقتی جستجویی در یک موتور جستجوگر انجام ونتایج جستجو را ارایه می‌شود کاربران در واقع نتیجه کار بخش های متفاوت آن موتور جستجو گر را می‌بینند. موتور جستجوگر قبلا پایگاه داده اش database را آماده کرده است و این گونه نیست که در همان لحظه جستجو تمام وب را بگردد. بسیاری از خود می‌پرسند که چگونه امکان دارد گوگل Google در کمتر از یک ثانیه تمام سایتهای وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه کند؟
نه گوگل و نه هیچ موتور جستجوگر دیگری توانایی انجام این کار ندارند. همه آنها در زمان پاسخ گویی به کاربران تنها در پایگاه داده ای که در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به کمک بخش هایمتفاوتی خود اطلاعات مورد نیاز را قبلا جمع آوری تجزیه وتحلیل می‌کند و آنرا در پایگاه داده اش ذخیره می‌نماید.
بخشهایمجزای یک موتور جستجوگر عبارتند از:
–    spider عنکبوت
–    crawler یا خزنده
–     indexer یا بایگانی کننده
–    database یا پایگاه داده
–    Ranker یا سیستم رتبه بندی

•    الف-  spider عنکبوت
اسپایدار یا روبوت نرم افزاری است که کار جمع آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند, محتوای آنها را می‌خواند و اطلاعات مورد نیاز موتور جستجوگر را جمع آوری می‌کند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می‌دهد. کار یک اسپایدر بسیار شبیه کار کاربران وب است. همانطور که کاربران صفحات مختلف را بازدید می‌کنند اسپایدر هم این کار را انجام می‌دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می‌بیند. اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را.

•    اما یک اسپایدر آنرا چگونه می‌بیند؟
برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید, کافی است که کدهای HTML صفحات رامشاهده کنید. در مرور گرهای نت اسکیپ برای مشاهده کدهای HTML باید مسیر زیر را دنبال کنید:
view> page source