راز و رمز موتورهاي جست وجوگر

شايد بتوان گفت که اينترنت بدون حضور موتورهاي جست وجويي که در حال حاضر وجود دارد بيشتر از نصف کارايي و جذابيت خود را براي کاربران از دست خواهد داد. اين روزها موتورهاي جست وجو عصاي دست بسياري از کاربران هستند و ما را تا حدود زيادي بي نياز از ديگران کرده اند. براي پاسخ دادن به هر سئوالي که به ذهنمان وارد مي شود، کافي است که به اينترنت دسترسي داشته و با يک جست وجوي ساده در عرض يک چشم به هم زدن به آن چه که مورد نيازمان است برسيم. خلاصه در يک کلام بايد گفت که اين موتورها در حقيقت موتور اينترنت هم هستند و باعث روشن ماندن و جذابيت بيشتر اين فناوري شده اند. شايد بسياري از کاربران با عنواني با نام « موتور جست وجو» آشنايي نداشته باشند در حالي که تا به حال از آن زياد استفاده کرده اند. به عنوان مثال ممکن است که شما بارها به سايت گوگل سر زده باشيد اما دقيقا ندانيد کاري که در اين سايت انجام مي شود چه بوده و به چه صورتي انجام مي گيرد. سال 1992 بود که شبکه جهاني وب يا همان اينترنت به راه افتاد و امروزه در هر زمينه اي که بتوان تصور کرد، اينترنت يک ابزار بسيار موثر و توانمند به حساب خواهد آمد. بايد بدانيد که در حال حاضر جهان اينترنت منبع بسيار بزرگي از اطلاعات است که روز به روز هم بر حجم اين منبع اضافه مي شود. اکنون بيش از ميلياردها صفحه که اطلاعات زيادي از موضوعات مختلف را در خود دارند روي سرورهاي مختلف اينترنتي قرار گرفته‌اند. نرخ رشد اين اطلاعات به جايي رسيده است که امروزه مشکل دسترسي به اطلاعات بسيار جدي تر از نبود اطلاعات شده است. اين حرف به اين معني است که شايد بتوان گفت دغدغه اصلي کاربران امروزي اين شده است که درگير اين نيستند که براي موضوعي خاص به دنبال مطلب بگردند بلکه تمامي اطلاعات مورد نياز آن ها وجود دارد و تنها بايد تصميم بگيرند که اطلاعات کدام صفحه مناسب تر و معتبرتر است که از ميان تعداد عظيم صفحات موجود در اينترنت، آن صفحه را براي خواندن انتخاب کنند. به اين ترتيب اگر ابزاري وجود داشته باشد که اين عمليات انتخاب را براي ما انجام داده و به افراد در پيدا کردن اطلاعات مورد نيازشان کمک کند بسيار خوب خواهد شد. در واقع اين ابزارها در حال حاضر هم وجود دارند و افراد آن ها را با نام «موتور جست وجو» مي شناسند. در حقيقت موتورهاي جست وجو با گرفتن کلمه يا عبارتي از کاربر، ليستي از سايت هاي مرتبط با موضوع مورد علاقه او را نمايش خواهند داد. در موضوع ويژه اين هفته قصد داريم که نگاهي به موتورهاي جست وجو و نحوه کار کردن آن ها داشته باشيم. اگر شما هم از اينترنت براي پيدا کردن مطالب مورد نظرتان استفاده مي کنيد بد نيست که با روش کار اين موتورها آشنا شويد تا با انجام يک جست وجوي صحيح، بهترين نتايج را به دست آوريد.

ممکن است که ميلياردها صفحه اينترنتي وجود داشته باشد که در مورد موضوعات مختلف اطلاعات مورد نياز شما را در اختيارتان قرار دهند اما شما از وجود اين صفحات اطلاعي نداشته و حتي نتوانيد به دنبال آن ها بگرديد. به اين ترتيب وجود اين سايت ها عملا بي فايده خواهد بود. با توجه به اين که تعداد سايت هاي مختلف به شکل صعودي در حال رشد است لزوم يک مرکز براي شناسايي اين پايگاه ها به منظور استفاده بهتر و بيشتر کاربران، ضروري به نظر مي رسيد. تا به حال هيچ مرکز رسمي بين المللي مسئولي در اينترنت به وجود نيامده است که اسامي و آدرس سايت هايي که در اينترنت منتشر مي‌شوند را به کاربران اعلام کند و به همين دليل تنها راه پيدا کردن آن سايت ها اين است که آدرس دقيقشان را داشته باشيم. اين کار هم در ظاهر ساده به نظر نمي رسد و به همين دليل بود که موتورهاي جست‌وجو براي آسان شدن دسترسي کاربران به مطالب موجود در سايت هاي اينترنتي راه اندازي شدند. اگر بخواهيم کمي بيشتر توضيح دهيم بايد گفت که اکنون بدون موتورهاي جست وجو نمي توانيم از به روز رساني هاي سايت هاي اينترنتي مختلف مطلع شويم. با اين اوصاف مي توان به آساني فهميد که بزرگترين و مهمترين توانايي موتورهاي جست وجوگر اين است که مي توانند مخاطبان واقعي هر سايتي را براي آن شناسايي کرده و جذب کنند به اين ترتيب صاحبان وب سايت ها از شر مخاطبان وبگرد و سرگردان خلاص خواهند شد. آمارهايي که به تازگي منتشر شده نشان از اين دارد که بسياري از کاربران سفر خود در جهان مجازي را با موتورهاي جست وجو آغاز مي کنند و در حال حاضر استفاده از اين موتورها بسيار عادي شده است و بعد از ارسال و دريافت نامه هاي الکترونيکي يا همان ايميل ها، جست وجو کردن و کار با موتورهاي جست وجو، دومين فعاليت عمده کاربران در اينترنت به حساب مي آيد. هر چه تعداد کاربران اينترنتي و همچنين تعداد مطالب و محتواي موجود در اينترنت بيشتر شود اين نياز هم بيشتر احساس مي شود که اين اطلاعات به شکلي بايگاني شده و دسته بندي شوند. در حقيقت موتورهاي جست وجوگر وظيفه بايگاني اين صفحات و سايت ها را به عهده دارند و مي توانند تمامي اطلاعات را در زمان مورد نياز به سرعت در اختيار کاربران قرار دهند. معمولا اين گونه است که سايت هايي که توسط يک موتور به عنوان نتيجه جست وجو نمايش مي دهد، به ترتيب بر حسب ميزان ارتباط با عبارت جست وجو شده به صورت نزولي ليست مي‌شوند. يعني در نتايج ارائه شده سايتي که به عنوان اولين نتيجه به شما نشان داده مي شوند، مرتبط‌ترين نتيجه خواهد بود. تا به اين جا در اين رابطه صحبت کرديم که موتورهاي جست وجو به چه دليل به وجود آمده و از ديدگاه کاربران وب چه اهميتي دارند. اما بد نيست که نگاهي هم به اين موضوع داشته باشيم که آيا موتورهاي جست وجو از نظر تجاري و از ديدگاه مدير يک وب سايت هم داراي اهميت مي باشند يا نه؟

اين گونه نيست که جست وجوگرها يک ابزار يک منظوره باشند و تنها به درد کاربران اينترنتي بخورند و اطلاعات مورد نيازشان را در اختيارشان قرار دهند. در واقع بايد گفت که موتورهاي جست وجو يکي از مهم‌ترين ابزارها براي فعالان عرصه تجارت الکترونيک به حساب مي آيند. براي کسي که صاحب کسب و کار اينترنتي است، ضروري به نظر مي رسد که بتواند بيننده هاي زيادي را به سايتش هدايت کند. در واقع هر چه تعداد بازديدکنندگان يک وب سايت بيشتر باشد، احتمال موفقيت آن هم بيشتر خواهد بود. اگر کسي به دنبال فروش کالا و ارائه خدمات از طريق اينترنت است بايد به اندازه کافي بيننده داشته باشد تا بتواند به سود مناسبي دست پيدا کند. بدون ترديد اگر سايتي بيننده نداشته باشد دچار يک مرگ آنلاين خواهد شد و به همين دليل است که مديران و طراحان سايت به درستي آگاه هستند که فقط اين که يک سايت طراحي خوبي داشته باشد نمي توان تضمين کرد که بيننده کافي هم دارد. بلکه بايد فکري هم براي جذب بيننده به سايت داشته باشيم. بدون شک در اين لحظه بايد به موتورهاي جست وجو فکر کرد زيرا اگر آدرس وب سايت ما در نتايجي که توسط اين موتورها نشان داده مي شود، بالاتر ديده شود، امکان بازديد از وب سايت ما بيشتر خواهد شد. در حال حاضر بيش از 82 درصد از کاربران اينترنتي از موتورهاي جست وجو به عنوان ابزار اصلي خود براي يافتن وب سايت ها استفاده مي کنند. و 57 درصد از کاربران اينترنتي هم هر روز در اينترنت به جست وجو پرداخته و از اين راه به دنبال کالاها و خدمات مورد نياز خود مي گردند. اگر بخواهيد اهميت و نقش عمده موتورهاي جست وجو در اينترنت را بيشتر درک کنيد بايد بگوييم که اکنون بيش از 85 درصد از ترافيک هدفمندي که در اينترنت وجود دارد به دليل موتورهاي جست وجو است و تمامي اين آمار و ارقام در کنار هم نشان از اين دارد که موتورها بهترين ابزار براي مديران وب سايت ها هستند تا به خريداران کمک کنند که سريع تر به وب سايت آن ها هدايت شوند. معمولا اين گونه است که کاربران در بيشتر موارد تمايل به ديدن 10 رتبه اولي که در نتايج جست وجو وجود دارد، دارند و مي دانند که اين صفحات اوليه قادر هستند که به نياز آن ها پاسخ دهند اما آمارها به اين شکل است که چيزي در حدود 70 درصد از کاربران در هنگام عمليات جست وجو تنها روي سه سايت ابتدايي نتايج کليک مي کنند و از تنها 7 درصد از کاربران به دنبال مشاهده سايت هايي هستند که در رتبه هاي بيستم به بعد قرار دارند. بيش از 85 درصد از کاربران هم اگر جوابي براي جست وجوي خود در 10 نتيجه اول نمايش داده شده نديدند، موتور جست وجوگر خود را عوض مي کنند. 33 درصد از کاربران هم در اين فکر هستند که سايتي که در ابتداي نتايج جست وجو به آن ها نشان داده مي شود در مورد موضوع جست وجو شده، سرآمدتر از ديگر سايت هاست و مطالب بهتري نسبت به ديگر رقباي خود دارد. اين آمار نتيجه بسيار واضحي دارند اين که اگر سايتي در رتبه بالاي نتايج جست وجو قرار نگيرد، بخش مهم و بزرگي از مخاطبان خود را از دست خواهد داد. در حال حاضر تجارت الکترونيک با مسئله رتبه بندي در موتورهاي جست وجو سازگاري زيادي پيدا کرده زيرا رتبه هاي بالاتر روي فروش بيشتر تاثير مستقيمي دارد و اکنون اين وب سايت شرکت گوگل است که در اين رابطه بيشتر از همه به کاربران کمک مي کند و بيشتر مردم اگر به دنبال موضوعي در اينترنت مي گردند مستقيما به سراغ موتور جست وجوي شرکت گوگل مي روند. تمامي اين مسائل باعث مي شود که مديران سايت ها به دنبال اين باشند که رنکينگ خود را در موتورهاي جست وجو بالا ببرند به اين معنا که در رتبه هاي بالاتري به کاربران نمايش داده شوند، البته اين کار باعث نمي شود که شما به صورت 100 درصد به موفقيت دست پيدا کنيد زيرا برخي از روش‌هايي که براي اين کار مورد استفاده قرار مي گيرد بعد از مدتي باعث مي شود که موتور جست وجو، وب سايت شما را به عنوان يک عامل متقلب شناسايي کرده و از نتايج جست وجو به صورت کلي حذف مي کند. به همين خاطر مديران بايد در اين رابطه بسيار محتاط و آگاهانه عمل کنند.

تا به حال شده است که به اين موضوع فکر کنيد که در زماني که چند کلمه را در مستطيل سفيد رنگ يک موتور جست وجي قوي مانند گوگل، تايپ مي کنيد، دقيقا چه اتفاقي مي افتد؟ شما چند لغت را وارد اين موتور جست وجو مي کنيد و پس از مدتي در حد يک چشم به هم زدن، گوگل به شما نتايجي را نشان خواهد داد در حالي که نمي دانيد در پشت پرده دقيقا چه اتفاقي افتاده است. هر موتور جست وجويي از يک سري الگوريتم خاص و اختصاصي براي نمايش نتايجش استفاده مي کند و الگوريتم دقيقي که گوگل از آن استفاده مي کند، دقيقا مشخص نيست اما کليات آن مشابه به آن چيزي است که توسط موتورهاي جست وجوي مشابهش هم مورد استفاده قرار مي گيرد. در مورد طرز کار کلي موتورهاي جست وجو بايد گفت که تمامي اين موتورها به عنوان اولين راه براي کاهش زمان جست وجو از روش پيش پردازش محتواي وب سايت ها استفاده مي کنند. در اين زمان اگر يک کاربر درخواستي را از يک موتور جست وجو داشته باشد به جاي اين که آن درخواست به ميليون ها وب سايت فرستاده شود از طريق عمليات پيش پردازش با داده هاي موجود مقايسه مي شود و در صورت وجود هر گونه مطابقتي نتايج به ما نمايش داده خواهد شد. انجام عمليات پيش پردازش با استفاده از برنامه نرم افزاري با نام crawler انجام مي گيرد و اين برنامه با کمک از نگهدارنده ها و به روزکنندگان بانک هاي اطلاعاتي فرستاده مي شود تا فهرست صفحات وب را جمع آوري کند. در کنار اين عمليات يک برنامه ديگر هم صفحات بازيافت شده را پيمايش مي کند تا کلمات را از آن استخراج کرده و سپس اين لغات مرتبط به همراه يک لينک که مربوط به آدرس صفحه است، در يک فايل با نام شاخص ذخيره خواهند شد. تمامي جست وجوهايي که کاربران انجام مي دهند با اين فايل شاخص مقايسه مي شوند و عمليات تطابق در حقيقت با اين فايل انجام مي گيرد نه کل وب سايت هاي موجود در اينترنت.

کار بعدي که انجام مي شود اين است که نتايجي که به دست مي آيند با يک اولويت خاص به کاربر نشان داده شوند. تعداد لينک ها يا در اصطلاح همان Urlهايي که به عنوان نتايج جست وجو توليد مي شوند، بسيار زياد است. ولي مشخص است که تمامي اين نتايج به درد بخور نيستند و کاربر از ديدن حجم زياد آن ها خوشحال نخواهد شد. پس بهتر است که براي اين که دسترسي سريع تري به صفحات به درد بخور داشته باشيم، صفحاتي که موضوع مرتبط‌تري دارند در اولويت بالاتري قرار گيرند. براي اولويت بندي هم روش هاي متفاوتي وجود دارد و در اين روش ها چگونگي توزيع شدن کلمات و تعداد تکرار آن ها بررسي مي شود و براي هر کلمه يک وزن عددي توليد مي شود. معمولا بيشتر افرادي که در بالا بردن رنکينگ سايت در موتورهاي جست وجو، ادعاي تخصص دارند، سعي مي کنند با روش هايي مانند تکرار کلمات اولويت نمايش شما را بالا ببرند. وزن عددي توليد شده در اين روش به معني درجه اهميت و اعتبار کلمات در اسناد مختلف است. به اين کار در حقيقت وزن دهي واژه يا term weighting گفته مي شود. هر چه تعداد دفعات تکرار يک واژه بيشتر باشد اهميت آن واژه بالاتر خواهد رفت و هر چه تعداد صفحات يا اسنادي که شامل آن واژه است بيشتر باشد اهميت آن واژه در تمايز اسناد کمتر خواهد بود. به طور معمول اين گونه است که کلمه هايي که در عنوان يک صفحه قرار مي گيرند به عنوان مهم ترين کلمات آن متن شناخته مي شوند. موتور جست وجوي گوگل از اين روش براي بالا بردن نتايج جست وجوي خود استفاده مي کند. شايد اکنون راحت تر بفهميد که چرا در زماني که جست وجويي را انجام مي دهيد نتايج بي ربطي که بيشتر مربوط به سايت هاي تبليغاتي است در چند مورد اول به شما نمايش داده مي شود. وقتي روي اين موارد کليک مي کنيد، با صفحاتي مواجه خواهيد شد که در بالاي آن صفحات يا درون صفحه تعداد زيادي از کلمات مربوط به آن چه که شما جست وجو کرده ايد، نوشته شده است ولي چيز خاص و مفيدي در محتواي سايت وجود ندارد و به جاي آن با حجم انبوهي از تبليغات مواجه خواهيد شد. اين همان چيزي است که در قبل هم در مورد آن صحبت کرديم و بيشتر افراد سعي مي کنند که با استفاده از اين روش ها بلايي سر موتور جست وجو بياورند که آن ها را به عنوان يک نتيجه برتر به کاربر نشان دهد. اما اگر مشخص شود که شما چه کاري براي بالا آمدن در نتايج انجام داده ايد براي هميشه توسط آن موتور جست وجو بلاک خواهيد شد.

بخش ديگري که براي کاربران جذابيت دارد اين است که زماني که در حال تايپ کردن يک عبارت در باکس جست وجو هستند، خود موتور سعي مي کند که حدس بزند که شما به دنبال چه کلماتي هستيد و مواردي را به عنوان پيشنهاد به شما نشان مي دهد. براي اين که در اين رابطه براي شما توضيح دهيم بايد با مفهومي با نام Caching آشنا شويد. در حين عمليات Cache آن چيزي که به تازگي از سوي کاربران ديگر جست وجو شده و به درخواست شما هم نزديک است، در جايي نگهداري مي شود و در زماني که کاربر پرس و جوي خود را به موتور جست وجو ارسال مي کند مورد استفاده قرار مي گيرد. به عنوان مثال زماني که موتور جست وجو به شما املاي صحيح کلمه اي را اعلام مي کند يا از شما مي پرسد که شايد منظور شما فلان کلمه است، از اين روش استفاده مي کند. راه ديگري که براي سرعت دادن به پاسخ دادن به درخواست هاي کاربران مورد استفاده قرار مي گيرد توجه به مکان جغرافيايي کاربر است. هر کسي با توجه به مکاني که در آن زندگي مي کند مي‌تواند جست وجوهاي متفاوتي داشته باشد. در کنار تمامي اين روش ها که همه آن‌ها به صورت مشترک توسط تمامي موتورهاي جست وجو به کار گرفته مي شوند، هر شرکتي هم روش هاي مخفي و انحصاري براي خود دارد که از آن ها صحبتي به عمل نمي آورد. به خاطر تفاوت هاي موجود در همين الگوريتم هاي مخفي است که يک موتور جست وجو بسيار عالي عمل مي کند و موتور ديگري ضعيف تر ظاهر مي شود.