پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو

word 3 MB 31060 190
1393 کارشناسی ارشد مهندسی کامپیوتر
قیمت: ۲۴,۷۰۰ تومان
دانلود فایل
  • بخشی از محتوا
  • وضعیت فهرست و منابع
  • پایان نامه دوره کارشناسی ارشد مهندسی کامپیوتر نرم افزار (M.Sc)

    چکیده

    ماهیت پویای شبکه جهانی و ابعاد رو به رشد آن، بازیابی دقیق اطلاعات را دشوار ساخته است. پاسخ های نادرست برگشت داده شده به وسیله ی موتورهای جستجو، خصوصا برای عبارات پرس‌و‌جو با معانی مختلف، باعث نارضایتی کاربران وب شده‌است که نیاز به پاسخ های دقیق برای تقاضاهای اطلاعاتی خود دارند. امروزه موتورهای جستجو تلاش می‌کنند تا درخواست کاربران را از طریق مطالعه سابقه جستجو و یا حتی شرکت دادن کاربران در فرایند جستجو به منظور روشن ساختن آنچه که آن‌ها واقعا نیاز دارند، دریابند. این روند بخشی از تلاش موتورهای جستجو برای شخصی‌سازی است.

    یکی از موتورهای جستجوی شخصی‌سازی شده ی خوش تعریف و خوش ساخت، اسنکت[1] است که از مشارکت کاربر برای فرایند شخصی‌سازی استفاده می‌کند. در این تحقیق بر اساس الگوریتم شخصی‌سازی شده اسنکت، یک معماری از موتور جستجوی شخصی‌سازی شده جدید پیشنهاد شده در این پایان نامه به نام PSEFiL ارائه شده‌است که با دخالت دادن کاربر و فیلتر سازی لینک ها پاسخ هایی با کمترین میزان یا عدم وجود انحراف موضوع به منظور غنی سازی مجموعه جواب، به کاربران تحویل می‌دهد. علاوه بر این، مجموعه جواب مستحکم است زیرا هر لینک موجود در مجموعه نتایج، یا دارای رتبه بالایی از سایر موتورهای جستجو است و یا کمترین انحراف موضوع را با یک فرایند اسکن دستی دقیق داراست. بعلاوه هر لینک به روشنی برای هر معنی ذهنی موجود از یک عبارت پرس‌و‌جو طبقه‌بندی شده‌است. یکی از اهداف  PSEFiL، آماده سازی و تحویل پاسخ های دقیق است نه تحویل مجموعه پاسخی با لینک های بیشتر که ممکن است محتوایشان دقت کم داشته و یا دقیق نباشند.

     

    کلمات کلیدی

    موتور جستجو، بهینه سازی موتور جستجو، شخصی‌سازی موتور جستجو، ساختار کاوی وب, محتوا کاوی وب

    فصل اول

    کلیات

    وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد، به انتشار اسناد خود در آن مبادرت می ورزند. با توجه به حجم وسیع اطلاعات و با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان‌ها بدل گشته است. از این رو در سال های اخیر، روش‌ها و تکنیک‌های دستیابی کارا به داده‌ها، به اشتراک گذاری داده‌ها و استخراج اطلاعات از داده‌ها به شدت مورد نیاز جامعه ی اطلاعاتی و کاربران آن می باشد. اهمیت مدیریت و دسته بندی موثر انواع گوناگون داده‌ها به منظور استفاده و تحلیل کارآمد آن‌ها برای کاربران عام و همچنین کارمندان دانشی[2] از کسی پوشیده نیست. در این بین، ماهیت وب دربردارنده ی چالش های بسیاری است که دسته بندی و مدیریت داده‌ها را مشکل می سازد. از آن جمله می توان به دشوار بودن یافتن اطلاعات مورد نیاز در وب به دلیل دقت تحلیلی پایین موتورهای جستجو، عدم خصوصی سازی اطلاعات، طولانی بودن زمان پاسخ درک شده توسط کاربر، عدم رضایت کاربر در کیفیت پاسخ دریافتی، گوناگونی داده‌های موجود در وب و ... اشاره کرد.

    در موتور جستجو[3] کاربر کلید واژه ی را وارد کرده و ماژول جستجو در بانک اطلاعاتی خود به جستجو می‌پردازد و سایت های مرتبط با موضوع شما را نمایش خواهد داد زمانی که کاربر از یک موتور جستجو برای بیان درخواست خود استفاده می‌کند، نتایج ارائه شده ازسوی موتور جستجو، تنها به یک لیست از نتایج منتهی نمی‌شود بلکه اکثرموتورهای جستجو در کنار آن نتایج، امکانات دیگری را به کاربر ارائه می‌دهندکه می‌توانند در رساندن کاربر به درخواست حقیقی اش بسیار مفید باشند.

    روش‌های مختلفی به منظور بازیابی اطلاعات مورد استفاده قرار می‌گیرند که عمدتا مبتنی بر محتوا و ساختارند و از الگوریتم های مختلفی به این منظور استفاده می‌کنند مطالعات نشان می‌دهند کلمات پرس وجو کوتاه و متفاوتند و هر کاربر منظورخاصی از یک پرس وجوی مشابه دارد، در واقع همیشه نتایج ارائه شده آن چیزی نیست که کاربر انتظار آن را دارد، کاربران سلایق متفاوتی دارند اماموتور جستجو نتیجه یکسانی را برای همه آن‌ها ارائه می‌دهد.  اگر بتوان از سلایق کاربران در جستجو استفاده کرد مطمئنا نتایج رضایت بخش تری حاصل می‌شود. در واقع در چنین ساختاری، دو کاربر نتایج متفاوتی را از یک پرس‌وجوی یکسان دریافت می‌کنند.یکی از مباحث مطرح و پرطرفدار در امر بازیابی اطلاعات، شناخت رفتار کاربر[4]  و استفاده از سابقه رفتاری او در مشاهده صفحات وب درگذشته است تا از این رو، نتایج حاصل از موتور جستجو هر چه بیشتر به سلایق کاربر نزدیک باشد و باعث رضایت‌مندی بیشتر کاربران شود در واقع فرایند شخصی‌سازی[5] موتور جستجو و بهبود نتایج حاصل از جستجوی کاربران، از زمینه‌های پژوهشی و باز در این حوزه است که پژوهشگران فراوانی رابه سوی خود جذب کرده و تداعی گر نتایج ارزشمندی تا به امروز است.

    وب‌کاوی[6] به عنوان زیرشاخه ای تخصصی شده از دانش داده کاوی به فرایند کشف اطلاعات و دانش ناشناخته و مفید از داده‌های وب اطلاق می‌شود که در زمینه‌های گوناگون کاربرد دارد و در سال های اخیر و همگام با توسعه ی وب،این شاخه مورد توجه بسیاری از پژوهشگران بوده است. وب‌کاوی نه تنها به معنی استفاده از تکنیک های داده کاوی[7] برای داده‌های ذخیره شده در صفحات وب است بلکه الگوریتم های آن به منظور پاسخ گویی به خواسته های کاربران از وب از نظر زمان پاسخ گویی و قدرت تحلیل وب اصلاح می شوند.

    دراین پایان نامه ابتدا فرایند وب‌کاوی،شخصی‌سازی موتور جستجو روش‌ها و ابزارهای مورد استفاده در آن‌ها تشریح و سپس با استفاده از ترکیب ساختار کاوی و محتوا کاوی و با  بررسی موتور جستجوی اسنکت به شخصی‌سازی موتورجستجو برای رسیدن به نتایج بهترپرداخته می‌شود.

     

    1-2بیان مسئله و اهمیت آن

    گسترش شبکه جهانی وب منجر به تولید حجم زیادی از داده‌ها می شود به گونه ای که در صورت عدم سازمان دهی درست و مدیریت داده‌ها دسترسی موثر به آن‌ها غیرممکن خواهد بود. بنابراین، استفاده از تکنیک های وب کاوی در شبکه ی جهانی وب در حال حاضر مورد توجه بسیاری از پژوهشگران است.وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته از داده‌های موجود در وب می باشد.و محیط اینترنت را به محیطی کاربردی تبدیل کرده تا کاربران بتوانند سریع تر و راحت تر اطلاعات مورد نیازشان را پیدا کنند. این تکنیک شامل کشف و تحلیل داده‌ها،مستندات و داده‌های چند رسانه ای از محیط وب است.وب کاوی،از جزئیات ومحتویات سند و ساختار ابرپیوندها استفاده می کند تا کاربر بتواند اطلاعات مورد نیازش را در اختیار داشته باشد.

    وب کاوی نتیجه ی فرایند توسعه و گسترش مفاهیم و کاربرد داده کاوی در وب است اما دارای تفاوت‌های عمده ای با داده کاوی است. داده کاوی غیربرخط و وب‌کاوی به صورت برخط انجام می گیرد. وب کاوی طی مراحل بازیابی اسناد مورد نظر در وب، انتخاب اطلاعات و پیش پردازش، تعمیم با کشف خودکار الگوهای عام در یک یا چندین سایت وب و تحلیل که در این مرحله الگوهای به‌دست‌آمده در مرحله قبل اعتبار سنجی و تفسیر می شوند،داده را به دانش تبدیل می‌کند. [41]

    روش‌های وب کاوی بر اساس کاوش نوع داده به سه دسته تقسیم می شوند:

    محتواکاوی وب[8]:فرآیند استخراج اطلاعات مفید از محتوای مستندات وب است.این محتوا می تواند شامل متن، تصویر، ویدئو، صدا و یا رکوردهای ساخت یافته مانند لیست ها و جداول باشد.از الگوریتم های مربوط به آن درخت تصمیم و شبکه های عصبی را می توان نام برد.

    ساختارکاوی وب[9] : وب را می توان به صورت گرافی که گره های آن اسناد و یال های آن پیوندهای بین اسناد است، بازنمایی کرد. ساختارکاوی وب، فرآیند استخراج اطلاعات ساختاری از وب می باشد.

    کاربردکاوی وب[10]: کاربرد تکنیک های داده کاوی برای کشف الگوهای کاربرد وب، به منظور درک و برآوردن بهتر نیازهای کاربران می باشد.در واقع روشی برای پیش بینی رفتار کاربر در هنگام تعامل با وب است.کاوش کاربرد وب شامل مراحل پیش پردازش، کشف الگو و تحلیل الگوست[39,41].

    موتور جستجو یا جستجوگر، به طور عمومی به برنامه ای گفته می‌شود که کلمات کلیدی را دریک سند یا بانک اطلاعاتی جستجو می‌کند. در اینترنت به برنامه ای تحت وب گفته می‌شود که کلمات کلیدی موجود درفایل را جستجو می‌کند حال ٱنکه برخی از موتورهای جستجو، سندهای وب جهانی، گروه های خبری و آرشیوهای[11] FTPرا جستجو می‌کنند[55].

    روش‌های مختلفی به منظور بازیابی اطلاعات مورد استفاده قرار می‌گیرند که عمدتا مبتنی بر محتوا و ساختارند و از الگوریتم های مختلفی به این منظور استفاده می‌کنند. مطالعات نشان می‌دهند کلمات پرس وجو کوتاه و متفاوتند و هر کاربر منظورخاصی از یک پرس وجوی مشابه دارد، در واقع همیشه نتایج ارائه شده آن چیزی نیست که کاربر انتظار آن را دارد، کاربران سلایق متفاوتی دارند اماموتور جستجو نتیجه یکسانی را برای همه آن‌ها ارائه می‌دهد. اگر بتوان از سلایق کاربران در جستجو استفاده کرد مطمئنا نتایج رضایت بخش تری حاصل می‌شود.این پایان نامه به دنبال بررسی روش‌های شخصی‌سازی موتور جستجو با استفاده از روش‌های وب‌کاوی است[2].

     

    اهمیت و ضرورت انجام تحقیق

    در سال های اخیر رشد شبکه جهانی وب، بیشتر از حد انتظاربوده و تنوع چشمگیر کاربرد وب، بازیابی مطالب مفید را فرایندی دشوار بدل کرده است. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش‌هایی نو برای مدیریت آن مورد نیاز است.با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان‌ها مبدل گشته است. بنابراین روش‌ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد.یافتن اطلاعات مورد نیاز در وب دشوار می باشدو کاربران معمولا از موتورهای جستجو که مهم‌ترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند، استفاده می کنند.

    اما نتایج بدست آمده از موتورهای جستجو همواره دقیق نیستند. چراکه به دلیل حجم بالای اطلاعات دروب، موتور‌های جستجو قادر به نگهداری این اطلاعات در وب نیستند.با توسعه و ایجاد راهکارهای جدید با بکارگیری اطلاعات موجود در وب می توان داده‌های فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت گیرد. همچنین شخصی سازی اطلاعات به منظور تطابق هرچه بیشتر اطلاعات با خواسته ها و تمایلات کاربران متفاوت و نحوه ارائه اطلاعات به آن‌ها از دیگر موضوعات این زمینه است. و هر کاربر منظورخاصی از یک پرس وجوی مشابه دارد، در واقع همیشه نتایج ارائه شده آن چیزی نیست که کاربر انتظار آن را دارد، کاربران سلایق متفاوتی دارند اماموتور جستجو نتیجه یکسانی را برای همه آن‌ها ارائه می‌دهداین پایان نامه به دنبال بررسی روشی برای شخصی‌سازی اطلاعات بر مبنای ساختار اسنکت و با استفاده از روش‌های وب‌کاوی است زیرااگر بتوان از سلایق کاربران در جستجو استفاده کرد مطمئنا نتایج رضایت بخش تری حاصل می‌شود[2,25].

     

     

     

     

    ساختار پایان نامه

    در این پایان نامه، فصل دوم به بیان مبانی و مفاهیم پایه ای در زمینه ی وب‌کاوی و انواع آن، موتور‌های جستجو و کاربردهای آن و مشکلات موتورهای جستجو پرداخته می‌شود . در فصل سوم به تعریف شخصی‌سازی موتور جستجو و ساختار اسنکت پرداخته می‌شود.در فصل چهارم روشی که برای شخصی‌سازی موتورهای جستجو در این پایان نامه پیشنهاد شده به همراه آزمایش های صورت گرفته بیان می‌گردد.در فصل پنجم رابط کاربری موتور جستجوی پیشنهادی بررسی می‌گردد و در آخر، در فصل ششم نتایج به‌دست‌آمده تحلیل می‌گردد.

     

    ABSTRACT

    The dynamic nature of the World Wide Web and its growing dimension make retrieving the exact information a difficult task. Inaccurate answers delivered by search engines especially for the query phrases with different meaning makes the feeling of dissatisfaction in today’s surfers who needs the specific answer for their information demand. Search engines nowadays tries to understand users’ request through studying his/her search background or even make users participate in the search process in order to clarify what he/she really needs. This trend is part of the search engines’ endeavors to become personalized.

    One of the well-formed personalized search engines is snaket that employs the user participation for personalization process. In this research based on the personalization algorithm of snaket, an architecture of a personalized search engine of PSEFiL is proposed that filters out the links and delivers the answers to users with low or no content drift as a means of enriching the answer set. Furthermore, the answer set is robust because every existing link in result set either is highly ranked from other search engines or has no or less subject jumps with an exact manual scan process. Also every link is clearly classified to every fetched meaning of a query phrase. One objective of PSEFiL is to give the accurate answers not to populate the answer set with more links that may contain less or no accurate answers.

    Keywords

    Search engine, Search engine optimization, Search engine personalization,Web Content Mining, Web Structure Mining.

  • فهرست:

    چکیده................................................................................................................................................................1

    فصل اول(کلیات)...............................................................................................................................................2

    مقدمه...................................................................................................................................................3

    بیان مسئله و اهمیت آن........................................................................................................................4

    اهمیت و ضرورت انجام تحقیق............................................................................................................6

    ساختار پایان نامه.................................................................................................................................7

    فصل دوم(مبانی و مفاهیم پایه).............................................................................................................8

    2-1  مقدمه.......................................................................................................................................................9

    2-2  وب‌کاوی................................................................................................................................................10

    2-3  تکامل تاریخی از وب‌کاوی....................................................................................................................11

    2-4  مشکلات  کاربران در استفاده ازوب.......................................................................................................13

    2-5  شباهت ها و تفاوت های وب‌کاوی و داده کاوی...................................................................................14

    2-6  الگوریتم های وب‌کاوی........................................................................................................................15

    2-7   دسته بندی وب‌کاوی...........................................................................................................................16

    2-7-1 محتوا کاوی وب.........................................................................................................................17

    2-7-1-1 دیدگاه های محتوا کاوی وب............................................................................................17

    2-7-1-2  داده‌های محتوا کاوی وب.............................................................................................. 17

    2-7-1-3  رویکردها و تکنیک های محتواکاوی وب.......................................................................18

    2-7-1-4  انواع محتواکاوی وب…………………………………………………………….. 19

    2-7-2  ساختارکاوی وب........................................................................................................................20

    2-7-2-1  دسته های ساختار کاوی وب بر اساس نوع داده ساختاری................................................21

    2-7-2-2  مدل های بازنمایی ساختار وب.........................................................................................21

    2-7-2-3  کاربردهای ساختارکاوی وب........................................................................................... 23

    2-7-3  کاربردکاوی وب.........................................................................................................................25

    2-7-3-1  فازهای کاربرد کاوی وب.................................................................................................25

    2-7-3-2  انواع داده‌های کاربردکاوی................................................................................................26

    2-7-3-3  کاربردهای کاربردکاوی وب..............................................................................................28

    2-8  کاربردهای وب‌کاوی...........................................................................................................................29

    2-9  چالش های وب کاوی.........................................................................................................................30

    2-10  موتور جستجو...................................................................................................................................31

    2- 11 تاریخچه موتورهای جستجو..............................................................................................................31

    2-12  موتورهای جستجو را از لحاظ پشتیبانی های مالی و نیروی انسانی.....................................................32

    2-12-1  موتورهای جستجوی آزمایشی.................................................................................................32

    2-12-2  موتورهای جستجوی تجاری...................................................................................................33

    2-13  معماری کلی موتورهای جستجو و کارکرد آن‌ها.................................................................................33

    2-13-1  درون کاو(خزنده )..................................................................................................................34

    2-13-2  کنترل درون کاو......................................................................................................................35

    2-13-3  انباره ی صفحات....................................................................................................................35

    2-13-4  ماجول شاخص دهی..............................................................................................................35

    2-13-5  ماجول ………....……….…….……………...………………..Collection Analysis36

    2-13-6   Utility Index.....................................................................................................................36

    2-13-7   موتور پرس‌و‌جو..................................................................................................................36

    2-13-8  ماجول رتبه بندی..................................................................................................................37

    2-14  اهمیت موتورهای جستجو...............................................................................................................37

    2-15  مشکلات موتورهای جستجو در ارائه نتایج......................................................................................37

    2-16  بهینه سازی موتور جستجو..............................................................................................................38

    2-17  هدف SEO.....................................................................................................................................39

    2-18  مزیت بهینه سازی وب سایت برای موتور‌های جستجو..................................................................39

    2-19  فرآیند بهینه سازی موتورها­ی جستجو...........................................................................................40

    2-20  نتیجه گیری....................................................................................................................................41

    فصل سوم(شخصی سازی موتورهای جستجو)...........................................................................................42

    3-1  مقدمه...............................................................................................................................................43

    3-2  علت شخصی‌سازی موتور جستجو..................................................................................................43

    تعریف  شخصی‌سازی.................................................................................................................44

    مراحل شخصی‌سازی...................................................................................................................44

    3-4-1  شناخت کاربر........................................................................................................................45

    3-4-1-1  روش‌های کمک به کاربران در جستجو در وب............................................................45

    3-4-1-1-1  خوشه‌بندی کد آماده- وب.................................................................................45

    3-4-1-1-2  شخصی‌سازی فهرست رتبه‌بندی شده- مسطح از نتایج پرس‌و‌جو......................46

    3-4-1-2   راه حل های مشکل خوشه‌بندی کد آماده وب......…………..........………………47

    3-4-1-2-1  خوشه بندی مسطح..............................................................................................47

    3-4-1-2-1-1  کلمات تنها و خوشه بندی مسطح................................................................47

    3-4-1-2-1-2  جملات و خوشه بندی مسطح.....................................................................47

    3-4-1-2-2  خوشه‌بندی سلسله مراتبی....................................................................................48

    3-4-1-2-2-1  کلمات تنها و خوشه‌بندی سلسله مراتبی..................................................48

    3-4-1-2-2-2  جملات و خوشه‌بندی سلسله مراتبی........................................................48

    3-4-1-3  معرفی  اسنکت ..........................................................................................................50

    3-4-1-4 شرح معماری اسنکت................................................................................................... 51

    3-4-1-4-1 انتخاب جمله و رتبه‌بندی....................................................................................52

    3-4-1-4-2   خوشه بندی سلسله مراتبی...............................................................................55

    3-4-1-4-3   شخصی‌سازی نتایج جستجو.............................................................................57

    3-4-1-5  مرور اسناد سلسله مراتب برای استخراج اطلاعات......................................................59

    3-4-1-6  مرور اسناد سلسله مراتب برای انتخاب نتایج..............................................................59

    3-4-1-7  اصلاح پرس‌و‌جو.........................................................................................................59

    3-4-1-8  رتبه‌بندی شخصی‌سازی شده.......................................................................................61

     3-4-1-9  واسطه شخصی‌سازی شده وب...................................................................................62

    3-4-1-10  نتایج تجربی .............................................................................................................63

    3-5-1-10-1   پیمایش های کاربران……..……......….…….…………………………..64

    3-4-1-10-2  مجموعه داده اسنکت  و شواهد حکایتی……........…..………….…………65

    3-4-1-10 -3  ارزیابی اسنکت……….……………….……………………………… 66

    3-4-1-10 -3 - 1 مزایای استفاده از DMOZ.... ………….......……..…………….....67

    3-4-1-10 -3 -2  مزایای استفاده از شاخص محکم متن…………….………….……67

    3-4-1-10 -3 -3  مزایای استفاده از موتورهای چندگانه……...………….….………..68

    3-4-1-10 -3 -4  مزایای استفاده از جملات فاصله دار به عنوان برچسب‌های پوشه……69

    3-4-1-10 -3 -5  تعداد کدهای آماده وب موجود در پوشه‌ها………...……….….….70

    3-4-2  مدل سازی کاربر………….…………...……..……………………………………...71

    3-4-2-1  مدل سازی صریح کاربر………………..……..….……………………………..71

    3-4-2-2  مدل سازی ضمنی کاربر………….……………...…………….…...….……..…72

    3-4-2-2-1  Caption Nemo........…...….……....……………….…………………...74

    3-4-2-2 -1-1   فضاهای جستجوی شخصی……...….…………………………….75

    3-4-2-2 -1-1-1   مدل شخصی بازیابی………….…...………..……..………….. 76

    3-4-2-2 -1-1-2   سبک ارائه شخصی………....…………....……….……..……. 76

    3-4-2-2 -1-1-3   موضوع مورد نظر شخصی……………..……….………………77

    3-4-2-2 -1-2   پیاده سازی سیستم……..…..………….………………………….79

    3-4-2-2 -1-2 -1   رتبه‌بندی..…...…………....……………………………….81

    3-4-2-2 -1-2-2   طبقه‌بندی سلسله مراتبی صفحات وب بازیابی شده....…....……83

    3-4-2-2 -1-3   مطالعه کاربر…….……..……..…………....…….……………… 86

    3-4-2-2 -1-3  -1  آزمایش..….…….………......……………….…………......86

    3-4-2-2 -1-3 -2   آزمایش 2……………………………………………......87

    3-4-2-2 -3    شخصی‌سازی الگوریتم رتبه‌بندی صفحه….…………………..………...88  

    3-4-2-2 -4    الگوریتم LTIL. ………...…….…………………………….……......89

    3-4-2-2 -5     روش IA. …………..….…………………………….………….......89

     3-4-3 اجرای سیستم شخصی‌سازی………………....….…………………………….……91

    3-4-3-1  روش قطعی……….………...…………………………….………………….91

    3-4-3-2  روش فازی………....……….…………………………….………………….91

    3-4-3-3   شخصی‌سازی موتورهای جستجو با استفاده از شبکه های مفهومی فازی و ابزارهای داده کاوی……………………..……………………………………………………………..91

    3-4-3-3 -1   پیش زمینه……………………....…………….……….....……………….91

    3-5-3-3 -2   روش پیشنهادی………………...…………….…………….….………….95

    3-4-3-3 -3   ارزیابی سیستم و بررسی نتایج به‌دست آمده….…..……………..…………..97

    3-5   نتیجه گیری…….……….…..………....………………………….…………………… 100

    فصل چهارم(مدل پیشنهادی برای شخصی‌سازی موتورجستجوونتایج بدست آمده از آزمایش ها).....101

    4-1  مقدمه………....….………….…………………………….……………………………102

    4-2   شرح آزمایشها و تجزیه مسئله. ……...………………….…………………………….…..102

    4-3   نتیجه گیری………....…….….…….…………………………….……………………..154

    فصل پنجم(رابط کاربری موتور جستجو)………..…………....….………………………………155

    5-1  مقدمه……..…...…………….…………………………….……………………………156

    5-2   رابط کاربری موتور جستجوی شخصی‌سازی شده PSEFiL ….………………………….....156

    5-3   اهمیت موتور جستجوی شخصی‌سازی شده PSEFiL ………..…………………………... 159

    5-4   نتیجه گیری....................................................................................................................................159

     فصل ششم(نتیجه گیری) …………………………….………………….........……………….160

    6-1   مقدمه………………………….…………………………….………………………….161

    6-2   مروری بر فصول گذشته…………………….…..…….....…………………….………….161

    6-3   موتور جستجوی پیشنهادی شخصی‌سازی شده PSEFiL ……….………………….……….161

    6-4   نتیجه گیری……………..……….….…………………………….……………………. 164

    6-5   پیشنهادات و مطالعات آتی……………..……….….…………………………….………..164

     

    مقالات مستخرج از پایان نامه………......………......….…………………………….………….. 165

     

    فهرست منابع………………..……….……………………………...………………………… 166

    چکیده انگلیسی……..………………….………………..…………….………………....…..…172

     

    منبع:

    منابع فارسی

     

    [1]ارزانیان، ب، مرادی دولت آبادی، پ، اخلاقیان، ف،1388، " شخصی سازی موتورهای جستجو با استفاده از شبکه های مفهومی فازی وابزارهای داده کاوی"، سومین کنفرانس داده کاوی،ص1تا6.

    [2] بستان، ش، قاسم زاده، م،1392،"مروری برالگوریتم های شخصی‌سازی موتور جستجو با بکارگیری علایق کاربران"،موسسه آموزش عالی خاوران،ص1تا7.

     [3] صنیعی آباده، م، محمودی، س، طاهر پرور، م،1391، "داده کاوی کاربردی"، انتشارات نیاز دانش، فصل اول، ص 19تا 42.

    [4] کمیجانی، ا، 1381، "ساختار نمایه سازی در موتورهای کاوش وب"، پژوهشنامه پردازش و مدیریت اطلاعات، دوره ١٧، شماره ٣ و ٤، ص 44.

    [5] ملکیان، ا، 1358 ،" اصول مهندسی اینترنت"، انتشارات نص، ص 482 تا 487

    [6] یعقوبی، م، محمدزاده، م،1390، "مروری بر شخصی‌سازی نتایج موتور جستجو با روشهای هوشمند"، اولین همایش منطقه ای رویکردهای نوین در مهندسی کامپیوتر و فناوری اطلاعات، ص 1تا6.

    منابع انگلیسی

    [7] Ahmadi-Abkenari, F,  Selamat, A, 2013, “Advantages of Employing LogRank Web Page Importance Metric in Domain Specific Web Search Engines”, JDCTA: International Journal of Digital Content Technology and its Applications,Vol. 7, No. 9, pp: 425-432.

    [8] Ahmadi-Abkenari, F, Selamat, A, 2012, “An Architecture for a Focused Trend Parallel Web Crawler with the Application of Clickstream Analysis”, International Journal of Information Sciences, Elsevier, Vol. 184,  pp: 266-281.

    [9] Ahmadi-Abkenari, F, Selamat, A, 2012, “LogRank: A Clickstream-based Web Page Importance Metric for Web Crawlers”,JDCTA: International Journal of Digital Content Technology and its Applications,Vol. 6, No.1,pp: 200-207.

    [10] Arasu, A, Cho, J, Garcia,M.H, Paepcke, A, Raghavan, S, 2001, “Searching the Web”, ACM Transactions on Internet Technology, Vol. 1, No. 1, pp: 2–43.

    [11] Alhalabi, W, Kubat, M, Tapia, M, 2006,”Search Engine Personalization Tool Using Linear Vector Algorithm”, Proceedings of the 4th Saudi Technical Conference and Exhibition, pp: 336-344.

     

    [12] Anwar, T, Abulaish, M, Alghathbar, K, 2001, ” Web content mining for alias identification: A first step towards suspect tracking”, ISI: Intelligence and Security Informatics , IEEE, pp:195 – 197.

    [13] Attardi, G, Gulli, A, Sebastiani,  F, 1999, ” Theseus:categorization by context”,  en Proceedings of WWW8, pp:136-137. 

    [14]  Baeza-Yates, R, Boldi, P, 2010, ”Advanced Techniques in Web Intelligence”, Studies in Computational Intelligence, Vol. 311, pp: 113-142.

    [15] Bharat, K, Broder,  A,1998, ” A technique for measuring the relative size and overlap of public web search engines”,  In Proceedings of WWW7,  pp:379-388.

    [16] Broder, A, 2002,” A taxonomy of Web search”, SIGIR Forum, 36(2), pp: 3-10.

     [17] Chen, H, Dumais, T, 2000, ” Bringing order to the web: automatically categorizing search results”,  In SIGCHI-00, pp: 145–152.

    [18] Chen, J, Chen, H, Guo J, 2010, ”Study on Method of Web Content Mining for Non-XML Documents” Information Computing and Applications Commuications in Computer and Information Science,springer, vol106, pp:236-243.

     

    [19] Chirita, P. A, Olmedilla, D, Nejdl, W, 2004 , ” PROS: A personalized ranking platform for web search”,  In: 3rd International Conference Adaptive Hypermedia and Adaptive Web-Based Systems ... Science, Eindhoven, The Netherlands,  Springer , pp: 34–43.

    [20] Di, D, Tian, L, Yan, B, Liyuan, W, Yanhui, L, 2010,” Study on SEO monitoring Based keywords & linls, Computer Science and Information Technology (ICCSIT), IEEE, vol.5, pp:450-453.
        

    [21] Ferragina, P, Gullì,  A, 2005, ”A Personalized Search Engine Based on Web Snippet Hierarchical Clustering”, Proceedings of the World Wide Web Conference ,WWW, The Tokio, The Japan, pp:801-810.

    [22] Giannotti, F, Nanni, M, Pedreschi,  D, 2003, ” Webcat:Automatic categorization of web search results”,  In  SEBD03, PP:507-518.

     

    [23] Grabmeier, J, Rudolph,  A, 2002, ” Techniques of cluster algorithms in data mining”,  In Data Mining and Knowledge Discovery, volume 6(4), pp: 303–360.

    [24]Gravano, L, Chang, K, Garcia, H, Molina, Paepcke, A, 1997, “STARTS: Stanford Proposal for Internet Meta-searching”, Proc. ACM SIGMOD Conference, PP:207-218.

     

     

    [25]Guandong, Xu, Zhang, Y, Li, L, 2011, “Web Mining and Social Networking”, Web Information Systems Engineering and Internet Technologies, Book Series, Vol.6, pp: 71-87.

    [26] Halkidi, M, Batistakis, Y, Vazirgiannis, M,2001,” On clustering validation techniques”, In JIIS, Vol. 17, pp:107-145.

     

    [27] Hang, X, Liu, J.N.K, Ren, Y, Dai, H, 2005, ” An Incremental FP-Growth Web Content Mining and Its Application in Preference Identification”,  Knowledge-Based Intelligent Information and Engineering Systems

    Lecture Notes in Computer Science, springer, vol.3683, pp:121-127.

    [28] Haveliwala, T, 2002, ” Topic-sensitive pagerank”,  In WWW12, pp:271–279.

    [28] Hearst,  M. A, Pedersen,  J. O, 1996, ” Reexamining the cluster hypothesis: Scatter/gather on retrieval results”,  in Proceedings of the ... SIGIR Conference on Research and Development in Information Retrieval, pp 76-84.

    [29] Husin, H.S, Thom, J.A, Zhang, X, 2013, “News Recommendation Based on Web Usage and Web Content Mining”, Data Engineering Workshops (ICDEW), IEEE 29th, pp: 326 – 329

    [30]Jeh, G, Widom, J, 2003, ” Scaling personalized Web search”, In WWW13, pp: 271-279.

     

    [31] Jiang, Z, Joshi,  A, Krishnapuram , R, Yi L,2005, ” Retriever:Improving web search engine results using clustering”, In Managing Business with Electronic Commerce 02, pp: 106–113.

     

    [32] Johnson, F, Kumar, S, 2013, ”Web Content Mining Using Genetic Algorithm”, Advances in Computing, Communication and Control Communications in Computer and Information Science, Springer, vol.361, pp: 82-93.

     

    [33] Kim, K.J, Cho, S.B, 2005, ” Personalized mining of web documents using link structures and fuzzy concept networks”, Elsevier, Applied Soft Computing 7 , pp: 398–410.

     

    [34] Kleinberg, J,1999, ”Authoritative sources in a hyperlinked Environment”, In JASM, pp: 604–632.

     

    [35] Kummamuru, K, Lotlikar,  R, Roy, S, Singal, K, Krishnapuram , R, 2004, ”A hierarchical monothetic document clustering algorithm for summarization and browsing search results”, In WWW13, pp:9-10.

     

    [36] Lam, S, 2001, “The Overview of Web Search Engines”, Department of Computer Science University of waterloo, available at https://cs.uwaterloo.ca/~tozsu/courses/cs748t/surveys/sunny.pdf, PP:1-23.

     

     [37] Lawrie D. J ,Croft W. B, 2003, “Generating Hierarchical. Summaries for Web Searches”,  In Proceedings of the 26th international ACM SIGIR Conference ,  pp:457-458.

    [38] Li-Hsing, H, Jui-Chen, H,  Meng-Huang, L, Hui-Yi, H,2010,” The application of search engine optimization for internet marketing: An example of the motel websites “, Computer and Automation Engineering (ICCAE),IEEE, VOL.1,PP:380-383.

     

     

     [39] Liu, B, Mobasher, B, Nasraoui, O, 2011, ”Web Data Mining  Data-Centric Systems and Applications”, pp: 527-603.

     [40] Maarek, Y. S, Fagin, R, Ben-Shaul, I. Z, Pelleg, D, 2000, ”Ephemeral document clustering for web Applications, Technical Report RJ 10186, IBM Research, pp:83-101 .

    [41] Markov, Larose, 2007, “Data Mining The Web”, Wiley Publication, Chapter 6,7,8, pp:143-188.

     

     [42] Meila, M, 2002, ” Comparing clusterings”, In Technical Report 418, University of Washington,  pp:2566–2572.

     

    [43] Mostafa, J, 2005, ”Seeking better web searches”,Scientific American, February, Vol. 292 (1),  pp: 27.

     [44] Nyein, S.S ,2011, ”Mining contents in Web page using cosine similarity”, Computer Research and Development (ICCRD), IEEE, VOL.2, pp: 472 – 475.

     

    [45] Osinski, S, Weiss, D, 2004, ” Conceptual clustering using lingo algorithm: Evaluation on open directory project data”,  in Soft Computing, ... IIS: IIPWM'04 Conference,  Zakopane,  Poland,  pp: 369-378.

     

    [46] Pol, K , Airoli, Patil, N, Patankar, S ,  Das, C,2008, ” A Survey on Web Content Mining and Extraction of Structured and Semistructured Data”, Emerging Trends in Engineering and Technology(ICETET), IEEE, pp: 543 – 546.

    [47] Prakash, K.B, Rangaswamy,  M.A.D, Raman, A.R, 2010, ” Text studies towards multi-lingual content mining for web communication”, TISC:Trendz in Information Sciences & Computing , IEEE, pp: 28 – 31.

     [48] Salton, G, McGill, M,1983, ”Introduction to Modern Information Retrieval”,  McGraw Hill,  pp: 329-354.

    [49] Seymour, T, Frantsvog, D ,Kumar S, 2011, “History Of Search Engines”, International Journal of Management & Information Systems, Vol. 15, No. 4, pp: 47-58.

     

    [50] Sharma, K, Shrivastava, G, Kumar, V, 2011, “ Web Mining: Today and Tomorrow”, 3rd International Conference of Electronics Computer Technology (ICECT),  Vol.1,  pp: 399 – 403.

     [51] Song, H.B, Cho, M.T, Kim, Y.C, Hong, S.J, 2011, ”Web Contents Mining System for Real-Time Monitoring of Opinion Information”, Communication and Networking Communications in Computer and Information Science.springer, vol266, pp: 43-56.

     

    [52] Souldatos, S, Dalamagas, T , Sellis, T,2006, “Captain Nemo: A Meta-Search Enginewith Personalized Hierarchical Search Space”, INFORMATICA, LJUBLJANA, vol. 30, pp:173-182.

     

    [53] Srikantaiah, K.C, Suraj M, Venugopal, K.R, Iyengar S.S,  Patnaik, L. M, 2012,

    ” Similarity Based Web Data Extraction and Integration System for Web Content Mining”, Advances in Communication, Network, and Computing Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering.springer, vol.108, pp:269-274.

     

    [54] Srivastava,  J, Cooley, R, Deshpande, M, Tan, P.N, 2000,” Web Usage Mining: Discovery and Applications of Usage Patterns from Web Data”, SIGKDD Explorations, vol. I, no. 2, pp: 12-23.

     

    [55] Tarakeswar,  K , Kavitha, D, 2011, “ Search Engines:A Study”,JCA:Journal of Computer Applications,  ISSN: 0974-1925, Vol. IV, Issue 1, pp: 29-33.

     

     

    [56] Teevan, J, Dumais, S.T , Horvitz, E, 2005, “Personalizing Search via Automated Analysis of Interests and Activities”, Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval , SIGIR 05, ACM Press, pp:449-456.

     

    [57] Wang, Y, Kitsuregawa, M,2002, ” On combining link and contents information for web page clustering”,  In DEXA02, pp:902-913.

    [58]  Wu, X,  Zhu, X, Wu,G.Q , Ding, W,2013, “Data mining with big data”, Knowledge and Data Engineering, IEEE Transactions on , VoL.26, pp:97-107.

    [59] Wu, Y, Chen, X, 2003, ” Extracting features from web search returned hits for hierarchical classification”,  In IKE03, PP: 67-241.

     

    [60] Xu, G, Zhang, Y, Li L,2011, ” Web Content Mining. Web Mining and Social Networking” , Web Information Systems Engineering and Internet Technologies Book Series, vol.6, pp: 71-87.

    [61] Yu, et al, 2012, “Application of Closed Gap-Constrained Sequential Pattern Mining in Web Log Data”, Advances in Control and Communication, Vol. 137, Springer Berlin Heidelberg, pp: 649-656.

     

    [62] Zamir, O, Etzioni, O, 1999, ” Grouper: a dynamic clustering interface to Web search results”,  In WWW8, pp:1361–1374 .

     

     [63] Zhang, D, Du, H, He, Y, 2013, ” A Design of Association Rule Mining System Based on the Web Text”, Proceedings of the Sixth International Conference on Management Science and Engineering Management Lecture Notes in Electrical Engineering, vol.185, pp: 237-244.

    [64] Zhang, H, Ma, Y, Zhang,Q, Xie, P, Bao,Z ,2009.”Personalized Intelligent Search Engine Based on Web Data Mining”, International Workshop on Information Security and Application (IWISA), ISBN 978-952-5726-06-0,PP:1-2.

     


    [65]Glover, E.G, Lawrence, s, Birmingham, w.p, Giles,1999,”Architecture of a metasearch engine that supports user information needs”, Proceeding of the eight international conference on Information  Knowledge management,Kansas City, MO,USA,PP:210-216.


تحقیق در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, مقاله در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, پروژه دانشجویی در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, پروپوزال در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, تز دکترا در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, تحقیقات دانشجویی درباره پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, مقالات دانشجویی درباره پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, پروژه درباره پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, گزارش سمینار در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, پروژه دانشجویی در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, تحقیق دانش آموزی در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, مقاله دانش آموزی در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو, رساله دکترا در مورد پایان نامه توسعه ی تکنیک های وب کاوی به منظور شخصی سازی اطلاعات در موتور های جستجو

پایان نامه کارشناسی ارشد رشته مهندسی کامپیوتر- نرم افزار (M.Sc) چکیده در عصر اطلاعات، وب امروزه به یکی از قدرتمند ترین و سریع ترین ابزار های ارتباطات و تعامل میان انسان ها بدل شده است. موتور های جستجو به عنوان برنامه های کاربردی وب به طور خودکار پهنه وب را پیمایش نموده و مجموعه ای از اسناد و مدارک بروز موجود را دریافت می کنند. فرآیند دریافت، ذخیره سازی، رده بندی و شاخص دهی بر ...

پایان نامه کارشناسی ارشد رشته: مهندسی کامپیوتر گرایش: نرم‌افزار چکیده گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم‌های شخصی­سازی وب ارائه شده­اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مؤلفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن ...

پایان نامه کارشناسی ارشد رشته مهندسی کامپیوتر چکیده: در سال های اخیر با توجه به رشد روز افزون درخواستها و پیوستن مشتریان جدید به دنیای محاسبات، سیستم های محاسباتی نیز باید تغییر کنند و قدرتمندتر وانعطاف پذیرتر از قبل عمل نمایند. در این میان محاسبات ابری به عنوان مدلی فراتر از یک سیستم ارائه شد که در حال حاضر توانایی پاسخگویی به اکثر درخواست ها و نیازمندی ها را دارد. راه حل های ...

پایان نامه دوره کارشناسی ارشد رشته مهندسی فناوری اطلاعات چکیده در دنیای امروز اینترنت و مهم ترین سرویس آن وب، زندگی بشر را دچار تغییر و تحولات فراوانی کرده است. اینترنت تمام نیازهای اشخاص برای برقراری ارتباط با یکدیگر، به دست آوردن اطلاعات در هر زمینه ای، بازی و سرگرمی، آموزش و هر زمینه ای که به ذهن انسان خطور کند را فراهم می کند. اهمیت این سرویس به حدی رسیده است که همه روزه ...

پایان­نامه تحصیلی جهت اخذ درجه کارشناسی ارشد رشته: کامپیوتر گرایش نرم افزار چکیده در یک شبکه حسگر که یک سیستم توزیع شده فراگیر است، یکی از موارد مورد بحث همگام‌سازی ارتباطات است. یکی از عمده وظایف همگام‌سازی فرآیند‌ها، انحصار متقابل است. الگوریتم‌های جدید ارایه شده در مقایسه با الگوریتم‌ های قدیمی با عدالت بیشتری عمل می‌نمایند. در این پایان‌نامه یک مدل با استفاده از شبکه‌های ...

پایان نامه برای دریافت درجه کارشناسی ارشد در رشته برق گرایش قدرت چکیده : تولید انرژی الکتریکی برای سیستم‌‌های قدرت با هدف کمینه‌سازی کل هزینه تولیدی برای واحدهای فعال موجود در شبکه قدرت، از مهمترین مباحث برای سیستم­های مدرن امروزی است. به بیانی دیگر هدف از توزیع اقتصادی بار، برنامه­ریزی بهینه و مناسب برای واحدهای تولیدی با در نظر گرفتن عوامل و محدودیت­های غیر خطی موجود در شبکه ...

پایان نامه برای دریافت درجه کارشناسی ارشد در رشته برق گرایش قدرت چکیده : تولید انرژی الکتریکی برای سیستم‌‌های قدرت با هدف کمینه‌سازی کل هزینه تولیدی برای واحدهای فعال موجود در شبکه قدرت، از مهمترین مباحث برای سیستم­های مدرن امروزی است. به بیانی دیگر هدف از توزیع اقتصادی بار، برنامه­ریزی بهینه و مناسب برای واحدهای تولیدی با در نظر گرفتن عوامل و محدودیت­های غیر خطی موجود در شبکه ...

پایان نامه کارشناسی ارشد(M.sc) چکیده: امروزه هرزنامه[1] ها یکی از مشکلات اصلی موتور های جستجو هستند، به این دلیل که کیفیت نتایج جستجو را نامطلوب می سازند. در طول سالهای اخیر پیشرفتهای بسیاری در تشخیص صفحات جعلی وجود داشته است اما در پاسخ تکنیک های هرزنامه جدید نیز پدیدار شده اند. لازم است برای پیشی گرفتن به این حملات، تکنیک های ضد هرزنامه بهبود یابد. یک مساله عادی که ما با آن در ...

پایان‌نامه برای دریافت درجه کارشناسی ارشد« M.Sc» گرایش: مهندسی نرم افزار چکیده به روال درج اطلاعات در یک سیگنال چند رسانه‌ ای به طوری که اثر درج مشهود نبوده و بتوان در هنگام نیاز آن اطلاعات را استخراج نمود، نهان‌ نگاری گفته می‌شود. برای پیاده سازی یک ایده‌ نهان‌نگاری باید بر روی ویژگی‌های قدرت[1]، موثقیت و قابلیت اعتماد[2] و غیر قابل مشاهده بودن[3] تمرکز نمود. اغلب روش‌های موجود ...

پایان‌نامه برای دریافت درجه کارشناسی ارشد در رشته مهندسی شیمی گرایش ترموسینتیک چکیده با افزایش کاربرد پیل‌ های سوختی در صنعت و به صورت کاربرد در محل، نیاز به توسعه واحدهای تولید در محل هیدروژن وجود دارد. در این تحقیق یک ریفرمر کاتالیستی مونولیتی که در آن فرآیند ریفرمینگ خودگرمازای متان صورت می‌گیرد، بصورت سه بعدی مدل‌سازی می‌شود. کاتالیست مورد استفاده در این مدل‌سازی، 5% ...

ثبت سفارش