دانلود مقاله ترجمه شده مطالعه ای بر استخراج محتوا از صفحات وب مبتنی بر پیوندها

چکیده

استخراج محتوای اصلی از صفحات وب پیش­ پردازش سیستم اطلاعاتی وب است. رویه­ی استخراج محتوای بر مبنای wrapper محدود به یک منبع اطلاعاتی خاص بوده و به میزان زیادی به ساختار صفحه­ی وب بستگی دارد. این رویه در عمل به ندرت به کار گرفته شده است. بنابراین یک روش استخراج محتوا در این مقاله پیشنهاد شده است، که می­ تواند محتوای صفحه­ ی وب را با توجه به تعداد نشان ­گذاری ­ها و نسبت تعداد کاراکتر های غیر ­ابر­پیوند به کاراکتر های شامل ابر­پیوند کشف نماید. این روش می ­تواند نویز و حذف نموده و محتوای اصلی صفحه وب را به خوبی از آن استخراج نمود نتایج آزمایشی نشان می­ دهند که این روش دقیق بوده و برای بسیاری از سایت­ های وب مناسب است.

1-مقدمه

جهش اینترنت باعث موفقیت بسیاری از برنامه­های کاربردی از قبیل بازیابی اطلاعات، به اشتراک­ گذاری دانش و ... شده و باعث سربار اطلاعات در همان زمان شده است. بنابراین به دست آورد اطلاعات دقیق و دانش از اینترنت به مشکل بغرنجی تبدیل شده است. استخراج اطلاعات صفحه­ ی وب محتوای صفحات نیمه­ ساخت­ یافته ­ی وب را به متن ساختار­ یافته تبدیل می ­کند، که می­ تواند به سادگی توسط کاربران مورد ­پرس­ و ­جو قرار گیرد. این روزها، استخراج محتوا از صفحه­ ی وب یک گام کلیدی برای کسب دانش و پیش ­پردازش و طرح یک بنیان خوب برای پردازش متن ­های آتی است...