دانلود مقاله ترجمه شده SISC: یک روش طبقه بندی با استفاده از خوشه بندی زیرفضای شبه ناظر

چکیده

طبقه بندی متن (Text classification)، چالش های ویژه ای دارد. یکی از این چالش ها، تعداد ابعاد زیاد آن است، که هر سندی (نقطه داده) تنها تعداد بسیار کمی از آن ها را شامل می شود. در این مقاله، ما یک روش ناخالصی نیمه نظارتی بر پایه روش خوشه بندی نیمه نظارتی (Semi-supervised Impurity based Subspace Clustering (SISC)) در زیرمجموعه فضای ترکیب شده با روش نزدیک ترین همسایه k ام (κ-Nearest Neighbor) ارائه کرده ایم. این روش برپایه خوشه بندی نیمه نظارتی زیرفضا می باشد که ابعاد بالا را به همان اندازه ماهیت پراکنده شان در داده های متنی مورد بررسی قرار می دهد. SISC، خوشه هایی را در زیرفضاهای داده های متنی چند بعدی پیدا می کند که در آن هر سندی عضوی از یک خوشه فازی (fuzzy) است. این خوشه بندی فازی، از دو عامل استفاده می کند. آمار مجذور چی (chi square statistic) ابعاد و اندازه ناخالصی درون هر خوشه ارزیابی تجربی این روش بر روی مجموعه داده های دنیای واقعی، موثر بودن روش ما را نشان داده است. این روش، کارایی بهتری نسبت به آخرین روش های دیگر طبقه بندی متن و الگوریتم های دیگر خوشه بندی زیر فضا دارد.

1-مقدمه

داده های متنی، یک تفاوت اساسی با داده های غیرمتنی دارند. این تفاوت در ابعاد یا در ویژگی هایی که در فرایند طبقه بندی شرکت دارند، می باشد. همچنین آنها ذاتا پراکنده هستند به گونه ای که ممکن است یک سند تنها شامل تعداد کمی از ابعاد انتخابی باشد. مفهوم خوشه بندی زیرفضا، ویژگی های داده های متنی را با یکدیگر ادغام می کند. در خوشه بندی زیرفضا، به هر بعد یک وزن اختصاص داده شده­ است که بر پایه توزیع آن در تفکیک اسناد از هر دسته در یک خوشه، می باشد. بر پایه این وزن ابعاد، خوشه بندی زیرفضا این امکان را فراهم می سازد تا خوشه ها را در ابرفضای سنگین (weighted hyperspace) بیابیم [1]، و می تواند ما را در یافتن اسنادی که خوشه ها را تنها در یک زیرفضای ابعاد فرم می دهند، یاری دهد...