دانلود مقاله ترجمه شده یک معماری جدید ذخیره سازی داده‌های بزرگ با موتورهای جستجوی درونی

 چکیده

سیستم های ذخیره سازی داده در تعیین عملکرد و هزینه در داده کاوی و یا ITS نقش اصلی را ایفا می‌کنند. از آنجاییکه توان محاسباتی سرورها افزایش یافته است، مسائلی از تنگناهای واسط‌های پروتکل ذخیره سازی آهسته‌تر ناشی می‌شوند که توان عملیاتی داده‌ها و دسترسی داده‌های خام از سیستم‌های ذخیره سازی فیزیکی را محدود کرده‌اند. این مقاله معماری ذخیره سازی داده‌های بزرگ جدید را ارائه می‌کند تا بهره وری داده کاوی و یا نظارت جمعی را بهینه سازی کند و برای این منظور موتورهای جستجوی توکار و توزیع شده را در هر درایو ذخیره سازی یکپارچه سازی می‌کند. با یکپارچه سازی موتورهای جستجوی درونی (Isearch) به تراشه‌ی کنترلر مرکزی، کارهای جستجو برای الگوها و کلمات کلیدی داخل درایو با آزاد کردن منابع هاست سطح بالاتر و در نهایت سرور انجام می‌شود. تنها درایوهایی که در آن‌ها الگوی مورد انتظار و یا کلمات کلیدی شناسایی شده‌اند توسط هاست سطح بالاتر تحلیل شده‌اند. نه تنها iSearch سرور را برای تسک‌های محاسباتی سطح بالاتر آزاد می‌کند همچنین به حفظ پهنای باند واسط‌های ذخیره سازی داده‌های بزرگ کمک می‌کند.

1-مقدمه

یک آرایه‌ی دیسک برای سرورهای کامپیوتری و یا مراکز داده استفاده می‌شود. برنامه‌های کاربردی مبتنی بر ابر و وب‌سایت‌ها به طور فزاینده ای درخواست‌های زیادی از سیستم‌های ذخیره سازی بزرگ دارند. سیستم‌های حمل و نقل هوشمند (ITS) یکی از بهترین برنامه‌های کاربردی برای نظارت است و به طور گسترده ای در بازارهای با رشد عمودی سریع استقرار داده شده‌اند [1.2]. بانک‌های اطلاعاتی امروزه با نرخ نمایی رشد می‌کنند و سیستم‌های ذخیره سازی فردا نیز باید به طور نمایی رشد کنند تا جایگزین آنها شوند. در همین حال، محاسبات ابری به دنبال قابلیت‌های پردازش داده‌ی بالاتری است. اطلاعات با کیفیت بالا از الگوها و روندهایی مشتق شده‌اند و از ابزارهایی مانند یادگیری الگوی آماری بهره می‌گیرند [3,4]. ITS یا نظارت بر جرم روندی است که سعی می‌کند فایل‌های بزرگ متشکل از اطلاعات مبتنی بر ویدیو را به جای متن، فایل و یا سند پردازش کند. برای مثال فناوری تشخیص چهره سعی می‌کند جنایتکار تحت تعقیب را در میان هزارا نفر از مردمی که در حال قدم زدن در یک ایستگاه راه‌آهن و یا فرودگاه هستند را پیدا کند [5-9]. همه‌ی این سیستم ها به آرایه‌های دیسک تکیه می‌کنند تا داده‌های خام را ذخیره کنند و از سرورها حمایت می‌کنند تا این داده‌های خام را در سطوح بالاتری از عملکرد تحلیل و جستجو کنند. شکل 1 یک معماری ساده شده است که سیستم ذخیره سازی داده بزرگ را نشان می‌دهد. آرایه‌های افزونه از دیسک‌های ارزان (RAID) یک فناوری اساسی است که قابلیت اطمینان داده‌ها را تأمین می‌کند و داده‌ها را در برابر هر گونه خطای دیسک بازیابی می‌کند [10]. در اینجا RAID-5 یک مثال است. Disk 5 یک دیسک افزونه برای parity است. هر آرایه‌ی دیسک پایه (BDA) از پنج درایو تشکیل شده‌اند. آرایه‌های دیسک برای ساختن فضای ذخیره سازی بزرگتر با RAID سطح بالاتر استفاده می شوند و در نهایت توسط سوئیچ کننده‌های داده به سرورها متصل می‌شوند [11]. هر سرور برای دسترسی به سیستم ذخیره سازی کلی، بافر خود را دارد. کار سرورها این است که این اطلاعات بافر شده را بارگذاری و پردازش کنند…