مدیریت و آنالیز کلان داده (Big Data Management)

کلان داده

کلان داده ( داده عظیم ) یا بیگ دیتا Big Data ، داده‌­هایی با اندازه بزرگ هستند. کلان داده اصطلاحی است برای توصیف مجموعه‌­ای از اطلاعات در اندازه بزرگ و در حال تغییر که نرخ تولید و تنوع آن به طور روزافزون درحال رشد است. بخشی از این داده‌­ها به طور خودکار توسط ماشین­‌ها تولید و بخش دیگر توسط کاربران تولید می­‌شود.

کلان داده می‌توانند بر اساس ویژگی‌های زیر تعریف شود:

• اندازه

اندازه داده‌های آزانیده (تولید شده) و انباریده (ذخیره شده). اندازهٔ داده در شناسایی ارزش یا کلانگی داده کلیدی است. اگر داده خُرد باشد، کلان داده خوانده نمی‌شود.

• تنوع

گونهٔ داده. دسته‌بندی داده‌ها به گونه‌ها به شناخت بهتر می‌انجامد.

• نرخ تولید

همان سرعت تولید داده‌است. نرخ بالای تولید داده، چالش‌هایی را در زمینه ذخیره‌سازی و پردازش کلان داده پدید می‌آورد.

• تغییرپذیری

ناپایداری داده می‌تواند پردازش‌ها را از رسیدگی و مدیریت داده بازدارد.

• صحت داده

کیفیت داده گردآوری شده می‌تواند بر داده کاوی دقیق داده اثر بگذارد.

اگر بخواهیم تعریفی از کلان داده ارائه کنیم، می توانیم آن را مجموعه داده‌هایی بدانیم که اندازه آنها فراتر از حدی است که با نرم‌افزارها و روش‌های معمول بتوان آنها را در یک زمان قابل قبول، دریافت، ذخیره، مدیریت و پردازش کرد.

به طور کلی، تفاوت‌های اصلی کلان داده و داده‌های سنتی در جدول زیر بیان شده است:

منابع کلان داده به خودی خود هیچ‌گونه اطلاعاتی را در اختیار ما نمی‌گذارند، در واقع شخصی باید باشد که مفهوم این اطلاعات را دریابد. در واقع کل کاری که در تجزیه و تحلیل کلان داده باید انجام شود به این صورت است:

بررسی حجم زیادی از اطلاعات غیر قابل فهم و سپس فهمیدن آن‌چه می‌توان از آن استخراج کرد.

اجرای سامانه‌های مبتنی بر پلتفرم Big Data یکی دیگر از فعالیت‌های سان از چند سال گذشته می‌باشد. رویکرد این سامانه‌ها بیشتر برای داده‌های انباشته و گاهی متنوع با حجم بالا و به‌منظور پردازش‌های سریع و Real Time و پیچیده مناسب است. از تکنولوژی‌هایی که در این سامانه‌ها استفاده می‌شود می‌توان به موارد زیر اشاره نمود:

Apache Spark

یک چارچوب محاسباتی برای داده‌­های عظیم است. اسپارک از MapReduce به عنوان موتور اجرای خودش، استفاده نمی­‌کند؛ اما به‌خوبی با هادوپ یکپارچه است. درواقع اسپارک می‌­تواند در Yarn اجرا شود و با فرمت داده­‌های هادوپ و HDFS کار کند. اسپارک بیشتر به خاطر توانایی نگه‌داشتن مجموعه‌­های داده­‌ای بین کارها در حافظه شناخته می‌­شود. این قابلیت، سبب می­‌شود تا سریع‌تر از جریان کاری MapReduce معادل که مجموعه­‌های داده­ای همیشه از دیسک بار می­‌شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی اسپارک بهره می­‌برند، الگوریتم‌­های تکرارشونده (که یک تابع بر روی مجموعه داده‌­ای به‌صورت تکراری تا حصول شرط خروج، اعمال می‌­گردد و تحلیل تعاملی که یک کاربر مجموعه‌ای از پرس‌وجوهای اکتشافی تک‌کاره را بر روی مجموعه­ داده‌­ای، اعمال می‌­کنند) است. همچنین اسپارک APIهایی در زبان‌­های Java،Scala و Python، ارائه می‌­کند. پروژه Apache Spark شامل ماژول­‌هایی یادگیری ماشین (MLlib)، پردازش گراف (GraphX)، پردازش جریانی (Spark Streaming) و SQL (Spark SQL) است.

یکی از ویژگی‌های اصلی Spark که برای سرعت ارائه می‌دهد، اجرای پردازش‌ها در حافظه است، اما این سیستم همچنین در اجرای برنامه در دیسک هم از MapReduce کاراتر است. Spark می‌تواند در کلاسترهای هادوپ اجرا شود و به هر منبع داده‌ای هادوپ مانند Cassandra دسترسی داشته باشد.

spark Core

هسته Spark شامل قابلیت‌های اساسی Spark از قبیل اجزایی برای زمان‌بندی وظیفه، مدیریت حافظه، ترمیم خطا، تعامل با سیستم‌های ذخیره‌سازی و دیگر اجزا است. همچنین هسته Spark مکان API است که مجموعه داده‌ای توزیع‌شده ارتجاعی (resilient distributed datasets-RDD) که انتزاع برنامه‌نویسی اصلی Spark است را تعریف می‌کند. RDDها مجموعه اقلام توزیع‌شده در چندین گره پردازشی که می‌توانند به‌طور موازی استفاده شوند را نشان می‌دهد.

Spark SQL

این بسته برای کار کردن با داده‌های دارای ساختار است. ما را قادر می‌سازد تا از داده‌ها با SQL مانند زبان پرس و جوی Hive، پرس‌وجو بگیریم. Spark SQL از چندین منبع داده‌ای شامل جداول Hive، Parquet و JSON پشتیبانی می‌کند. همچنین می‌توان پرس‌وجوهای SQL را با عملیات دیگری که توسط RDD ها در پایتون، جاوا و اسکالا انجام می‌شود، در یک برنامه واحد انجام داد که منجر به ترکیب SQL با تحلیل‌های پیچیده می‌شود.

Shark نسخه قدیمی Spark SQL بود که اکنون توسط Spark SQL جایگزین شده است.

Spark Streaming

جزء جریانی Spark، به ما امکان پردازش زنده جریان‌هایی از داده را می‌دهد. مثال‌هایی از داده‌های جریانی شامل فایل­‌های نگاره تولیدشده توسط سرویس‌دهنده‌های وب یا صف‌های پیام‌هایی شامل به‌روزرسانی وضع و حالت که توسط کاربران یک سرویس وب ارسال می‌شوند؛ است.

Mllib

این بسته شامل قابلیت‌های یادگیری ماشین متداول است. Mllib شامل چندین نوع الگوریتم یادگیری ماشین از قبیل کلاس‌بندی، رگرسیون، خوشه‌بندی و پالایش گروهی و همچنین شامل قابلیت‌های ارزیابی مدل و ورودی داده‌هاست. تمام این روش‌ها طراحی‌شده‌اند تا در یک کلاستر مقیاس‌پذیر باشند.

GraphX

GraphX، کتابخانه‌ای برای پردازش گراف‌ها (گراف دوست شبکه اجتماعی) است؛ مانند جریان و SQL، این کتابخانه نیز Spark RDD API را توسعه می‌دهد و ما را قادر می‌سازد تا یک گراف جهت‌دار با مشخصه‌های دلخواه ضمیمه‌شده به هر لبه و رأس را ایجاد کنیم.

Cluster Mangers

Spark طراحی شده است تا به‌صورت کارا از یک تا چند هزار گره پردازشی مقیاس یابد. برای حصول این قابلیت درحالی‌که قابلیت انعطاف‌پذیری نیز به حداکثر برسد، Spark می‌تواند بر روی انواعی از مدیران خوشه از قبیل Hadoop YARN، Apache Mesos و مدیر خوشه ساده‌ای که در خود Spark به نام زمان‌بند مستقل است، پردازش کند.

• متمایز بودن از رقبا به دلیل تجربه فراوان با ورود اطلاعات با حجم بیش از ۶ میلیارد رکورد و ظرفیت بیش از ۲ پتابایت
• استفاده از تکنولوژی‌های روز دنیا در مدیریت و آنالیز کلان‌ داده
• مدیریت کلان داده در حوزه‌های بانکی و مخابراتی
• تحول در عملیات برای دستیابی به برتری تجاری و سرویس‌دهی
• طراحی مقیاس‌پذیر