راهنمای جامع مدیریت عملکرد سازمانی ( نگاهی بر ساختار CPM )
آوریل 10, 2023چرا نرم افزار CPM برای کسب و کارها ضروری است؟
آوریل 24, 2023تجمیع اطلاعات و موضوع یکپارچه سازی داده های موجود در یک سازمان از اقدامات اساسی در راستای پیاده سازی هوش تجاری است. اما در این میان واژگان مختلفی همچون ETL ( Extract , Transfer , Load ) و ELT ( Extract , Load , Transfer ) ترند شده اند که در این نوشتار به بررسی آنها خواهیم پرداخت.
البته در نهایت آنچه در هوش تجاری برای ما اهمیت دارد خروجی مطلوبی خواهد بود که در تصمبمات مدیران سازمان تاثیر گذار باشد. قطعا در این راستا آشنایی با مفاهیم فنی می تواند به نوبه خود جذاب باشد.
با سان تا انتهای این مقاله همراه باشید.
ETL چیست؟
استخراج، تبدیل و بارگذاری داده ها همراه با عملیاتی که موجب پالایش داده ها می شود مفهوم ETL را تشکیل می دهد. در اقع عملیات ETL در هنگام تشکیل انبار داده و بیشتر برای بهره گیری از داده ها در هوش تجاری و تشکیل داشبوردهای مدیریتی، صورت می گیرد.
به عبارت دیگر شما نمی توانید در مدیریت داده ها به سمت تشکیل انبار داده ( DataWarehouse ) بروید و با ETL و مراحل آن برخورد نکنید. اگر بخواهیم دقیق تر به موضوع بپردازیم بهتر است برای هر کدام از قسمت های ETL توضیحاتی را داشته باشیم.
Extract در کلمه ETL
برای کار بر روی داده ها معمولا با سازمانی روبرو هستید که دارای سامانه های مختلف و ذخیره سازی داده ها را در چند منبع مجزا در آن مشاهده خواهید کرد. الزاما این سامانه ها از یک نوع نیستند و قطعا ساختار جداول آنها و شکل پایگاه داده ای آنها نیز با هم متفاوت می باشد.
بنابراین باید شناخت کافی را از منابع داشته باشیم تا بتوانیم آنها را به سمت انبار داده هدایت کنیم. معمولا برای این موضوع باید توسط کوئری ها یا هر ابزار و امکان دیگری اطلاعات را ابتدا در یک بانک واسط قرار دهیم تا در صورت نیاز پالایش بر روی آنها صورت گیرد و در نهایت آنها را به سمت انبار داده اصلی هدایت کنیم.
Transfer در ELT
انتقال داده های پالایش شده یکی از مهم ترین قسمت های تشکیل انبار داده است زیرا شناخت و تجربه تیمی که در حال انتقال می باشد باید در سطحی باشد که بهینه ترین حالت را در پایان عملیات برای انبار داده خود داشته باشیم. مواردی که در دسته قرار می گیرند شامل: بررسی کیفیت داده ها، پاکسازی داده ها، ذخیره داده ها در رکورد های جدید، ادغام و قالب بندی داده ها می باشد.
Load
بارگزاری داده ها آخرین اقدامی است که در فرآیند ETL صورت می گیرد. بارگزاری داده ها در انبار داده معمولا بعد از تغییرات مورد نیاز بوده است و در این مرحله ساختار داده ها دیگر تغییری نخواهد داشت. فقط داده ها در محل اصلی انبار داده قرار خواهند گرفت. امروز برای تسهیل این مجموعه عملیات، شرکت های بزرگی همچون ماکروسافت امکانات بسیار خوبی را در بانک اطلاعاتی SQL Server قرار داده اند.
اما اگر در یک نگاه کلی به تفاوت این دو موضوع بپردازیم باید گفت که فرآیند ELT داده ها را مستقیم در سیستم هدف بارگزاری می کند. فرآیند ELT بیشتر برای مواردی استفاده می شود که شما هم با داده های ساختار یافته و هم داده های غیر ساختار یافته روبرو هستید.
قطعا شما در فرآیند ELT با ساختاری مشابه دریاچه داده روبرو خواهید شد و در اینجا محل نهایی ذخیره سازی داده ها به جای انبار داده، دریاچه داده خواهد بود.