برچسب: دوره انبارداده Data Warehousing

یک دریاچه را در نظر بگیرید که رودخانه‌های مختلف به آن وارد می‌شوند. در واقع هر رودخانه مقداری آب در این دریاچه خواهد ریخت و آب‌های موجود در این دریاچه حاصل مجموعه این رودها است. دریاچه داده یا همان Data Lake نیز به همین صورت است. یک مخزن عظیم که داده‌های مختلف از طُرق متفاوت وارد این دریاچه می‌شوند و در آن ذخیره می‌گردند.

ادامه خواندن “دریاچه داده (Data Lake) چیست؟”

تفاوت انبار و بازار در چیست؟ انبار یک محل بزرگ است که معمولا اجناس متفاوت با کاربردهای مختلف در آن جمع می‌شوند. معمولا کسی از انبار خرید نمی‌کند. در واقع انبار محل جمع‌آوری اجناس است. اگر شما بخواهید یک آب معدنی بخرید، طبیعتا به انبار آب معدنی رجوع نمی‌کنید و به سراغ بازار (همان سوپر مارکت‌ها) رفته و از آن‌جا خرید خود را انجام می‌دهید. انبار داده (Data Warehouse) و بازار داده (Data Mart) نیز این چنین تفاوتی نسبت به یکدیگر دارند. در دروس گذشته این دوره بیشتر تمرکز بر انبار داده بود و در این درس قصد داریم بازار داده یا همان Data Mart را با یکدیگر یاد بگیریم.

ادامه خواندن “بازار داده (Data Mart) چیست و چه تفاوتی با انبار داده (Data Warehouse) دارد؟”

تا به اینجا در دوره انبار داده (Data Warehouse) با مقدمات و مفاهیم اولیه انبار داده و فرآیندهای هوش تجاری آشنا شدید. در درس جاری قصد داریم تا بفهمیم چگونه می‌توان یک انبار داده طراحی و پیاده‌سازی کرد. برای طراحی انبار داده یکی از روش‌ها شِماهای چند بُعدی یا همان Multidimensional Schemes هستند که از حقایق (Facts) و ابعاد (Dimensions) برای طراحی و تحلیل‌های OLAP استفاده می‌کنند.

ادامه خواندن “طراحی انبار داده با شِمای چند بُعدی (Multidimensional Schema)”

در درس قبلی به بررسی ETL که مخفف سه کلمه استخراج (Extract)، تبدیل (Transformation) و بارگزاری (Load) بود پرداختیم. گفتیم که در فرآیند ETL داده‌ها از منابع مختلف جمع آوری شده و پس از تغییرات و تبدیلات مورد نیاز، در انبار داده بارگزاری می‌شوند. شکل زیر را از درس قبل به خاطر دارید:

ادامه خواندن “ELT در انبار داده و تفاوت آن با ETL”

تا به این‌جا به صورت خلاصه در دوره انبارداده (Data Warehouse) به این نتیجه رسیدیم که بایستی برای تحلیل و داده‌کاوی بر روی داده‌های زیاد، داده‌ها را در یک مکان به اسم انبار داده یا همان Data Warehouse ذخیره و انبار می‌کنیم تا بتوانیم داده‌ها را برای عملیات هوش‌تجاری (Business Intelligence) آماده کنیم. اما این فرآیند (تبدیل داده‌ها از منابع مختلف سازمان، به انبارداده) به همین سادگی نیست و مسیر پر پیچ و خمی دارد. به همین دلیل مفهومی به نام ETL به وجود آمده است که فرآیند این انتقال را برای ما سازمان می‌دهد.

ادامه خواندن “فرآیند ETL در انبار داده (Extract, Transformation, Load)”

در درس قبلی با OLAP و مفهوم تحلیل مکعب داده‌ها آشنا شدید. در کنار مفهوم OLAP، مفهومی به نام OLTP وجود دارد که بسیاری از برنامه‌نویسان هر روزه با آن سر و کار دارند و در روز چندین بار از OLTP جهت پردازش داده‌های خود بر روی انواع پایگاه‌داده‌ها استفاده می‌کنند. در این درس می‌خواهیم تفاوت OLAP و OLTP را درک کنیم.

ادامه خواندن “تفاوت OLAP و OLTP چیست؟”

درس مکعب داده (Data Cube) را حتما خوانده‌اید. در آن درس گفتیم که داده‌ها را می‌توان جهت پردازش، به مکعب‌داده‌هایی تبدیل کرد تا با استفاده از ابعاد مختلفِ آن مکعب‌داده، بتوان داده‌ها تحلیل کرد. اما این تحلیل یک نام دارد که به آن در اصطلاح OLAP می‌گویند. در این درس می‌خواهیم به بررسی OLAP و انواع مختلف آن بپردازیم.

ادامه خواندن “پردازش تحلیلی برخط یا همان OLAP چیست؟”

در دروس اولیه دوره انبارداده (Data Warehouse) با مفهوم هوش تجاری و مفهوم انبار داده آشنا شدیم. گفتیم که هوش‌تجاری در واقع فرآیند تبدیل داده‌های سازمان به ارزش (Value) برای آن سازمان است و برای این کار از انبار داده (Data Warehouse) استفاده می‌کند تا داده‌ها را در گوشه‌ای انبار کند و بتواند از آن‌ها در مواقع لازم استفاده نماید. در این درس می‌خواهیم یکی از روش‌های معروف انبار کردن داده‌ها که به آن مکعب داده یا همان Data Cube گفته می‌شود را با هم دیگر مرور کنیم تا دید بهتری در حوزه انبار کردن داده‌ها به دست بیاوریم.

ادامه خواندن “مفهوم مکعب داده (Data Cube) در انبار‌داده‌ها”

فرض کنید می‌خواهید یک دوچرخه بسازید. طبیعتا این دوچرخه نیاز به آزمون و خطا برای ساخت دارد. در کنار آن نیاز به یک سری وسائل اولیه جهت ساخت این دوچرخه دارید، برای مثال چند حلقه لاستیک می‌خواهید، یک سری سیم ترمز، دسته‌های دوچرخه و… که هر کدام در مغازه‌ای خاص در شهر هستند. راه غیر کاربردی برای این کار این است که هر گاه به وسیله‌ای احتیاج داشتید بروید و آن را از مغازه خریداری کنید که طبیعتا برای هر بار خرید باید مسافتی را طی کنید و زمان زیاد بگذارید. اما راه ساده و کاربردی این است که این وسائل را از مغازه‌های تامین کننده خریداری کنید و آن را در یک گوشه انبار کنید. حالا وقتی نیاز به هر کدام از وسايل دارید، به انبار خود مراجعه می‌کنید و آن قطعه را برمیدارید. این یک مثال ساده از انبار کردن در دنیای واقعی بود. در دنیای داده‌ها و اطلاعات نیز، به همین صورت انبار کردن داده داریم که به آن Data Warehouse یا به اختصار DW نیز می‌گویند و در این درس به آن خواهیم پرداخت.

ادامه خواندن “انبار داده (Data Warehouse) چیست؟”

شاید بگویید که چرا دوره انبار داده‌ها را با درسی با عنوان هوش‌تجاری آغاز کرده‌ایم! یکی از دلایلِ اصلی، این است که انبارکردنِ داده‌ها (Data Warehousing) یکی از عوامل کلیدی و مهم جهت به ثمر رساندنِ فرآیندهای هوش‌تجاری می‌باشد. در واقع با انبارکردنِ داده‌ها است که می‌توانیم اطلاعات و تفسیرهای ارزشمندی از آن‌ها (داده‌ها) به دست بیاوریم. پس در واقع یکی از کاربردهای مهمِ انبار کردنِ داده‌ها، در بحث هوش‌تجاری یا همان Business Intelligence است. در این درس می‌خواهیم به تعریف هوش‌تجاری و مثال‌های ساده‌ای از آن در سازمان‌ها و شرکت‌ها بپردازیم.

ادامه خواندن “هوش تجاری (Business Intelligence) چیست؟”