فرض کنید در یک فروشگاهِ زنجیره‌ای کار می‌کنید و مسئولیتِ جمع‌آوری داده‌ها به شما مُحوّل شده است. برای سادگی فرض کنید جداولِ زیر را برای پایگاه‌داده‌ی خود دارید:
پیش پردازش داده‌ها (Data Preprocessing) چیست؟
فرض کنید صاحبِ یک نانوایی هستید. برای تهیه‌ی نان، نیاز به آرد دارید. آرد نیز خود از گندم به دست می‌آید. یعنی گندم بایستی از شکلِ اولیه‌ی خود خارج شده و به آرد تبدیل شود (با فرآیندهای مختلفی که بر روی گندم انجام می‌شود) تا ماده‌ی اولیه‌ی تولیدِ نان، آماده شود. در فرآیندهای داده‌کاوی مانند طبقه‌بندی و خوشه‌بندی، نیاز داریم تا داده‌ها برای الگوریتمْ آماده شوند. زیرا معمولاً نمی‌توان داده‌ها را به صورت خامْ به الگوریتم‌های داده‌کاوی و یادگیری ماشین تزریق کرد.
ادامه خواندن “پیش پردازش داده‌ها (Data Preprocessing) چیست؟”پرسش و پاسخ: پایان‌نامه پیش‌بینی آب و هوا به وسیله داده‌کاوی
توسط:محمد (۰۲…۰۹۱۱)
پرسش:
سلام
من میخوام برای انجام پایان نامه روی موضوع مدلسازی وضعیت آب و هوا با استفاده ار هوش مصنوعی جهت بهینه سازی پیک مصرفی برق کار کنم
ایا امکانش هست بفرمایید چه مباحثی رو ابتدا مطالعه کنم و بعد پایان ناممو انجام بدم؟
چون کار چندان اسونی هم نیست
ممنون میشم راهنمایی بفرمایید
ادامه خواندن “پرسش و پاسخ: پایان‌نامه پیش‌بینی آب و هوا به وسیله داده‌کاوی”
پرسش و پاسخ: داده‌کاوی رشته مدیریت IT و مقاله ISI
توسط: شهناز (shsa…@gmail.com)
پرسش:
باسلام ، من دانشجوی کارشناسی ارشد مدیریت It هستم . علاقمند هستم که موضوع پایان نامه من درزمینه یادگیری ماشین باشد .بدنبال موضوع جالبی هستم که بتوانم در نهایت از آن یک مقاله isi نهیه کنم .میخواستم در این زمینه ازتون راهنمایی بگیرم .
ادامه خواندن “پرسش و پاسخ: داده‌کاوی رشته مدیریت IT و مقاله ISI”
پرسش و پاسخ: طراحی مدل با تعداد اندک داده‌های برچسب دار
توسط: مسعود (۰۵…۰۹۱۳)
پرسش:
با سلام
یک پروژه تحقیقاتی دارم . می خواستم ببینم امکان همکاری در بحث آموزش و راهنمایی در باب حل مسئله بین ما وجود دارد؟
پروژه : یک دیتا ست باینری با ابعاد ۱۲۰۰۰*۲۰۰۰۰ وجود دارد که نیاز به کلاسیفیکیشن دارد.
از ۲۰ هزار نمونه موجود فقط ۳۰۰ نمونه برچسب + دارند و اطلاعاتی را جع به بقیه نمونه ها وجود ندارد (در واقع صورت مسئله Positive Unlabled است) و نمونه – نداریم.
آیا امکان طراحی کلاسیفایر از نوع بیز برای این مسئله وجود دارد؟
آیا شما می توانید به من در حل این مسئله کمک کنید؟
منتظر پاسخ شما هستم.
با تشکر
ادامه خواندن “پرسش و پاسخ: طراحی مدل با تعداد اندک داده‌های برچسب دار”
دریاچه داده (Data Lake) چیست؟
یک دریاچه را در نظر بگیرید که رودخانه‌های مختلف به آن وارد می‌شوند. در واقع هر رودخانه مقداری آب در این دریاچه خواهد ریخت و آب‌های موجود در این دریاچه حاصل مجموعه این رودها است. دریاچه داده یا همان Data Lake نیز به همین صورت است. یک مخزن عظیم که داده‌های مختلف از طُرق متفاوت وارد این دریاچه می‌شوند و در آن ذخیره می‌گردند.
بازار داده (Data Mart) چیست و چه تفاوتی با انبار داده (Data Warehouse) دارد؟
تفاوت انبار و بازار در چیست؟ انبار یک محل بزرگ است که معمولا اجناس متفاوت با کاربردهای مختلف در آن جمع می‌شوند. معمولا کسی از انبار خرید نمی‌کند. در واقع انبار محل جمع‌آوری اجناس است. اگر شما بخواهید یک آب معدنی بخرید، طبیعتا به انبار آب معدنی رجوع نمی‌کنید و به سراغ بازار (همان سوپر مارکت‌ها) رفته و از آن‌جا خرید خود را انجام می‌دهید. انبار داده (Data Warehouse) و بازار داده (Data Mart) نیز این چنین تفاوتی نسبت به یکدیگر دارند. در دروس گذشته این دوره بیشتر تمرکز بر انبار داده بود و در این درس قصد داریم بازار داده یا همان Data Mart را با یکدیگر یاد بگیریم.
ادامه خواندن “بازار داده (Data Mart) چیست و چه تفاوتی با انبار داده (Data Warehouse) دارد؟”
طراحی انبار داده با شِمای چند بُعدی (Multidimensional Schema)
تا به اینجا در دوره انبار داده (Data Warehouse) با مقدمات و مفاهیم اولیه انبار داده و فرآیندهای هوش تجاری آشنا شدید. در درس جاری قصد داریم تا بفهمیم چگونه می‌توان یک انبار داده طراحی و پیاده‌سازی کرد. برای طراحی انبار داده یکی از روش‌ها شِماهای چند بُعدی یا همان Multidimensional Schemes هستند که از حقایق (Facts) و ابعاد (Dimensions) برای طراحی و تحلیل‌های OLAP استفاده می‌کنند.
ادامه خواندن “طراحی انبار داده با شِمای چند بُعدی (Multidimensional Schema)”
ELT در انبار داده و تفاوت آن با ETL
در درس قبلی به بررسی ETL که مخفف سه کلمه استخراج (Extract)، تبدیل (Transformation) و بارگزاری (Load) بود پرداختیم. گفتیم که در فرآیند ETL داده‌ها از منابع مختلف جمع آوری شده و پس از تغییرات و تبدیلات مورد نیاز، در انبار داده بارگزاری می‌شوند. شکل زیر را از درس قبل به خاطر دارید:
فرآیند ETL در انبار داده (Extract, Transformation, Load)
تا به اینجا به صورت خلاصه در دوره انبارداده (Data Warehouse) به این نتیجه رسیدیم که بایستی برای تحلیل و داده‌کاوی بر روی داده‌های زیاد، داده‌ها را در یک مکان به اسم انبار داده یا همان Data Warehouse ذخیره و انبار می‌کنیم تا بتوانیم داده‌ها را برای عملیات هوش‌تجاری (Business Intelligence) آماده کنیم. اما این فرآیند (تبدیل داده‌ها از منابع مختلف سازمان، به انبارداده) به همین سادگی نیست و مسیر پر پیچ و خمی دارد. به همین دلیل مفهومی به نام ETL به وجود آمده است که فرآیند این انتقال را برای ما سازمان می‌دهد.
ادامه خواندن “فرآیند ETL در انبار داده (Extract, Transformation, Load)”