منظور از داده‌های آموزشی (Training Sets) در طبقه‌بندی چیست؟

مدرس: مسعود کاویانی

MasoudKaviani.ir

اگر با الگوریتم‌های طبقه‌بندی کار کرده باشید (و یا حداقل جایی خوانده باشید) متوجه می‌شوید که عبارتِ داده‌های آموزشی یا همان training sets در کتاب‌ها و مقالات، بسیار تکرار می‌شود. در این نوشته می‌خواهیم ببینیم منظور از training sets چیست و چگونه می‌توان از آن در طبقه‌بندیِ داده‌ها استفاده کرد.

یک مثالِ جالبْ برای درکِ بهترِ داده‌های آموزشی و مورد کاربرد آن‌ها می‌تواند به صورت زیر باشد:

فرض کنید شما یک دانشجو هستید و معلم ۱۰۰ سوالِ نمونه همراه با جواب در اختیار شما قرار داده است. شما بایستی با خواندن این ۱۰۰سوالْ خود را برای امتحان آماده کنید. به این ۱۰۰ سوال به نوعی داده‌های آموزشی گفته می‌شود زیرا شما از این داده‌ها برای آموزش خود و آمادگی برای امتحانِ اصلی، استفاده می‌کنید. البته از آن‌جایی فرض بر این است که شما فقط ۱۰۰ سوال دارید و هیچ منبعِ دیگر در اختیار ندارید، نمی‌توانید خود را قبل از امتحان ارزیابی کنید. پس معقول است که به صورت تصادفی (random)، از میان این ۱۰۰ سوال، مثلاً ۷۰ سوال را جدا کرده، آن‌ها را بخوانید و خوب یاد بگیرید. سپس ۳۰ سوالِ باقی‌مانده، داده‌های آزمایشی برای ارزیابی هستند که بایستی توسط آن‌ها، خود را قبل از آزمونِ واقعی بیازمایید. توجه کنید که ۷۰ سوال و ۳۰ سوالی که تقسیم بندی کرده‌اید، جواب‌هایش را دارید. در واقع با خواندن ۷۰ سوال و دیدن جواب‌های آن‌ها، یادگیری را انجام می‌دهید و سپس ۳۰ سوال باقی مانده را برای ارزیابیِ خود می‌گذارید. ۳۰ سوال را خوانده و برای خود جواب می‌دهید، سپس جواب‌های داده شده را با جواب‌هایی واقعیِ همان ۳۰ سوال، مقایسه می‌کنید و دقت و صحتِ خود را در پاسخ دادن به سوالات می‌سنجید.

این همان کاری است که بایستی در یک الگوریتمِ یادگیری ماشین (معمولا الگوریتم‌های طبقه‌بندی) انجام شود. شما یک مجموعه داده در اختیار دارید که هر کدام برچسبِ (lable) خود را دارند. اگر با این موضوع آشنا نیستید مثال درس طبقه‌بندی را نگاه کنید. حال این داده‌ها را به نسبت (مثلاً در این‌جا ۷۰ به ۳۰) تقسیم می‌کنید. الگوریتم از روی ۷۰ درصدِ داده‌ها، عملیاتِ یادگیری را انجام می‌دهد و از روی ۳۰ درصد بقیه، خود را ارزیابی می‌کند و نتیجه‌ی تست را به شما می‌گوید. به این ترتیب می‌توانید بفهمید که این الگوریتم چه مقدار دقت دارد. در واقع هنگامی که داده‌های واقعی از راه می‌رسند، می‌خواهیم بدانیم که این الگوریتم چقدر می‌تواند دقت داشته باشد (منظور از داده‌های واقعی، داده‌هایی است که در مجموعه داده‌های آموزشی نیستند و می‌خواهیم واقعا عملیاتِ داده‌کاوی و طبقه‌بندی را بر روی آن‌ها انجام دهیم). اگر هنوز مسئله برایتان جا نیفتاده است تصویر زیر را نگاه کنید:

در هنگامِ آموزش، داده‌ها را به دو دسته‌ی آموزشی و ازریابی تقسیم‌بندی می‌کنیم. حال الگوریتم از روی داده‌های آموزشی یادگیری را انجام می‌دهد و از روی داده‌های ارزیابی یا همان داده‌های تست می‌توانید بفهمید که الگوریتم و مدلِ ساخته شده توسطِ آن، چقدر دقت داشته است. وقتی الگوریتمْ عملیاتِ یادگیری را انجام داد و در واقع یک مدل را از روی این داده‌ها ساخت، حالا می‌توان از روی این مدل، عملیاتِ داده‌کاوی را بر روی داده‌های جدید انجام داد.