بهینه‌سازی سراسری (Global Optimization) و تفاوت آن با کاهش گرادیان (Gradient Descent) | چیستیو

این درس از مجموعه آشنایی با الگوریتم‌های فراابتکاری (Meta Heuristic) است

پیش نیاز این درس:

مدرس: مسعود کاویانی

از آن‌جایی که امکان دارد برخی از دانشجویان کمی در درک مفاهیمِ بهینه‌سازی و کارایی آن‌ها دچار سردرگمی شده باشند، در این درس می‌خواهیم کمی به این مباحث بپردازیم تا مدل ذهنی دانشجویان عزیز کمی بهتر با مفاهیم اصلی و بنیادین این حوزه آشنا شود.

درس کاهش گرادیان از دوره‌ی شبکه‌ی عصبی را به یاد بیاورید. اگر آن درس را نخوانده‌اید حتماً یک مرتبه آن را مطالعه کنید. در کاهش گرادیان تطابق بسیار زیادی با درس ابعاد و فضای حالت از دوره‌ی جاری دارد. اجازه بدهید جهت یادآوری تصویر زیر را از درس کاهش گرادیان بیاوریم:

در این تصویر ما به دنبال کم کردن خطا بودیم. در واقع می‌خواستیم به یک کمترین خطا دست پیدا کنیم. برای این‌کار بایستی یا تمامیِ نقاط را می‌گشتیم و یا با استفاده از عملیات کاهش گرادیان (کاهش مشتق) یک کمینه‌ی محلی را پیدا می‌کردیم. نشان دادیم که الگوریتمِ کاهش گرادیان در نهایت به یک بهینه‌ی محلی (نقطه‌ی ۱/۷۵) می‌رسد در حالی که بهینه‌ی سراسری در نقطه‌ی ۷ قرار دارد.

پس نکته‌ی اصلی در بحث بهینه‌سازی این‌جاست که ما به دنبال بهینه‌ی سراسری هستیم، نه صرفاً یک بهینه‌ی محلی. در واقع الگوریتم‌های بهینه‌سازی فراابتکاری، قادر هستند از بهینه‌ی محلی فرار کنند و به نقاط دیگر از فضای حالت رفته و شانس خود را برای پیدا کردن بهینه‌ی سراسری امتحان کنند.

الگوریتم‌های بهینه‌سازی سراسری یا همان Global Optimizer الگوریتم‌هایی هستند که می‌توانند فضای حالت را به خوبی اکتشاف کرده و در تله‌ی بهینه‌های محلی کمتر گرفتار شوند. پس یکی از ویژگی‌هایی که این الگوریتم‌ها باید داشته باشند، اکتشاف (Exploration) بیشتر در فضای حالت است.

این درس از مجموعه آشنایی با الگوریتم‌های فراابتکاری (Meta Heuristic) است

ترتیب پیشنهادی خواندن درس‌های این مجموعه به صورت زیر است:

دیدگاهتان را بنویسید لغو پاسخ