در درس قبلی با بحثِ پس انتشارِ خطا آشنا شدیم و متوجه شدیم که شبکههای عصبی برای به هنگامسازیِ وزنها و انحراف، باید عملیاتِ پس انتشار را در هر بار اجرای الگوریتم انجام دهند. هر تکرار از اجرای الگوریتم که یک iteration شناخته میشود، میتواند وزن و انحرفها را به گونهای به هنگام (update) کند که الگوریتمِ شبکهی عصبی بتواند ویژگیهای مختلف و طبقههای متفاوت را شناسایی کند. برای درکِ بهتر فرض کنید خودتان در مدرسه برای امتحانِ نهایی آماده میشوید و میخواهید چند مرتبه از روی کتاب روخوانی کنید. در واقع شما هم به نوعی iterate را انجام میدهید.
در این درس به بحثِ کاهش گرادیان (gradient descent) در شبکههای عصبی میپردازیم که در واقع پایهی عملیات پس انتشار خطا میباشد.
شکل زیر را از درس قبل به خاطر دارید:
گفتیم که در این مثال به دنبال کمترین مقدارِ خطا میگردیم. که با توجه به وزنها کمترین میزانِ خطا در وزن ۱.۵ رخ داده است که مقدارِ آن برابر ۱ است. یعنی ما با کم و زیاد کردنِ مقدارِ وزن میخواهیم کمترین میزانِ خطا را مشخص کنیم. اما در شبکههای عصبی (همانطور که بعداً خواهیم دید) تعداد بسیار بیشتری وزن خواهیم داشت که بایستی بههنگام (update) شوند. مثلاً در یک شبکهی عصبی برای پردازش تصویر ممکن است تا ۱۰۰۰ یا بیشتر وزن داشته باشیم که در این صورت باید تابعِ خطا را با توجه به هر ۱۰۰۰ وزنِ مختلف ارزیابی کرده و سپس هر کدام از این وزنها را تغییر داده و دوباره تست کنیم تا میزان خطا به دست آید. همانطور که تصور میکنید این عملیات بسیار وقتگیر و پرهزینه است. برای غلبه بر این مشکل از روشی به اسم کاهش گرادیان استفاده میشود که در این درس به آن میپردازیم.
فرض کنید به جای مثال بالا، نمودار (که در واقع بیانگر خطاها در وزنهای مختلف است) مقادیرِ خطا برای وزن w1 به صورت زیر باشد:
همان طور که مشاهده میکنید، کمترین میزان خطا در وزن ۷ اتفاق افتاده است. در روشِ کاهش گرادیان برای پیدا کردن این وزن از قوانین مشتق استفاده میشود. همانطور که میدانید مشتق، نشاندهندهی شیبِ خطِ مماس بر یک نقطه از یک تابع است. برای اینکه کمترین میزانِ خطا را به دست آوریم فرض میکنیم یک نقطهی دلخواه (یک وزن دلخواه) را در این تابع در نظر گرفتهایم. مثلاً نقطهی ۱ (یعنی وزن ۱). حال به تصویر زیر نگاه کنید:
در این نقطه مشتق که همان شیب خطِ مماس بر یک نقطه است یک عدد منفی بوده، چون خط به سمت پایین است. الگوریتمِ پس انتشار میداند که اگر شیبِ خط در یک نقطه (با توجه به وزنها) منفی بود بایستی مقدار آن وزن را افزایش دهد تا شیب خط به صفر برسد. شیب صفر یعنی کمترین میزان خطای ممکن در آن محدوده (برای درکِ بهتر، در همان تصویر بالا، شیب در محدودهی وزنِ ۱.۷۵ را نگاه کنید، یعنی جایی که خطِ سبز در کمترین میزانِ خود قرار دارد). همانطور که در شکلِ بالا مشخص است، کمترین میزانِ خطای ممکن در آن محدوده برای وزن ۱.۷۵ ثبت شده است که شیبِ خط در آنجا صفر است (موازی محور افقی است)، حال اگر کمی مقدار وزن را از ۱.۷۵ بیشتر کنیم شیب خط مثبت میشود، یعنی شیب به سمت بالا میرود. با مثبت بودنِ شیب خط، یعنی همان مشتق در آن نقطه، الگوریتمِ پس انتشار میفهمد که باید وزن را کم کند تا شیب به صفر برسد.
همان طور که در یک مثال بالا دیدید، الگوریتمِ پس انتشار میتواند با استفاده از این این تکنیک یک نقطهی کمینه برای خطا پیدا کند که البته کمترین مقدار در کل فضا نبود ولی به هر حال معقول به نظر میرسید. به این نقطهی معقول یک کمینهی محلی (local minimum) برای خطا میگویند. در شکل بالا وزن ۷ یک کمینهی سراسری، یعنی بهترین نقطه موجود در کل شکل (global minimum) است. البته رسیدن به این نقطهی سراسری برای الگوریتمِ پس انتشارِ خطا کار دشوار و زمانبری است.
برای همین معمولاً الگوریتم در شبکههای عصبی اینگونه آموزش میبیند که به تعداد تکرار مشخص یا تا رسیدن به یک خطای کمِ مشخص الگوریتم را ادامه بدهد و بعد از آن توقف کند. یعنی شبکه عصبی آنقدر تکرار را انجام میدهد تا به یک خطای معقول مشخصِ کم برسد . مثلاً در مثالِ بالا میگوییم اگر خطا زیر ۲/۵ شد دیگر کافی است. اگر این طور نشد یعنی خطا به اندازهی دلخواهِ ما کم نشده است و حالا میتوانیم برای تکرار محدودیت بگذاریم. مثلاً میگوییم تا ۱۰ هزار مرتبه تکرار را انجام بده (یعنی ۱۰ هزار مرتبه وزنها و انحراف را آپدیت کن) و بعد از آن دیگر یادگیری را ادامه نده.
حال که یادگیری انجام شد، شبکه دارای وزنها و انحرافِ مشخص است. از این به بعد شبکه میتواند یک سری ویژگی (مثلاً ویژگیهای یک پراید یا اتوبوس) را بگیرد و تشخیص دهد که این یک پراید است یا خیر. که البته همان طور که واضح است، این پیشبینی دارای خطایی نیز هست.
مثال بالا یک حالت بسیار بسیار ساده فقط با یک وزن بود. در شبکههای عصبی که وزنهای بسیار زیاد، تا ۱۰۰۰ یا بیشتر – با توجه به تعداد ویژگیها یا همان ابعاد، برای بههنگامسازی وجود دارد سرعتِ روش کاهش گرادیان به خوبی نمایان میشود چرا که روشِ پس انتشارِ خطا همراه با کاهشِ گرادیان میتواند بسیار سریع نقطهی کمینهی معقولی برای خطا را پیدا کند. البته که انواع مختلفی از روشهای کاهشِ گرادیان (یا همان صفر کردنِ مشتق) وجود دارد که در درسی جدا به آنها خواهیم پرداخت.
در شکل زیر هم در یک انیمیشن میتوانید ببینید که کاهش گرادیان چگونه در یک فضای ۲ بُعدی (با ۲ متغیر) کار میکند:
- ۱ » شبکه عصبی (Neural Network) چیست؟
- ۲ » تعریف پرسپترون (Perceptron) در شبکه های عصبی
- ۳ » پرسپترون در شبکه عصبی چگونه یاد میگیرد؟
- ۴ » پرسپترون چند لایه (Multi Layer Perceptron) چیست؟
- ۵ » درباره توابع فعال سازی پرسپترون و Sigmoid
- ۶ » تابع ضرر (Loss Function) در شبکه عصبی چیست و چه کاربردی دارد؟
- ۷ » نحوه یادگیری پس انتشار خطا (Back Propagation) در شبکه های عصبی
- ۸ » کاهش گرادیان (Gradient Descent) در شبکه های عصبی
- ۹ » حل یک مثال عددی یادگیری ماشین با شبکههای عصبی
عالی بود
نکات اصلی درس خیلی خوانا و قابل فهم بیان شده بود
با تشکر از تلاش شما
واقعا عالی بود سپاس
ممنون واقعااا عالی توضیح دادید .اموزش های دیگه ای هم خونده بودم اما اینی که شما گفتید عالی بود
سلام. سپاس فراوان آقای کاویانی، حقیقتا چراغی هستید روشنگر راه ما… به هر طریقی که خودتون میدونید و خدا، خیر ببینید.
سلام اقای مهندس.
جدا زکات علمت را دادی. انرژی خوب پراکندی. انرژی خوب که بر می گرده اما منم دعا می کنم زودتر و پایدارتر و شدیدتر بهتون برگرده.
لطفا بقبه اموزش ها را هم بذارید.
دستت درست …. درسی که خوندی حلالت …
واقعا عالی بود دمتون گرم مهندس.
بسیار عالی ، سپاس
خیلی خوب بود.ممنونیم.
فوق العاده بود. درود بر شما
عالی هستید من دوست دارم اگر کلاسی دارید شرکت کنم
ممنون از زحمات شما. بسیار استفاد کردم از مطالبتون جهت تکمیل کارم.سپاس فراوان
سلام و درود بسیار روان و زیبا توضیح دادید سپاس فراوان خدا قوت
سلام به معنای واقعی کلمه لذت می برم این مطالب رو می خونم الان دو روزه روزی ۵ ساعت دارم مطالب تون رو می خونم اصلا دوست ندارم بلند شم از جام از پس ساده و روان مطالب رو ارائه می کنید خیلی وقت بود اینجوری درس نخونده بودم
واقعا متشکرم
عالی بود. انشاالله خدا به دانش شما برکت بده و سلامت باشید
بعد از مدت ها این مفهوم رو درست و عمقی فهمیدم و حتما باید دنبال کنم واقعا ممنون
سلام و خسته نباشید
واقعا بسیار آموزنده و مفید بود در ابتدا از پیچیدگی آن صرف نظر کردید و با مثال ساده و قابل فهم شروع کردید و در هر مرحله مرتبه ای از پیچیدگی را افزودید که باعث شد راحتر جا بیفتده واقعا بسیار خوب بود . لذا تقاضا دارم بحث را فراتر ازین برده و کاربرد آن در علوم دیگرداز جمله در پیش بینی سری زمانی و … همرا با توضیحات الگوریتم ریاضی آن پیش ببرید تا از سایر کشورها در این حوزه جا نمانیم.ممنون
سلام. خسته نباشید. مباحث را بسیار ساده و روان بیان کردید. برای هر کس با هر پیشینه علمی قابل فهم است. توفیق روزافزون شامل حالتون باشه که وقت باارزشتونا صرف ارتقای سطح علمی کشور می کنید. متشکرم
واقعا عالی بود ، امیدوارم ادامه داشته باشد.
بسیار ممنون
با سلام آموزش بسیار ساده و روان و کاربردی بود. خیلی عالی بود ممنون
سلام
واقعا عالی نوشتین
من که در حد صفر با شبکه عصبی آشناییی داشتم خیلی درکش برام راحت بود
انشالله موفق و پیروز باشید
منتظر ادامه مطلب شیرین و جذابتون هستم
واقعا عالی بود ممنونم ازتون میلا
عرض سلام و ادب
بینهایت سپاس از بیان ساده و صریح مطالب
من دانشجوی ارشد هوش مصنوعی هستم و این ترم باید دفاع کنم
خواستم بگم ۲ روز هست که با سایت شما آشنا شدم و الان تازه تمامی مطالبی رو که پاس کردم دارم متوجه میشم
لطفا مطالب شبکه عصبی رو زودتر همهی مباحثش رو قرار بدین
ممنون میشم