در دروس قبلیِ دوره‌ی جاری با شبکه‌های عصبی بازگشتی (RNN) ساده و LSTMها آشنا شدیم. شبکه‌های RNN ساده، مشکل محوشدگی گرادیان را داشتند و شبکه‌های LSTM نیز با این مشکل محوشدگی گرادیان را برطرف می‌کردند، ولی از لحاظ محاسبات سنگین و پیچیده بودند. شبکه‌های عصبی واحد بازگشتیِ دروازه‌دار یا همان Gated Recurrent Unit که به اختصار GRU گفته می‌شود، مشکل محوشدگی گرادیان را ندارند و از لحاظ محاسبات نیز ساده و سبک هستند.

در دروس قبلی در مورد شبکه‌های عصبی بازگشی RNN صحبت کردیم. این شبکه‌ها کاربردی هستند و البته مشکلاتی نیز دارند. یکی از مشکلات RNNها، محوشدگی گرادیان در هنگام یادگیری از توالی‌های بلند مدت است که توانایی یادگیری را در الگوریتم کاهش می‌کند.

در درس قبلی در مورد شبکه‌های عصبی بازگشتی صحبت کردیم. این شبکه‌ها به دلیل استفاده گسترده در صنعت، رشد زیادی داشته‌اند و انواع مختلفی از آن‌ها ایجاد شده است. در این درس به انواع معماری‌های مشهورِ موجود در RNNها خواهیم پرداخت و کاربرد هر کدام را با هم مرور می‌کنیم.

هنگامی که داده‌ها به صورت ترتیبی (sequential) یا مبتنی بر سری زمانی (time series) باشند، شبکه‌های عصبیِ ساده کارایی بالایی نخواهند داشت. از این رو بهتر است که به سراغ معماری‌هایی برویم که توانایی پردازش داده‌های مبتنی بر ترتیب را داشته باشند. شبکه‌های عصبی بازگشتی که به اختصار به آن‌‌ها RNN نیز گفته می‌شود، توانایی شناسایی الگو و یادگیری را از مجموعه داده‌های ترتیبی دارند.

شبکه‌ی عصبی پیچشی یا به اختصار CNN که به آن شبکه‌ی عصبی کانولوشنی نیز گفته می‌شود، نوعی از شبکه‌های عصبی است که عموماً برای یادگیری بر روی مجموعه داده‌های بصری (مانند تصاویر و عکس‌ها) استفاده می‌شود. از لحاظ مفهوم این شبکه‌ها مانند شبکه‌های عصبی ساده هستند یعنی از فازهای پیش‌خور (feed forward) و پس‌انتشار خطا (back propagation of error) استفاده می‌کنند ولی از لحاظ معماری تفاوت‌هایی با شبکه‌های عصبی ساده دارند. این شبکه‌ها در دسته‌ی یادگیری عمیق قرار می‌گیرند زیرا لایه‌های موجود در این شبکه‌ها، زیاد است.

در مورد مزیت استفاده از توابع فعال‌سازی یا همان activation functions در درس مربوط به آن در دوره‌ی آشنایی با شبکه‌های عصبی عمیق صحبت کردیم. به صورت خلاصه، توابع فعال‌سازی در هر نورون، خروجی آن نورون را تغییر می‌دهند و به نوعی خروجی نورن‌ها را در شبکه‌های عصبی کنترل می‌کنند.

فرض کنید مدیر یک بانک هستید و می‌خواهید سیستمی هوشمند ایجاد کنید و این سیستم بتواند تشخیص دهد که یک مشتریِ متقاضی وام، آیا می‌تواند وام خود را پس دهد یا خیر؟ برای ایجاد این سیستم با استفاده از الگوریتم‌های شبکه‌های عصبی نیاز به مجموعه‌ی داده‌ای از مشتریان سابق به همراه ویژگی‌های آن‌ها داریم. مشتریانی که برخی از آن‌ها توانسته‌اند وام خود را بازگردانند و برخی نتوانسته‌اند این کار را انجام دهند.

در درس قبلی از دوره‌ی جاری در مورد محوشدگی گرادیان (gradient vanishing) صحبت کردیم. نقطه‌ی مقابل محوشدگی گرادیان، مشکل انفجار گرادیان یا همان exploding gradients است که به جای اضمحلال و محوشدن گرادیان، ممکن است آن را بیش از اندازه بزرگ نماید و به خاطر همین الگوریتم نتواند به یک همگرایی (converge) در میان وزن‌ها دست پیدا کند.