یادگیری تداعی

یادگیری تداعی – ایران ترجمه – Irantarjomeh

مقالات ترجمه شده آماده گروه کامپیوتر

مقالات ترجمه شده آماده کل گروه های دانشگاهی

مقالات

چگونگی سفارش مقاله

الف – پرداخت وجه بحساب وب سایت ایران ترجمه(شماره حساب)ب- اطلاع جزئیات به ایمیل irantarjomeh@gmail.comشامل: مبلغ پرداختی – شماره فیش / ارجاع و تاریخ پرداخت – مقاله مورد نظر --مقالات آماده سفارش داده شده پس از تایید به ایمیل شما ارسال خواهند شد.

www.irantarjomeh.com

یادگیری تداعی

اهداف

شبکه های عصبی که ما تاکنون آن ها را مورد بحث قرار داده ایم (در فصل های ۴، ۷، ۱۰– ۱۴) همگی در یک حالت نظارت شده مورد آموزش قرار گرفته اند. هر شبکه نیازمند یک سیگنال هدف جهت مشخص سازی رفتار شبکه صحیح می باشد.

در مقابل، این فصل ارائه دهنده یک سری از ویژگی های جمع آوری  شده  قواعد  ساده ای  می باشد که اجازه فراگیری غیر کنترلی یا غیر نظارتی را خواهد داد. این قواعد به شبکه ها قابلیت فراگیری تداعی های بین الگوها که به صورت مکرر رخ می دهند را خواهند داد. به هنگام فراگیری، این نوع از تداعی ها به شبکه ها کمک می نمایند تا قابلیت انجام وظایف مفید نظیر شناسایی الگو و فراخوانی را داشته باشند.

علی رغم سادگی قواعد مطرح شده در این فصل، آن ها تشکیل دهنده اساس قابل توجهی برای شبکه های قدرتمندی هستند که در فصول ۱۶، ۱۸ و ۱۹ مورد بررسی قرار خواهند گرفت.

یادگیری تداعی

تئوری و مثال ها

این فصل نیز در خصوص ویژگی های تداعی می باشد: بنابراین مباحث مطرح شده شامل چگونگی ارائه ویژگی های تداعی به وسیله یک شبکه، چگونگی فراگیری تداعی های جدید به وسیله شبکه و موارد مرتبط می باشد.

حال سوال مطرح شده آن است که تداعی چیست ؟ یک تداعی شامل هر گونه لینک بین یک ورودی سیستمی و خروجی مربوطه به شمار می آید آن هم به گونه ای که به هنگامی که یک الگوی A به سیستم معرفی شد، قابلیت پاسخ گویی با الگوی B وجود داشته باشد. به هنگامی که این دو الگو به وسیله یک مولفه تداعی به یکدیگر پیوند داشته شوند، الگوی ورودی غالباً تحت عنوان محرک خوانده می شود. به همین صورت، الگوی خروجی نیز تحت عنوان پاسخ ذکر می شود.

تداعی ها آن قدر اساسی به شمار می آیند که تشکیل دهنده بنیان مکتب فلسفی رفتار گرایی تلقی می شوند. این شاخه روان شناسی سعی در توصیف غالب رفتارهای حیوانات و انسان ها از طریق تداعی ها و قواعد مرتبط برای فراگیری ویژگی های آنها می نمایند. (این رویکرد به طور گسترده ای به عنوان یک مولفه نامعتبر مشخص گردیده است).

یکی از اولین تاثیرات مکتب رفتار گرایان روان شناسی توصیف کلاسیک موارد مطرح شده به وسیله ایوان پاولوف می باشد، که در آن وی نسبت به آموزش یک سگ اقدام نمود. بر مبنای آن بزاق سگ با شنیدن صدای زنگ به هنگامی که غذا آماده میشود ترشح می نماید. چنین موردی را می توان به عنوان مثال آن چیزی خواند که هم اکنون تحت عنوان شرطی سازی کلاسیک در نظر گرفته شده است. B. F. اسکینر یکی از تاثیر گذارترین طرفداران مکتب رفتار گرایی تلقی می شود. آزمایش کلاسیک وی شامل آموزش یک موش می باشد که در پی آن موش فرا می گیرد تا با فشردن یک میله می تواند تکه های غذا را در اختیار داشته باشد. چنین موردی را می توان به عنوان مثالی از شرطی سازی ابزاری تلقی نمود.

…

یادگیری تداعی

شبکه تداعی ساده

حال اجازه دهید تا نگاه خود را معطوف به ساده ترین شبکه ای نمائیم که قابلیت پیاده سازی یک رویه تداعی را خواهد داشت. مثال این مورد یک نورون حد سخت تک ورودی می باشد که در شکل ۱۵-۱ نشان داده شده است.

محرک غیر شرطی

یکی از ورودی ها معرف محرک های غیر شرطی می باشد. چنین موردی قابل قیاس با غذای ارائه شده به سگ در آزمایش پاولوف می باشد.

محرک شرطی

مورد دیگر ورودی ها شامل محرک های شرطی شده هستند. چنین موردی را می توان به آزمایش توپ پاولوف تشبیه نمود. در ابتدا بزاق سگ تنها در صورتی ترشح خواهد شد که غذا وجود داشته باشد. چنین موردی را می توان به عنوان یک ویژگی ذاتی تلقی نمود که قابلیت فراگیری ندارد. با این وجود، به هنگامی که زنگ با غذا جفت می گردد، سگ در برابر ترشح بزاق با توجه به صدای زنگ شرطی می شود حتی در صورتی که غذا وجود نداشته باشد.

ما محرک غیر شرطی را به عنوان p⁰ و محرک شرطی را به سادگی به عنوان p در نظر می گیریم. برای اهداف مد نظر، ما در نظر می گیریم که وزن های مرتبط با p⁰ ثابت می باشند، اما وزن های مرتبط با p بر مبنای قاعده یادگیری مرتبط قابل تنظیم خواهند بود.

قانون بدون نظارت هب

برای مشکلات ساده، طراحی یک شبکه با مجموعه ثابتی از تداعی ها مشکل نمی باشد. از طرف دیگر، یک شبکه مفیدتر قابلیت فراگیری تداعی ها را خواهد داشت.

به چه هنگامی می بایست یک تداعی را فرا گرفت؟ چنین موردی عمدتاً پذیرفته شده است که هر دوی حیوانات و انسان ها سعی در تداعی چیزهایی دارند که به صورت همزمان اتفاق می افتند. جهت تفسیر قانون هب می توان بیان داشت که: در صورتی که یک محرک بوی موز به صورت همزمان با پاسخ مفهومی موز در نظر گرفته شود (فعال شده به وسیله محرک های دیگر نظیر شکل موز)، شبکه می بایست قابلیت تقویت اتصال بین آن ها را داشته باشد به گونه ای که متعاقباً بتوان نسبت به فعال سازی مفهوم موز در واکنش به صرف بوی موز اقدام نمود.

قانون بدون نظارت هب این مورد را دقیقاً انجام می دهد، یعنی از طریق افزایش وزن w_ij بین یک ورودی p_j و خروجی نورون در تناسب با ویژگی های حاصل آمده می توان مورد ذیل را در نظر داشت:

یادگیری تداعی

یادگیری محلی

توجه داشته باشید که معادله (۱۵-۶) صرفاً از سیگنال های موجود در داخل لایه محتوای وزن های مورد آپدیت استفاده می نماید. قواعدی که ارضا کننده چنین شرطی باشند تحت عنوان قوانین یادگیری محلی خوانده می شوند. چنین موردی در تعارض با قاعده پس انتشاری می باشد، به طور مثال، مورد تعارض آن در این ویژگی نهفته است که حساسیت می بایست از لایه نهایی قابلیت پس انتشاری را داشته باشد. این قواعد که در فصل جاری ارائه می شوند همگی به عنوان قوانین یادگیری محلی به حساب می آیند.

قاعده هب بدون نظارتی را همچنین می توان در قالب بردار به شکل ذیل نوشت:

توالی آموزشی

همانند تمامی قواعد بدون نظارت، یادگیری در پاسخ به یک ویژگی خاص برآمده ورودی ها که در شرایط زمانی محرز می گردند اعمال خواهد شد (ترتیب یا توالی فراگیری):

قانون هب با کاهش

یک راه جهت  ارتقای قانون هب اضافه نمودن یک عبارت  وزنی (معادله ۷ ـ ۴۵) به شرح ذیل می باشد:

میزان کاهش

که در آن g، نرخ کاهش / زوال، به عنوان یک ثابت مثبت کمتر از ۱ به شمار می آید. به هنگامی که g به ۰ می رسد، قانون فراگیری به عنوان یک قاعده استاندارد به شمار خواهد آمد. به هنگامی که g به ۱ می رسد، قانون  فراگیری به سرعت ورودی های قدیمی را نادیده گرفته و صرفاً جدیدترین الگوها را به عضویت می پذیرد. چنین موردی سبب حفظ ماتریس وزن از رشد بدون حد یا محدودیتی خواهد شد (ایدۀ فیلترینگ تغییرات وزنی در فصل ۱۲ مورد بررسی قرار خواهد گرفت که ما آن را تحت  عنوان یک مقدار حرکت آنی به شمار می آوریم).

شبکه شناسایی ساده

تاکنون ما صرفاً تداعی های بین ورودی ها و خروجی های دارای کمیت عددی را مورد بررسی قرار داده ایم. ما هم اکنون اقدام به بررسی یک نورونی خواهیم نمود که دارای یک ورودی بردار می باشد (به شکل ۱۵ ـ ۴ رجوع شود). این نورون که در برخی از مواقع تحت عنوان instar خوانده می شود، به عنوان ساده ترین شبکه ای محسوب می شود که قابلیت شناسایی الگو را خواهد داشت، موردی که ما به صورت خلاصه آن را مشخص خواهیم نمود.

قانون این استار (Instar)

یک مشکل قانون هب با توجه به زوال آن است که چنین موردی نیازمند محرکی جهت تکرار خواهد بود یا  آنکه تداعی ها نهایتاً از دست خواهند رفت. یک قانون بهتر صرفاً به هنگامی اجازه زوال وزن را خواهد داد که این استار فعال (a ¹ ۰) باشد. مقادیر وزنی همچنان محدود خواهند بود، اما موارد نادیده گرفته به حداقل می رسند. مجدداً قانون اولیه هب را در نظر بگیرید:

قانون کوهونن

در این نقطه مناسب است تا نسبت به ارائه یک قانون یادگیری تداعی دیگر اقدام نماییم که در ارتباط با قانون  این استار می باشد. نام این قانون تحت عنوان قانون کوهونن است:

شبکه فراخوانی ساده

ما مشاهده نمودیم که شبکه این استار (با یک بردار ورودی و یک خروجی اسکالر) قابلیت انجام شناسایی الگو از طریق تداعی یک محرک بردار خاص با یک پاسخ مشخص را خواهد داشت. شبکه آوت استار، نشان داده شده در شکل ۱۵ـ۷، یک ورودی اسکالر و یک خروجی برداری می باشد. این شبکه قابلیت انجام فراخوانی الگو از طریق تداعی یک محرک با یک پاسخ بردار را خواهد داشت.

قانون آوت استار (Outstar)

جهت حاصل آوردن قانون این استار، ویژگی فراموشی بر حسب متناسب سازی عبارت کاهش وزن قانون هب با خروجی شبکه، a_i، محدود می گردد. به طور معکوس، جهت حاصل آوردن قانون یادگیری آوت استار، ما عبارت کاهش وزن را در تناسب با ورودی شبکه، p_j، مدنظر قرار می دهیم:

یادگیری تداعی

خلاصه نتایج

تداعی

یک تداعی در حقیقت نوعی لینک یا پیوند بین ورودی ها و خروجی های یک شبکه به شمار می آید به گونه  ای که به هنگامی که یک محرک A در شبکه ارائه گردد، آن محرک یک پاسخ B را به عنوان خروجی ارسال می نماید.

قوانین یادگیری تداعی

قانون هب بدون نظارت

قانون هب با کاهش

این  استار

…

حل مسایل

مسئله ۱۵ـ۱٫ در معادله (۱۵ ـ ۱۹) وزن حداکثری برای قانون هب با کاهش محاسبه شده است، حال در نظر بگیرید که p_j و a_i در هر مرحله زمانی برابر با ۱ باشد. حال مطلوب است محاسبه وزن حداکثری حاصله در صورتی که p_j و a_i مجموعاً بین مقادیر ۰ و ۱ متغیر باشند.

ما کار خود را با نگارش اسکالر قانون هب با کاهش شروع می کنیم:

خاتمه

در این فصل ما برخی از شبکه های ساده با قابلیت شکل دهی ویژگی های تداعی را ارائه نمودیم. ما همچنین نسبت به توسعه و مطالعه چندین قانون یادگیری اقدام نمودیم که به شبکه ها اجازه ایجاد تداعی های جدید را می دهد. هر قانون بر مبنای تقویت یک تداعی بین هر گونه محرک و پاسخ به صورت همزمان عمل می نماید.

شبکه های تداعی ساده و قوانین یادگیری که در این فصل ارائه شده اند به خودی خود مفید هستند، اما آنها همچنین به عنوان بلوک های اصلی برای شبکه های قدرتمندتر به شمار می آیند. در این فصل، ما دو شبکه و قوانین یادگیری مرتبط با آنها را ارائه نمودیم که برای توسعه شبکه های مهم در سه فصل آتی معنادار هستند: این استار و آوت  استار. این استار شبکه ای به شمار می آید که به منظور شناسایی یک الگو آموزش می بیند. آوت استار نیز شبکه ای است که جهت فراخوانی یک الگو آموزش می بیند. ما لایه های این استار در فصل های ۱۶ و ۱۸ را بکار گرفته تا قابلیت شناسایی الگو را داشته باشیم. این شبکه ها بسیار شبیه به شبکه همینگ فصل ۳ می باشند، که لایه  اول آن در حقیقت یک لایه این استار می باشد. در فصل ۱۹، ما یک شبکه پیچیده تر را ارائه خواهیم نمود که ترکیب کننده هر دو مؤلفه شبکه های این استار و آوت استار به منظور ایجاد فراگیری پایدار می باشد.

تمرین

E 15-1. شبکه نشان داده شده در شکل E 15-1 با استفاده از قانون هب و با توجه به کاهش از طریق کاربرد سرعت یادگیری a به میزان ۳/۰ و نرخ کاهش g به میزان ۱/۰ آموزش می بیند.

1. در صورتی که w به صورت اولیه به ۰ تنظیم گردد، و w⁰ و b به صورت ثابت باشند (با مقادیر نشان داده شده در شکل E 15-1)، تا چه مقدار به شاخص های پیاپی مجموعه آموزشی مرتبط قبل از پاسخگویی نورون جهت تست این مجموعه نیاز خواهیم داشت؟ حال مطلوب است ایجاد یک پلات w در برابر تعداد تکرار.

2. در نظر بگیرید که w دارای یک مقدار اولیه ۱ می باشد. حال سئوال این است که تا چه تعداد شاخص های متوالی مجموعه آموزشی مورد نیاز است تا آنکه نورون بیش از این قابلیت پاسخگویی به مجموعه آزمایشی را نداشته باشد؟ مطلوب است ترسیم یک پلات w در برابر تعداد تکرار