تعیین تعداد واحدهای لایه مخفی در شبکه‌های عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART

تعیین تعداد واحدهای لایه مخفی در شبکه‌های عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART

تنظیم پارامتر
تعیین ساختار
اتوماتاهای یادگیر
شبکه های عصبی چند لایه
الگوریتم انتشار خطا به عقب
دانلود پایان نامه کارشناسی ارشد رشته هوش مصنوعی
تعیین تعداد واحدهای لایه مخفی در شبکه‌های عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART

رفتن به سایت اصلی

دانلود پایان نامه کارشناسی ارشد رشته هوش مصنوعی

مهندسی شبکه‌های عصبی توسط اتوماتاهای یادگیر:

تعیین تعداد واحدهای لایه مخفی در شبکه‌های عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART

 

 

چکیده:

شبکه‌های عصبی پیس‌خور چند لایه و شبکه‌های ART از جمله شبکه‌هایی هستند که در سالهای اخیر توجه زیادی به آنها شده است. در این پایان‌نامه این دو شبکه مورد بحث و بررسی قرار گرفته و الگوریتمهایی جهت بهبود عملکرد آنها ارائه میگردد. در قسمت اول این پایان نامه چند پیشنهاد برای بهبود الگوریتم بقاء که تنها روش مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار مناسب برای شبکه‌های عصبی پس‌خور سه لایه می‌باشد ارائه میگردد. الگوریتمهای اصلاح شده بقاء بر روی مسایل متنوعی از جمله مسایل parity شش بیتی، parity شش بیتی نویزی شده، ارقام انگلیسی، ارقام انگلیسی نویزی شده، ارقام دست نویس فارسی، مساله encoding سه بیتی، مساله تقارن و مساله XOR سه بیتی آزمایش شده و نتایج آن با دو الگوریتم تعیین ساختار شبکه‌های عصبی پس‌خور به نامهای S&D و Iterative مقایسه شده است.

 

نتایج آزمایشها نشان می‌دهد که الگوریتمهای اصلاح شده بقاء در مقایسه با الگوریتم بقاء، الگوریتم S&D و الگوریتم Iterative از کارایی بالاتری برخوردار هستند و شبکه‌های کوچکتر با نرخ تشخیص بالاتری تولید می‌کنند. در قسمت دوم این پایان‌نامه، الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت شبکه Fuzzy ARTMAP در کاربردهای کلاس‌بندی پیشنهاد می‌گردد. الگوریتم پیشنهادی از طریق تنظیم پارامتر مراقبت، شبکه‌ای کوچک که دارای نرخ تشخیص بالا می باشد تولید می‌کند. عملکرد شبکه ARTMAP Fuzzy که در آن پارامتر مراقبت توسط اتوماتای یادگیر تنظیم می‌شود مستقل از مقدار اولیه پارامتر مراقبت می‌باشد. الگوریتم پیشنهادی بر روی مسائل دایره در مربع، مارپیچ‌های حلزونی و مسئله مربع در مربع آزمایش شده و نتایج بسیار مطلوبی حاصل گردیده است. 

 

 

 

کلمات کلیدی:

تنظیم پارامتر

تعیین ساختار

اتوماتاهای یادگیر

شبکه های عصبی چند لایه

الگوریتم انتشار خطا به عقب

 

 

 

فهرست مطالب

1 مقدمه  1

1-1 تعیین ساختار شبكه های عصبی پیش خور  2

2 2-1 تنظیم پارامتر مراقبت در شبكه ART 

3-1 اهداف پایان نامه  3

4-1 ساختار پایان نامه 3

2 روشهای پیشین تعیین پارامترها و ساختار شبكه های عصبی 6

1-2 مقدمه 6

6 2-2 روشهای مربوط به تعیین، تنظیم یا تطبیق پارامترهای الگوریتم BP 

1-2-2 الگوریتم انتشار خطا به عقب 7

2-2-2 قانون دلتا-بار-دلتا 7

3-2-2 استفاده از كنترلر فازی جهت تنظیم پارامترهای شبكه  8

4-2-2 تخمین نرخ یادگیری و ممنتم بهینه 10

5-2-2 بدست آوردن نرخ یادگیری بهینه توسط مشتقات مرتبه بالاتر 13

6-2-2 روش مبتنی بر اتوماتا 16

3-2 روشهای تنظیم ساختار شبكه های عصبی پیش خور 16

17  1-3-2 روش محاسبات حساسیت 1

2-3-2 ایجاد شبكه های عصبی نورونی با هدف تعمیم بهتر  18

3-3-2 یك الگوریتم هرس برای شبكه های نورونی پیش خور  20

4-3-2 ارائه یك روش تركیبی برای تغییر تعداد نورونهای مخفی  28

5-3-2 روش مبتنی بر اتوماتا 30

30  4-2 روشهای تنظیم پارامتر مراقبت در شبكه ART 

30  1-4-2 شبكه های ART 

30 Fuzzy ART 1-1-4-2

33  ART 2A 2-1-4-2

35  ART 2A كدگذاری مكمل با :ART 2A-C 3-1-4-2

36 ART 2A فواصل اقلیدسی در :ART 2A-E 4-1-4-2

37 ART 2-4-2 كنترل فازی 1

39  3-4-2 الگوریتم تطبیق فازی پارامتر مراقبت در شبكه ART 

39 1-1-1-1 تحلیل پویایی های ART 

1-3-4-2 رابطه مابین حوض جاذب و پارامتر مراقبت  40

40  ρ 2-3-4-2 الگوریتم تطبیق فازی برای انتخاب

5-2 خلاصه و نتیجه گیری 42

3 مروری بر اتوماتاهای یادگیر 44

1-3 مقدمه 44

2-3 تاریخچه اتوماتاهای یادگیر  44

3-3 اتوماتاهای یادگیر تصادفی  45

1-3-3 اتوماتای تصادفی 46

2-3-3 محیط 46

4-3 الگوریتمهای یادگیری 47

1-4-3 الگوریتمهای یادگیری استاندارد 47

2-4-3 الگوریتمهای یادگیر با ساختار ثابت 49

49  L 1-2-4-3 اتوماتای دو حالته 2,2

50  L 2-2-4-3 توسعه های اتوماتای 2,2

50  L2N 3-2-4-3 اتوماتای حافظه دار با دو عمل 2

52  (K 4-2-4-3 اتوماتای كرینسكی ( 1

52  (K 5-2-4-3 اتوماتای كرایلو ( 2

52  , 6-2-4-3 اتوماتای G2N 

7-2-4-3 اتوماتای مهاجرت اشیاء 53

53 u 8-2-4-3 اتوماتای 3

5-3 بازیهای اتوماتا 53

6-3 خلاصه و نتیجه گیری 54

4 الگوریتمهایی مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار

شبكه های عصبی چندلایه پیش خور 56

1-4 مقدمه 56

2-4 كاربردهای مورد آزمایش 57

1-2-4 پریتی  57

2-2-4 ارقام انگلیسی  57

58  XOR 3-2-4

58  Encoding 4-2-4

5-2-4 تقارن 58

6-2-4 مساله پریتی 4 بیتی نویزی شده 58

7-2-4 مساله ارقام انگلیسی نویزی شده  59

8-2-4 ارقام فارسی دست نویس 59

9-2-4 حروف چینی 59

3-4 الگوریتم بقاء نورون 59

1-3-4 تشخیص نحوه عملكرد نورون روشن 60

2-3-4 نحوه تمایز بین نورونهای خاموش 61

4-4 ارائه روشهای نو جهت بهبود عملكرد الگوریتم بقاء نورون  62

1-4-4 كاهش تاثیر نورونهای خاموش 62

2-4-4 تعمیم الگوریتم بقاء برای شبكه های با بیش از یك لایه میانی 63

3-4-4 زمان فعالیت اتوماتا 65

65 epoch 1-3-4-4 بعد از هر

2-3-4-4 بعد از بی تغییر ماندن خطا(عدم كاهش خطا)  65

4-4-4 تفاوت در نوع اتوماتا 69

آموزشی 72 EPOCH 5-4 مقایسه میزان محاسبات در یك

6-4 نتایج شبیه سازیها 74

1-6-4 مقایسه میان الگوریتمهای مبتنی بر اتوماتاهای با ساختار ثابت 74

1-1-6-4 مسئله ارقام انگلیسی و شبكه با یك لایه میانی 74

2-1-6-4 مسئله ارقام انگلیسی و شبكه با دو لایه میانی  74

3-1-6-4 مسئله ارقام انگلیسی و شبكه با سه لایه میانی  75

2-6-4 از لحاظ قدرت تعمیم  76

1-2-6-4 نتایج پیاده سازی برای اعداد فارسی 77

2-2-6-4 نتایج برای مسئله اعداد نویزی شده انگلیسی  78

3-2-6-4 نتایج برای مسئله پریتی 4 بیتی نویزی شده 80

3-6-4 از لحاظ ساختار شبكه  80

1-3-6-4 مقایسه الگوریتم در شبكه های با یك لایه میانی 81

2-3-6-4 مقایسه الگوریتم در شبكه های با دو لایه میانی 86

3-3-6-4 مقایسه الگوریتم در شبكه های با سه لایه میانی  91

4-6-4 نتایج شبیه سازیها برای مسئله حروف چینی 96

1-4-6-4 مقایسه الگوریتمها در شبكه های با یك لایه میانی  96

2-4-6-4 مقایسه الگوریتمها در شبكه های با دو لایه میانی 97

3-4-6-4 مقایسه الگوریتمها در شبكه های با سه لایه میانی 97

7-4 خلاصه و نتیجه گیری 98

5 الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت

 در شبكه FUZZY ARTMAP

1-5 مقدمه 100

2-5 كاربردهای مورد آزمایش 100

1-2-5 دایره در مربع  100

2-2-5 مارپیچهای حلزونی 101

3-2-5 مربع در مربع 101

102  FUZZY ART 3-5 شبكه

1-3-5 فرایند یادگیری  102

103  FUZZY ARTMAP 4-5 شبكه

104 Fuzzy ARTMAP 1-4-5 الگوریتم شبكه

5-5 روش پیشنهادی 106

6-5 نتایج شبیه سازی 108

1-6-5 نتایج پیاده سازی برای مسئله دایره در مربع  108

2-6-5 نتایج پیاده سازی برای مسئله مارپیچهای حلزونی 110

3-6-5 نتایج پیاده سازی برای مسئله مربع در مربع  112

7-5 خلاصه و نتیجه گیری 113

6 نتیجه گیری و پیشنهادات 115

مراجع 118

پیوست 123

123  پ 1) برنامه های مربوط به شبكه پیش خور لایه ای با الگوریتم یادگیری BP 

124  BP 1) تنظیم پارامترهای برنامه های مربوط به شبكه پیش خور لایه ای با الگوریتم یادگیری BP 

2) شیوه مقداردهی به الگوهای ورودی آموزشی در برنامه ها

126  پ 2) برنامه مربوط به شبكه ARTMAP 

پ 3) واژه نامه 128

 

  • چارچوب نظری و پیشینه پژوهش تعمیم برند

    چارچوب نظری و پیشینه پژوهش تعمیم برند مبانی نظری تعمیم برند دانلود مبانی نظری تعمیم برند پیشینه تحقیق تعمیم برند ادبیات نظری تعمیم برند فصل دوم پایان نامه تعمیم برند مبانی نظری و پیشینه تحقیق تعمیم برند ادبیات و مبانی…

  • بررسی تاثیر میزان استفاده از فناوری اطلاعات بر ساختار سازمانی

    بررسی تاثیر میزان استفاده از فناوری اطلاعات بر ساختار سازمانی فناوری اطلاعات ساختار سازمانی رابطه فناوری اطلاعات و ساختار سازمانی پایان نامه تاثیر فناوری اطلاعات بر ساختار سازمانی تاثیر فناوری اطلاعات بر ساختار سازمانی شركت بیمه استفاده از فناوری اطلاعات…

  • اثر ساختگاه بر بزرگنمایی زلزله بر خاک رسی نرم با موج برشی 180m/s

    اثر ساختگاه بر بزرگنمایی زلزله بر خاک رسی نرم با موج برشی 180m/s بزرگنمایی زلزله اثر ساختگاه بر بزرگنمایی زلزله خاک رسی نرم با موج برشی 180ms اثر ساختگاه در طراحى سازه هاى مقاوم اثر ساختگاه بر بزرگنمایی زلزله بر…

  • پاورپوینت آشنایی با برج میلاد

    پاورپوینت آشنایی با برج میلاد پاورپوینت آشنایی با برج میلاد مشخصات فنی برج میلاد مقایسه برج میلاد با دیگر برج ها راه‌های دسترسی و حمل و نقل برج میلاد قسمت های مختلف برج میلاد امکانات ویژه برج میلاد جایگاه برج…

  • بررسی جریان جابجایی آزاد گذرا

    بررسی جریان جابجایی آزاد گذرا روش DQIDQ روش مربعات دیفرانسیل روش مربعات دیفرانسیل تکاه ای جریان جابجایی آزاد گذرا جریان جابجایی آزاد گذرا بر روی کره دما ثابت بررسی جریان جابجایی آزاد گذرا بررسی جریان جابجایی آزاد گذرا اطراف کره…

  • نقد و بررسی قانون نظارت بر رفتار قضات

    نقد و بررسی قانون نظارت بر رفتار قضات دستگاه قضا صلاحیت قضات قانون نظارت بر رفتار قضات دانلود مقاله نقد و بررسی قانون نظارت بر رفتار قضات سیستم همکاری در فروش فایل همکاری در فروش فایل همکاری در فروش فروش…

  • میكروکنترلر Atmega 16

    میكروکنترلر Atmega 16 دانلود مقالات رشته الكترونیك دانلود مقالات الكترونیك میكروکنترلر Atmega 16 میكروکنترلر دانلود مقاله میكروکنترلر Atmega 16 معماری AVR RISC رفتن به سایت اصلی دانلود مقاله مهندسی الکترونیک میكروکنترلر Atmega 16   خصوصیات  Atmega 16: ازمعماری AVR RISC…

  • خلاصه کتاب مدیریت راهبردی در رسانه از نظریه تا اجرا نوشته لوسی کونگ ترجمه دکتر علی اکبر فرهنگی

    خلاصه کتاب مدیریت راهبردی در رسانه از نظریه تا اجرا نوشته لوسی کونگ ترجمه دکتر علی اکبر فرهنگی خلاصه کتاب مدیریت راهبردی در رسانه از نظریه تا اجرا نوشته لوسی کونگ ترجمه دکتر علی اکبر فرهنگی رفتن به سایت اصلی…

  • نقش فناوری اطلاعات و تاثیر فرهنگ سازمانی بر پیاده سازی مدیریت دانش و بررسی مدلهای آن

    نقش فناوری اطلاعات و تاثیر فرهنگ سازمانی بر پیاده سازی مدیریت دانش و بررسی مدلهای آن پایان نامه با موضوع مدیریت دانش دانلود پایان نامه مدیریت دانش پایان نامه مدیریت دانش doc موضوع پایان نامه مدیریت دانش پایان نامه پیاده…

  • جهانی شدن مقابله با قاچاق انسان و تاثیر آن بر سیاست جنایی تقنینی ایران

    جهانی شدن مقابله با قاچاق انسان و تاثیر آن بر سیاست جنایی تقنینی ایران پایان نامه قاچاق انسان مبارزه با قاچاق انسان فرآیند جهانی شدن مبارزه با قاچاق انسان تأثیر جهانی شدن بر سیاست جنایی تقنینی ایران ارکان جرم قاچاق…