ﺩﺍﻧﺸﻜﺪﻩ ﻣﻬﻨﺪﺳﻲ ﻛﺎﻣﭙﻴﻮﺗﺮ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﺯﻣﺴﺘﺎﻥ ۱۴۰۰ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ﭘﺮﺳﭙﺘﺮﻭﻥ ﻭ ﺷﺒﻜﻪﻫﺎﻱ ﻋﺼﺒﻲ ﭼﻨﺪﻻﻳﻪ ﺍﺳﺘﺎﺩ ﺩﺭﺱ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ﺩﻛﺘﺮ ﻣﺰﻳﻨﻲ ﻃﺮﺍﺣﻲ ﻭ ﺗﺪﻭﻳﻦ . . . . . . . . . . . . . . . .ﻣﺤﻤﺪﺣﺴﻴﻦ ﻛﺮﻳﻤﻴﺎﻥ -ﺁﺭﻣﺎﻥ ﺣﻴﺪﺭﻱ ﺗﺎﺭﻳﺦ ﺍﻧﺘﺸﺎﺭ ۸ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ﺍﺳﻔﻨﺪ ۱۴۰۰ ﺗﺎﺭﻳﺦ ﺗﺤﻮﻳﻞ ۲۲ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ﺍﺳﻔﻨﺪ ۱۴۰۰ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﻗﻮﺍﻧﻴﻦ .۱ﺍﻧﺠﺎﻡ ﺗﻤﺮﻳﻦ ﺑﻪ ﺻﻮﺭﺕ ﺍﻧﻔﺮﺍﺩﻱ ﻣﻲﺑﺎﺷﺪ .ﺩﺭ ﺻﻮﺭﺕ ﻣﺸﺎﻫﺪﻩ ﻫﺮﮔﻮﻧﻪ ﺗﻘﻠﺐ ﻳﺎ ﻛﭙﻲ ﺍﺯ ﺍﻳﻨﺘﺮﻧﺖ، ﻧﻤﺮﻩ ﺳﻮﺍﻝ ﺑﺮﺍﻱ ﻫﺮ ﺩﻭ ﻧﻔﺮ ۰ﻣﻨﻈﻮﺭ ﺧﻮﺍﻫﺪ ﺷﺪ. .۲ﺗﺤﻮﻳﻞ ﺗﻤﺮﻳﻦ ﺍﺯ ﻃﺮﻳﻖ ﺳﺎﻳﺖ Gradescopeﺧﻮﺍﻫﺪ ﺑﻮﺩ .ﻟﻄﻔﺎ ﭘﺲ ﺍﺯ ﺛﺒﺖ ﻧﺎﻡ ﺑﺎ ﻛﺪ ﺫﻛﺮ ﺷﺪﻩ ﻭﺍﺭﺩ ﻛﻼﺱ ﺷﻮﻳﺪRWJJYZ . .۳ﺩﺭ ﻃﻮﻝ ﺗﺮﻡ ﻣﺠﺎﺯ ﺑﻪ ۷ﺭﻭﺯ ﺗﺎﺧﻴﺮ ﻫﺴﺘﻴﺪ ﻛﻪ ﺑﻪ ﺻﻮﺭﺕ ﺩﻗﻴﻘﻪﺍﻱ ﻣﺤﺎﺳﺒﻪ ﺧﻮﺍﻫﺪ ﺷﺪ .ﺍﮔﺮ ﺗﻤﺮﻳﻨﻲ ﺑﻌﺪ ﺍﺯ ﺩﺩﻻﻳﻦ ﻓﺮﺳﺘﺎﺩﻩ ﺷﻮﺩ ﻭ ۷ﺭﻭﺯ ﺣﻖ ﺗﺎﺧﻴﺮ ﻫﻢ ﺍﺳﺘﻔﺎﺩﻩ ﺷﺪﻩ ﺑﺎﺷﺪ ﻧﻤﺮﻩ ﺁﻥ ﺗﻤﺮﻳﻦ ﺭﺍ ﻛﺎﻣﻼ ﺍﺯ ﺩﺳﺖ ﺧﻮﺍﻫﻴﺪ ﺩﺍﺩ .ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﺍﻳﻦ ﻣﻜﺎﻧﻴﺰﻡ ﺗﺎﺧﻴﺮ ﻫﻴﭻ ﺗﻤﺮﻳﻨﻲ ﺗﻤﺪﻳﺪ ﻧﺨﻮﺍﻫﺪ ﺷﺪ. .۴ﻓﺎﻳﻞ ﮔﺰﺍﺭﺵ ﺍﺭﺳﺎﻟﻲ ﺣﺘﻤﺎ ﺑﺎﻳﺪ ﺑﻪ ﺻﻮﺭﺕ ﺗﺎﻳﭗ ﺷﺪﻩ ﺑﺎﺷﺪ. .۵ﭘﻴﺸﻨﻬﺎﺩ ﻣﻲﺷﻮﺩ ﺟﻬﺖ ﺍﻧﺠﺎﻡ ﺗﻤﺮﻳﻦ ﺍﺯ ﻣﺤﻴﻂ ﻛﻮﻟﺐ ﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﻴﺪ. .۶ﺟﻬﺖ ﺗﺤﻮﻳﻞ ﺗﻤﺮﻳﻦ ﻋﻤﻠﻲ ﻗﺒﻞ ﺍﺯ ﺁﭘﻠﻮﺩ ﻛﺪ ،ﺗﻤﺎﻡ ﺳﻠﻮﻝﻫﺎﻱ Notebookﺭﺍ ﺩﻭﺑﺎﺭﻩ Run ﻛﻨﻴﺪ .ﻫﻤﭽﻨﻴﻦ ﺧﺮﻭﺟﻲ ﺑﺎﻳﺪ ﺷﺎﻣﻞ ﺗﻤﺎﻡ ﻣﺮﺍﺣﻞ ﺧﻮﺍﺳﺘﻪ ﺷﺪﻩ ﺩﺭ ﺻﻮﺭﺕ ﺳﻮﺍﻝ ﺑﺎﺷﺪ. .۷ﻫﺮ ﺗﻤﺮﻳﻦ ﺷﺎﻣﻞ ﺳﻪ ﻧﻮﻉ ﺳﻮﺍﻝ ﺗﺸﺮﻳﺤﻲ ،ﻋﻤﻠﻲ ﻭ ﺗﺮﻛﻴﺒﻲ ﺍﺳﺖ .ﺩﺭ ﮔﺰﺍﺭﺵ ﺍﺭﺳﺎﻟﻲ ﺧﻮﺩ ﺑﺎﻳﺴﺘﻲ ﺑﻪ ﺗﻤﺎﻡ ﺳﻮﺍﻻﺕ ﺗﺸﺮﻳﺤﻲ ﭘﺎﺳﺦ ﺩﻫﻴﺪ ،ﻧﺘﺎﻳﺞ ﺑﻪ ﺩﺳﺖ ﺁﻣﺪﻩ ﺭﺍ ﺫﻛﺮ ﻭ ﺗﺤﻠﻴﻞ ﻛﻨﻴﺪ. .۸ﺑﺨﺸﻲ ﺍﺯ ﻧﻤﺮﻩ ﻫﺮ ﺳﻮﺍﻝ ﻋﻤﻠﻲ ﻣﺮﺑﻮﻁ ﺑﻪ ﺗﻮﺿﻴﺤﺎﺕ ﻭ ﮔﺰﺍﺭﺵ ﻛﺪ ﺁﻥ ﻣﻲﺑﺎﺷﺪ .ﺗﻮﺿﻴﺤﺎﺕ ﺩﺭ ﻗﺎﻟﺐ Noteﺩﺭ ﺳﻠﻮﻝ Notebookﺍﺿﺎﻓﻪ ﺷﻮﺩ ﻭ ﺷﺎﻣﻞ ﻭﺭﻭﺩﻱ ﻭ ﺧﺮﻭﺟﻲ ،ﻧﺤﻮﻩ ﻋﻤﻠﻜﺮﺩ ﺗﻮﺍﺑﻊ ﻭ ﻣﺮﺍﺣﻞ ﻣﻬﻢ ﺍﻟﮕﻮﺭﻳﺘﻢ ﻣﻲﺑﺎﺷﺪ .ﻻﺯﻡ ﻧﻴﺴﺖ ﺍﻳﻦ ﺗﻮﺿﻴﺤﺎﺕ ﺩﺭ ﻓﺎﻳﻞ ﮔﺰﺍﺭﺵ ﺫﻛﺮ ﺷﻮﺩ. .۹ﺭﻳﺰ ﻧﻤﺮﺍﺕ ﻫﺮ ﺳﻮﺍﻝ ﺭﺍ ﻣﻲﺗﻮﺍﻧﻴﺪ ﺍﺯ ﺳﺎﻳﺖ ﮔﺮﻳﺪ ﺍﺳﻜﻮﭖ ﻣﺸﺎﻫﺪﻩ ﻧﻤﺎﻳﻴﺪ. .۱۰ﺳﻮﺍﻻﺕ ﺧﻮﺩ ﺭﺍ ﺍﺯ ﻃﺮﻳﻖ ﮔﺮﻭﻩ ﺗﻠﮕﺮﺍﻡ ﻣﻄﺮﺡ ﻛﻨﻴﺪ. ۱ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﻧﻜﺎﺕ .۱ﻣﺤﺎﺳﺒﺎﺕ ﺑﻪ ﺻﻮﺭﺕ ﻛﺎﻣﻼ Vectorizeﺑﺎﺷﺪ .ﺗﻨﻬﺎ ﺩﺭ Epochﻭ Batchﻫﺎ ﻣﻲﺗﻮﺍﻧﻴﺪ ﺍﺯ ﺣﻠﻘﻪ Forﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﻴﺪ .ﺩﺭ ﻏﻴﺮ ﺍﻳﻦ ﺻﻮﺭﺕ ﺳﺮﻋﺖ ﺍﺟﺮﺍﻱ ﺑﺮﻧﺎﻣﻪ ﺷﻤﺎ ﺑﺴﻴﺎﺭ ﻛﻢ ﺧﻮﺍﻫﺪ ﺑﻮﺩ. .۲ﺩﺭ ﭘﺎﻳﺎﻥ ﻫﺮ Epochﻣﻘﺎﺩﻳﺮ ﺩﻗﺖ ﻭ ﺧﻄﺎﻱ ﺷﺒﻜﻪ ﺭﺍ ﮔﺰﺍﺭﺵ ﻛﻨﻴﺪ ﻭ ﺩﺭ ﺍﻧﺘﻬﺎ ﻧﻤﻮﺩﺍﺭ ﺁﻥﻫﺎ ﺭﺍ ﺭﺳﻢ ﻛﻨﻴﺪ. .۳ﺑﺮﺍﻱ ﺗﺮﺳﻴﻢ ﻧﻤﻮﺩﺍﺭﻫﺎ ﻣﻲﺗﻮﺍﻧﻴﺪ ﺍﺯ ﻛﺘﺎﺏﺧﺎﻧﻪ matplotlibﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﻴﺪ. .۴ﻫﺎﻳﭙﺮﭘﺎﺭﺍﻣﺘﺮﻫﺎﻱ ﺷﺒﻜﻪ ﺑﻪ ﺻﻮﺭﺕ ﺁﺭﮔﻮﻣﺎﻥ ﻭﺭﻭﺩﻱ ﻗﺎﺑﻞ ﺗﻨﻈﻴﻢ ﺷﺪﻥ ﺑﺎﺷﻨﺪ(Epochs, . )Batch Size, Learning Rate, ... .۵ﺑﺨﺸﻲ ﺍﺯ ﻧﻤﺮﻩ ﺍﻳﻦ ﺗﻤﺮﻳﻦ ﻣﺮﺑﻮﻁ ﺑﻪ ﺩﻗﺖ ،ﺧﻄﺎ ﻭ ﺳﺮﻋﺖ ﻣﻨﺎﺳﺐ ﻣﻲﺑﺎﺷﺪ .ﭘﺲ ﺩﺭ ﺍﻧﺘﺨﺎﺏ ﻫﺎﻳﭙﺮﭘﺎﺭﺍﻣﺘﺮﻫﺎﻱ ﺷﺒﻜﻪ ﺩﻗﺖ ﻛﻨﻴﺪ. .۶ﺩﺭ ﺻﻮﺭﺕ ﻧﻴﺎﺯ ﺩﺍﺩﻩﻫﺎﻱ ﻭﺭﻭﺩﻱ ﺭﺍ ﻗﺒﻞ ﺍﺯ Feedﺷﺪﻥ ﺑﻪ ﺷﺒﻜﻪ ﻧﺮﻣﺎﻝ ﻛﻨﻴﺪ. ﻣﻮﻓﻖ ﺑﺎﺷﻴﺪ. ۲ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ۱ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﺳﻮﺍﻝ ﺗﺸﺮﻳﺤﻲ ) ۲۰) - (Backpropagationﻧﻤﺮﻩ( ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﺍﻟﮕﻮﺭﻳﺘﻢ ، Back-Propagationﺍﻟﮕﻮﻫﺎﻱ ﻭﺭﻭﺩﻱ ﻧﺸﺎﻥ ﺩﺍﺩﻩ ﺷﺪﻩ ﺩﺭ ﺷﻜﻞ ﺯﻳﺮ ﺭﺍ ﺩﺳﺘﻪ ﺑﻨﺪﻱ ﻛﻨﻴﺪ. ﺷﻜﻞ :۱ﺩﺳﺘﻪ ﺑﻨﺪﻱ ﺍﻟﮕﻮ ﺩﺭ ﺩﺳﺘﻪ ﺑﻨﺪﻱ ﺧﻮﺩ ﺑﻪ ﻣﻮﺍﺭﺩ ﺯﻳﺮ ﺗﻮﺟﻪ ﻛﻨﻴﺪ: • ﺍﺯ ﻳﻚ MLPﻛﻪ ﺩﺍﺭﺍﻱ ﻳﻚ ﻻﻳﻪ ﻣﻴﺎﻧﻲ ﺑﺎ ﺳﻪ ﻧﻮﺭﻭﻥ ﺍﺳﺖ ﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﻴﺪ. • ﺑﺮﺍﻱ ﻻﻳﻪ ﻣﻴﺎﻧﻲ ﺍﺯ ﺗﺎﺑﻊ ﻓﻌﺎﻝ ﺳﺎﺯﻱ ReLUﻭ ﺩﺭ ﻻﻳﻪ ﺁﺧﺮ ﺍﺯ ﺗﺎﺑﻊ ﻓﻌﺎﻝ ﺳﺎﺯﻱ Sigmoid ﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﻴﺪ. • ﺳﺎﺧﺘﺎﺭ ﺷﺒﻜﻪ ﺭﺍ ﺭﺳﻢ ﻛﻨﻴﺪ. • ﻛﻠﻴﻪ ﻣﺤﺎﺳﺒﺎﺕ ﺭﻳﺎﺿﻲ ﻭ ﻋﻤﻠﻴﺎﺕﻫﺎﻱ forward-passﻭ backward-passﺭﺍ ﺩﺭ ﻫﺮ ﻣﺮﺣﻠﻪ ﺑﻨﻮﻳﺴﻴﺪ. ﺁﻳﺎ ﺍﻳﻦ ﻣﺴﺌﻠﻪ ﺑﺎ ﺷﺒﻜﻪ Adalineﻗﺎﺑﻞ ﺣﻞ ﺍﺳﺖ؟ ﺗﻮﺿﻴﺢ ﺩﻫﻴﺪ. ۳ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ۲ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﭘﺮﺳﭙﺘﺮﻭﻥ ﭼﻨﺪ ﻻﻳﻪ ) ۴۰) - (MLPﻧﻤﺮﻩ( ﺩﺭ ﺍﻳﻦ ﺳﻮﺍﻝ ﺑﺎﻳﺪ ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﻛﺘﺎﺑﺨﺎﻧﻪ NumPyﻳﻚ ﭘﺮﺳﭙﺘﺮﻭﻥ ﭼﻨﺪ ﻻﻳﻪ ﺑﺮﺍﻱ ﻣﺠﻤﻮﻋﻪ ﺩﺍﺩﻩ ﺯﻳﺮ ﭘﻴﺎﺩﻩﺳﺎﺯﻱ ﻛﻨﻴﺪ .ﺍﻳﻦ ﻣﺠﻤﻮﻋﻪ ﺩﺍﺩﻩ ﺩﺭ ﻧﻮﺗﺒﻮﻙ ﺗﻤﺮﻳﻦ ﻣﻮﺟﻮﺩ ﺍﺳﺖ ﻛﻪ ﺷﺎﻣﻞ ﻳﻚ ﺁﺭﺍﻳﻪ ﺩﻭ ﺑﻌﺪﻱ ﺍﺳﺖ ﻛﻪ ﺑﻴﺎﻧﮕﺮ ﻣﺨﺘﺼﺎﺕ ﻧﻘﺎﻁ ﺍﺳﺖ. ﺷﻜﻞ :۲ﺩﻳﺘﺎﺳﺖ ﺩﺭ ﭘﻴﺎﺩﻩﺳﺎﺯﻱ ﺧﻮﺩ ﻧﻜﺎﺕ ﺯﻳﺮ ﺭﺍ ﺭﻋﺎﻳﺖ ﻛﻨﻴﺪ: .۱ﺗﻌﺪﺍﺩ ﻻﻳﻪﻫﺎ ،ﺗﻌﺪﺍﺩ ﻧﻮﺭﻭﻥ ﺩﺭ ﻫﺮ ﻻﻳﻪ ﻭ Learning Rateﺭﺍ ﺑﺘﻮﺍﻥ ﺑﻪ ﻃﻮﺭ ﺩﻟﺨﻮﺍﻩ ﺗﻌﻴﻴﻦ ﻛﺮﺩ. ﺑﺮﺍﻱ ﺍﻳﻦ ﻛﺎﺭ ﻣﻲﺗﻮﺍﻧﻴﺪ ﻛﺪ ﺭﺍ ﺩﺍﺧﻞ ﺗﺎﺑﻌﻲ ﺑﺰﻧﻴﺪ ﻛﻪ ﻋﻼﻭﻩ ﺑﺮ Epochﻭ Learning Rate ﺁﺭﺍﻳﻪﺍﻱ ﺭﺍ ﺩﺭ ﻭﺭﻭﺩﻱ ﺧﻮﺩ ﺑﮕﻴﺮﺩ ﻛﻪ ﻃﻮﻝ ﺁﺭﺍﻳﻪ ﺑﺮﺍﺑﺮ ﺗﻌﺪﺍﺩ ﻻﻳﻪﻫﺎ ﻭ ﻣﻘﺪﺍﺭ ﻫﺮ ﻋﻀﻮ ﺁﺭﺍﻳﻪ ﺑﺮﺍﺑﺮ ﺗﻌﺪﺍﺩ ﻧﻮﺭﻭﻥﻫﺎ ﺩﺭ ﺁﻥ ﻻﻳﻪ ﺑﺎﺷﺪ. .۲ﺩﺭ ﭘﺎﻳﺎﻥ ﻛﺎﺭ ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ matplotlibﻧﻤﻮﺩﺍﺭ ﺗﻮﺍﺑﻊ Lossﻭ Accuracyﺭﺍ ﺭﺳﻢ ﻛﻨﻴﺪ. .۳ﻧﺎﺣﻴﻪ ﺑﻨﺪﻱ ﺍﻧﺠﺎﻡ ﺷﺪﻩ ﺗﻮﺳﻂ ﺍﻟﮕﻮﺭﻳﺘﻢ ﺗﺎﻥ ﺭﺍ ﺭﺳﻢ ﻛﻨﻴﺪ(Decision Boundary) . .۴ﺑﺎ ﺍﻣﺘﺤﺎﻥ ﻛﺮﺩﻥ ﻣﻘﺎﺩﻳﺮ ﻣﺨﺘﻠﻒ ﺑﺮﺍﻱ ﺗﻌﺪﺍﺩ ﻻﻳﻪﻫﺎ ﻭ ﺗﻌﺪﺍﺩ ﻧﻮﺭﻭﻥﻫﺎﻱ ﻫﺮ ﻻﻳﻪ ،ﺑﻴﺎﻥ ﻛﻨﻴﺪ ﻛﻪ ﺍﮔﺮ ﺍﻳﻦ ﺗﻌﺪﺍﺩ ﺯﻳﺎﺩ ﺑﺎﺷﺪ ﭼﻪ ﻣﺸﻜﻠﻲ ﺑﻪ ﻭﺟﻮﺩ ﻣﻲﺁﻳﺪ .ﻧﺘﺎﻳﺞ ﺧﻮﺩ ﺭﺍ ﺩﺭ Reportﺗﻤﺮﻳﻦ ﺫﻛﺮ ﻭ ﺗﺤﻠﻴﻞ ﻛﻨﻴﺪ. ۴ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ۲۵) - Keras ۳ﻧﻤﺮﻩ( ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﻛﺘﺎﺏﺧﺎﻧﻪ Kerasﻳﻚ ﺷﺒﻜﻪ ﭘﺮﺳﭙﺘﺮﻭﻥ ﭼﻨﺪ ﻻﻳﻪ ﻃﺮﺍﺣﻲ ﻛﻨﻴﺪ ﺗﺎ ﻋﻤﻠﻴﺎﺕ ﺩﺳﺘﻪﺑﻨﺪﻱ ﺭﺍ ﺑﺮ ﺭﻭﻱ ﺩﻳﺘﺎﺳﺖ CIFAR-10ﺍﻧﺠﺎﻡ ﺩﻫﺪ. ۱.۳ Neural Network ﺍﺑﺘﺪﺍ ﺩﻳﺘﺎﺳﺖ ﺭﺍ ﻣﻌﺮﻓﻲ ﻛﻨﻴﺪ ﻭ ﺗﻮﺿﻴﺤﺎﺗﻲ ﺩﺭﺑﺎﺭﻩ ﻛﻼﺱﻫﺎﻱ ﺁﻥ ﻭ ﻧﺤﻮﻩ Loadﻛﺮﺩﻥ ﺁﻥ ﺍﺭﺍﺋﻪ ﺩﻫﻴﺪ .ﭘﻴﺎﺩﻩﺳﺎﺯﻱ ﺧﻮﺩ ﺭﺍ ﺑﺮﺍﻱ ﭼﻨﺪ ﺷﺒﻜﻪ ﭼﻨﺪ ﻻﻳﻪ ﻣﺨﺘﻠﻒ ﺁﺯﻣﺎﻳﺶ ﻛﻨﻴﺪ ﻭ ﺑﻬﺘﺮﻳﻦ ﺁﻥ ﻫﺎ ﺭﺍ ﻣﻌﺮﻓﻲ ﻛﻨﻴﺪ .ﺳﻌﻲ ﻛﻨﻴﺪ ﺗﺤﻠﻴﻠﻲ ﺍﺯ ﻣﻘﺎﻳﺴﻪ ﺷﺒﻜﻪﻫﺎﻱ ﻣﺨﺘﻠﻒ ﺧﻮﺩ ﺍﺭﺍﺋﻪ ﺩﻫﻴﺪ. Momentum ۲.۳ ﺑﺎ ﻣﻄﺎﻟﻌﻪ ﺍﻳﻦ ﻟﻴﻨﻚ ﻧﺘﻴﺠﻪ ﺍﻟﮕﻮﺭﻳﺘﻢ ﺧﻮﺩ ﺭﺍ ﺩﺭ ﺣﺎﻟﺖ ﻓﻌﺎﻝ ﺑﻮﺩﻥ Momentumﻭ ﻏﻴﺮﻓﻌﺎﻝ ﺑﻮﺩﻥ ﺁﻥ ﻣﻘﺎﻳﺴﻪ ﻛﻨﻴﺪ ﻭ ﺩﻟﻴﻞ ﺗﺎﺛﻴﺮ ﺁﻥ ﺭﺍ ﺩﺭ ﮔﺰﺍﺭﺵ ﺧﻮﺩ ﺑﻴﺎﻥ ﻛﻨﻴﺪ. Weight Decay ۳.۳ ﺑﺎ ﻣﻄﺎﻟﻌﻪ ﺍﻳﻦ ﻟﻴﻨﻚ ﻧﺘﻴﺠﻪ ﺍﻟﮕﻮﺭﻳﺘﻢ ﺧﻮﺩ ﺭﺍ ﺩﺭ ﺣﺎﻟﺖ ﻓﻌﺎﻝ ﺑﻮﺩﻥ Weight Decayﻭ ﻏﻴﺮﻓﻌﺎﻝ ﺑﻮﺩﻥ ﺁﻥ ﻣﻘﺎﻳﺴﻪ ﻛﻨﻴﺪ ﻭ ﺩﻟﻴﻞ ﺗﺎﺛﻴﺮ ﺁﻥ ﺭﺍ ﺩﺭ ﮔﺰﺍﺭﺵ ﺧﻮﺩ ﺑﻴﺎﻥ ﻛﻨﻴﺪ. ۵ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ۴ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﺳﻮﺍﻻﺕ ﺗﺸﺮﻳﺤﻲ ۱۵) -ﻧﻤﺮﻩ( .۱ﺑﻪ ﻧﻈﺮ ﺷﻤﺎ ﻗﺎﺑﻠﻴﺖ ﺗﻌﻤﻴﻢ ﺩﺭ ﻛﺪﺍﻣﻴﻚ ﺍﺯ ﺷﺒﻜﻪﻫﺎﻱ ﻋﺼﺒﻲ ،Adaline ،Perceptron Madalineﻭ MLPﺑﻴﺸﺘﺮ ﻭ ﺩﺭ ﻛﺪﺍﻣﻴﻚ ﻛﻤﺘﺮ ﺍﺳﺖ؟ ﺗﻮﺿﻴﺢ ﺩﻫﻴﺪ. .۲ﭼﻪ ﺯﻣﺎﻧﻲ ﻣﻲﮔﻮﻳﻴﻢ ﺷﺒﻜﻪ ﺩﭼﺎﺭ Overfitﺷﺪﻩ ﺍﺳﺖ؟ ﺩﻻﻳﻞ ﻣﺨﺘﻠﻒ ﺁﻥ ﺭﺍ ﺗﻮﺿﻴﺢ ﺩﻫﻴﺪ. .۳ﭼﻪ ﺭﻭﺵﻫﺎﻳﻲ ﺑﺮﺍﻱ ﺟﻠﻮﮔﻴﺮﻱ ﻭ ﺣﻞ ﻣﺸﻜﻞ Overfitﺩﺭ ﺷﺒﻜﻪﻫﺎﻱ ﭘﺮﺳﭙﺘﺮﻭﻥ ﭼﻨﺪ ﻻﻳﻪ ﻭﺟﻮﺩ ﺩﺍﺭﺩ؟ .۴ﭘﺪﻳﺪﻩ Underfitﺩﺭ ﺷﺒﻜﻪﻫﺎﻱ ﭘﺮﺳﭙﺘﺮﻭﻥ ﭼﻨﺪ ﻻﻳﻪ ﺭﺍ ﺗﻮﺿﻴﺢ ﺩﻫﻴﺪ. ۶ ﺗﻤﺮﻳﻦ ﺳﺮﻱ ﺍﻭﻝ ۵ ﻣﺒﺎﻧﻲ ﻫﻮﺵ ﻣﺤﺎﺳﺒﺎﺗﻲ ﺳﻮﺍﻝ ﺍﻣﺘﻴﺎﺯﻱ ۲۰) -ﻧﻤﺮﻩ( ﻓﺮﺽ ﻛﻨﻴﺪ ﻳﻚ ﺷﺒﻜﻪ ﻋﺼﺒﻲ ﺩﺍﺭﻳﻢ ﻛﻪ ﺩﺍﺭﺍﻱ ۲ﻭﺭﻭﺩﻱ ﻭ ۱ﺧﺮﻭﺟﻲ ﺍﺳﺖ ﻭ ﺭﺍﺑﻄﻪ ﺯﻳﺮ ﺑﻴﻦ ﻭﺭﻭﺩﻱ ﻭ ﺧﺮﻭﺟﻲ ﺁﻥ ﺑﺮﻗﺮﺍﺭ ﺍﺳﺖ a, b, c, d .ﭘﺎﺭﺍﻣﺘﺮﻫﺎﻱ ﻗﺎﺑﻞ ﺁﻣﻮﺯﺵ ﺷﺒﻜﻪ ﻫﺴﺘﻨﺪ. y = ax21 + bx22 + cx1 x2 + d ﺍﮔﺮ ﺩﺍﺩﻩﻫﺎﻱ ﺁﻣﻮﺯﺷﻲ ﺍﻭﻟﻴﻪ ﺑﻪ ﺻﻮﺭﺕ ﺟﺪﻭﻝ ﺯﻳﺮ ﺑﺎﺷﻨﺪ ،ﻭ ﺍﺯ ﻧﻘﻄﻪ ﺍﻭﻟﻴﻪ ﺩﺍﺩﻩ ﺷﺪﻩ ﺷﺮﻭﻉ ﻛﻨﻴﻢ، ﻧﺘﻴﺠﻪ ﺣﺎﺻﻞ ﺭﺍ ﺩﺭ ﺩﻭ Epochﻭ ﺑﺎ ﻓﺮﺽ ﺑﻬﻴﻨﻪ ﺳﺎﺯ Stochastic Gradient Descentﺑﻪ ﻫﻤﺮﺍﻩ Momentumﻭ ﺗﺎﺑﻊ ﺿﺮﺭ MSEﻣﺤﺎﺳﺒﻪ ﻛﻨﻴﺪ. ﻧﻘﻄﻪ ﺷﺮﻭﻉ ﻭ ﻫﺎﻳﭙﺮﭘﺎﺭﺍﻣﺘﺮﻫﺎﻱ ﻣﺨﺘﻠﻒ ﺭﺍ ﻣﺎﻧﻨﺪ ﺯﻳﺮ ﺩﺭ ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ: BatchSize = 4, LearningRate = 0.01, ρ = 0.9 a = −1, b = 1, c = −1, d = 2 ﺭﻭﺍﺑﻂ ﺭﻳﺎﺿﻲ ﺍﻳﻦ ﺷﺒﻜﻪ ﺭﺍ ﺩﺭ ﮔﺰﺍﺭﺵ ﺧﻮﺩ ﺑﻪ ﺩﺳﺖ ﺁﻭﺭﻳﺪ .ﻣﻲ ﺗﻮﺍﻧﻴﺪ ﻣﺤﺎﺳﺒﺎﺕ ﺭﺍ ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﺗﻮﺍﺑﻊ ﭘﺎﻳﻪ ﭘﺎﻳﺘﻮﻥ ﺍﻧﺠﺎﻡ ﺩﻫﻴﺪ .ﺩﺭ ﺍﻳﻦ ﺻﻮﺭﺕ ﻛﺪ ﻧﻮﺷﺘﻪ ﺭﺍ ﻫﻢ ﺩﺭ ﻧﻮﺗﺒﻮﻙ ﺗﻤﺮﻳﻦ ﺑﻴﺎﻭﺭﻳﺪ. ۷