ҚАЗАҚСТАН РЕСПУБЛИКАСЫ БІЛІМ ЖӘНЕ ҒЫЛЫМ МИНИСТРЛІГІ
БЕКІТЕМІН
Кафедра меңгерушісі
______________________________
Өжікенов Қ.Ә.
«____» ___________ 2021 ж.
СИЛЛАБУС
«Машиналық оқыту теориясы және нейрондық желілер»
мамандық 6B07111-Робототехника және мехатроника
3 кредит
Семестр: 2021-2022 оқу жылының күземі
Алматы 2021
Ф КазНИТУ 703-08. Силлабус
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
Ә. Бүркітбаев атындағы өнеркәсіптік инженерия институты
«Роботтытехника және автоматиканың техникалық құралдары» кафедрасы
1. Оқытушылар туралы ақпарат:
Лектор
Бактыбаев Мурат Кыргызбаевич
Офис сағаты онлайн
Email: murat.baktybayev@gmail.com
Оқытушы
(зертхана кәсіптер)
Базарбай Лашын
Email: lashyn_7754@mail.ru
2. Курстың мақсаты: "Машиналарды оқыту теориясы және нейронды желілер" білім
базасының ережелерін құру үшін технологияларды оқу, алгоритмдерді құру және талдау,
Функционалдық талдау элементтері, ақпаратты көп деңгейлі өңдеу технологиялары,
оңтайландыру әдістері, Технологиялық процестерді басқарудың сараптамалық жүйелерін
синтездеу әдістері, нейрондық желілерде басқару жүйелерін синтездеу әдістері, зияткерлік
жүйелердің сапасын зерттеу әдістері және т. б. болып табылады.
Курстың сипаттамасы: Пәнде білім алуға қабілетті алгоритмдерді құру әдістері
оқытылады, атап айтқанда, дедуктивтік оқыту, ол сарапшылардың білімін
формализациялауды және оларды білім базасы түрінде компьютерге көшіруді көздейді.
Машиналық оқытудың өзіндік ерекшелігі тікелей шешім емес, көптеген ұқсас
тапсырмаларды қолдану процесінде оқыту болып табылады. Мұндай әдістерді құру үшін
математикалық статистика құралдары, сандық әдістер, оңтайландыру әдістері,
Ықтималдықтар теориясы, графтар теориясы, сандық формадағы деректері бар әртүрлі
техникалар қолданылады. Машиналарды оқыту теориясы математикалық статистиканың,
оңтайландыру әдістері мен классикалық математикалық пәндердің түйіскен жерінде, бірақ
болжау және шешім қабылдау мақсатында есептеу тиімділігі мен қайта оқыту
проблемаларымен байланысты өзіндік ерекшелігі бар. Машиналық оқыту міндеттерінің
классификациясы, кластерлеу, регрессия, өлшемділігін төмендету, ранжирлеу сияқты
негізгі кластары қарастырылады. Қолданбалы есептерде Машиналық оқыту аппаратын
пайдалану үшін практикалық дағдыларды алу және сол саладағы қазіргі заманғы
құралдарды қарауға ерекше назар аударылады.
3.
4. Пререквизиттер: "Информатика", "Физика"," математикалық талдау", "Статистика","
Ықтималдық теориясы", "Функционалдық талдау"," Дискретті математика " және барлық
инженерлік мамандықтар үшін бакалавриат бойынша басқа да пәндер.
5. Постреквизиттер: Бұл пән 6М071600-Аспап жасау мамандығы бойынша "жасанды
интеллект", "интеллектуалды басқару технологиясы" бейіндеуші пәндердің негізі болып
табылады.
6. Әдебиеттер:
Негізгі әдебитет
Қосымша әдебиет
[1] Воронцов К.В. Математические методы
обучения
по
прецедентам.
2012.
http://www.machinelearning.ru/wiki/index.php?title=
Машинное_обучение.
[2] Круглов В.В., Борисов И.Н. Искусственные
нейронные сети. Теория и практика. – М.: Горячая
[7] Методические указания к лабораторным
работам: учеб.-метод. пособие // сост.: Шолохов
А.В.
–
СПб.,
2016,
11
с.
[https://lk.etu.ru/dashboard/api/download/1272].
[8] Гаврилова Т.А., Хорошевский В.Ф. Базы
знаний интеллектуальных систем. – СПб.:
Ф КазНИТУ 703-08. Силлабус
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
линия телеком, 2001, – 312 с.
[3] Назаров А.В., Лоскутов А.И. Нейросетевые
алгоритмы программирования и оптимизации
систем – СПб.: Наука и техника, 2003- 184 с.
[4] Барсегян А., Куприянов М., Холод И., Тесс М.,
Елизаров С. Анализ данных и процессов. 3-е изд //
Санкт-Петербург: БХВ-Петербург, 2010, - 512 с.Электронное издание. - ISBN 978-5-9775-0368-6.
[5] Искусственный интеллект: современный
подход - Artificial intelligence: a modern approach, пер. с англ. / Рассел С., Норвиг П. / 2-е издание –
М.: Вильямс, 2007, - 1407 с.: ил.- Парал тит.л.:
англ.-Библиогр.: с.1302-1372. -2000 экз.-ISBN 9785-8459-0887-2.
[6]
Гаскаров
Д.В.
Интеллектуальные
информационные системы. – М.: Высшая школа,
2003, - 428 с.
Питер, 2000. – 348 с.
[9]
Методические указания к практическим
занятиям: учеб.-метод. пособие // сост.: Шолохов
А.В.
–
СПб.,
2016,
10
с.
[https://lk.etu.ru/dashboard/api/download/1273].
[10] Искусственный интеллект. – Кн. 2. Модели и
методы: Справочник/Под ред. Д.А. Поспелова. –
М.: Радио и связь, 1990. – 304 с.
[11] Hinton G. E., Salakhutdinov R. R. Reducing the
Dimensionality of Data with Neural Networks //
Science. — 2006, Vol. 313. — No. 5786. — P. 504–
507.
[12] Суханов В.И. Системы искусственного
интеллекта [Текст] : Учебное пособие. / В.И.
Суханов. - Екатеринбург: ИПК УГТУ, 2004. - 124 с.
Апта
7. Күнтізбе тақырыптық жоспары:
1
2
3
4
Лекция тақырыбы
Машиналық оқытудың
негізгі ұғымдары /ӘБ/.
Машиналық оқыту
есептерін жіктеу.
Мұғаліммен оқыту:
классификация, регрессия
есебін қою. Қайта оқыту
ұғымы және жалпылама
қабілеттер.
Жіктеу және регрессияның
сызықтық модельдері. Ең
кіші квадраттар әдісі.
Сызықтық регрессия.
Логикалық регрессия.
Жіктеу және регрессияның
сызықты емес модельдері.
Тірек векторлар әдісі. Ядро
және олардың қасиеттері.
Гаусс процестері.
Суррогат моделін құру
процесі, техникалық
жүйелерді алдын ала
модельдеу. "Кіру-шығу"
түріндегі деректер базасын
құру. Кіру-әр түрлі
нұсқалардың құрылымы.
Шығу-композиттік
материалдардың берік
коэффициенттері. Бастапқы
Ф КазНИТУ 703-08. Силлабус
Зертхана
жұмысының
тақырыбы
Анықтама
әдебиет
бойынша
Жіктеу және
регрессия үшін
сызықтық
модельдер.
[1 ]100-159
бет
Жіктеу және
регрессия үшін
сызықты емес
модельдер.
[1, 3, 5, 6]
Контейнерлік
кранды басқару
үлгілерін зерттеу.
[1, 3, 5, 6]
Миллиондаған
мысалдар, сол ең
кіріс және шығыс
деректер.
[5, 7, 8, 9]
Жеткізу
тапсырма мерзімі
СӨЖ-1
3 апта
СӨЖ-2
6 апта
Апта
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
5
6
7
8
9
10
Лекция тақырыбы
Зертхана
жұмысының
тақырыбы
деректер қоры.
Машиналық оқытудың
Ауа
стандартты кітапханасы.
баптағыштарын
Сапалы болжамды үлгіні
басқару
құру, суррогат моделінің
модельдерін
болжамдарындағы
зерттеу.
белгісіздік.
Алдын ала техникалық
Банк тарапынан
қызмет көрсету әдістері,
клиенттердің
Күрделі техникалық
қаржылық
жүйенің үздіксіз
жағдайын
мониторингін қамтамасыз
бағалаудың анық
ету. Техникалық жүйенің
емес моделін
қалыпты жұмыс режимінде зерттеу.
жиналған деректер
бойынша техникалық
жүйенің түрлі
сипаттамалары арасындағы
тәуелділік моделі.
Машиналық оқытудың
стандартты емес есептері
немесе бір сыныпта
жіктелуі, немесе
теңдестірілген емес
жіктелуі.
Нейрондық желілер.
Дискретті
Нейронның математикалық модельдер үшін
моделі. Маккаллок-Питтс
ықтималдық
моделі желілік
шығару.
классификатор ретінде. Іске
қосу функциялары.
Қателікті кері тарату
алгоритмі.
Бірінші аралық аттестация
Аномалияларды анықтау
Логикалық
және сынуларды болжау.
функцияларды
Қатені, екі түрдегі қатені
орындайтын
анықтау. Бірінші қатенейрондық
мақсатты өткізіп алу, яғни
желілерді зерттеу
сыну. Қателіктің екінші
"И-НЕ" и "ИЛИтүрі-жалған дабыл.
НЕ".
Мониторинг-техникалық
Бір бағыттағы
жүйелердің күрделілігі.
нейрондық желіні
Істен шығуды анықтау.
зерттеу.
Беріктілік сипаттамаларын
есептеу. Бұйымды талдау.
Басқарудың зияткерлік
жүйелерінің проблемалық
Ф КазНИТУ 703-08. Силлабус
Анықтама
әдебиет
бойынша
Жеткізу
тапсырма мерзімі
[1, 3, 5, 6]
[1, 3, 5, 6]
[5, 7, 8, 9]
[3] 145-162
бет
[5] 136-261
бет
СӨЖ3
10 апта
Апта
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
11
12
13
Лекция тақырыбы
ортасы. Мониторингтің
міндеттері. Бақылау
міндеттері. Диагностика
міндеттері. Өндірістік
қызметті жоспарлау кезінде
шешім қабылдауды қолдау
міндеттері. Нақты
уақыттағы дискретті
үлестірілген объектілер
кешендерін басқару
міндеттері.
Толық емес мәліметтер
бойынша оқыту. ЕМалгоритмнің жалпы
тұжырымы. ЕМ-алгоритм
ақиқатқа ұқсас төменгі
шектің дәйекті
максималдандырылуы
ретінде. Гаусстық үлестірім
қоспасының параметрлерін
бағалау.
Reinforcement Learning
теріс және оң тәжірибеге
негізделеді. Мұғаліммен
оқыту.
* Пакеттік режим (Batch
Mode);
* Дәйекті режим (Sequential
Mode).
Жаһандық оңтайландыру
әдістерін қолдану.
Математикалық
функциялардың
миллиондары мен
миллиардтары бірге жұмыс
істейді,және олар жақсырақ
жасалған сайын, жүйе
соғұрлым күшті.
TensorFlow-тегін софт,
Apache 2.0 лицензиясымен
шығарылған, ол
машинамен оқыту және
Deep Learning байланысты
жобалар үшін тамаша. Біз
бұл жүйе зерттеу үшін де,
өнімге енгізу үшін де өте
икемді болғысы келеді. Жиі
болады, біреулерде өнімді
жақсарту үшін машиналық
Ф КазНИТУ 703-08. Силлабус
Зертхана
жұмысының
тақырыбы
Анықтама
әдебиет
бойынша
Толық емес
деректермен оқыту.
[5] 136-261
бет
Экспериментті
жоспарлау әдісін
қолдана отырып
басқарудың
сараптамалық
моделін зерттеу.
[1] 113-151
бет
Ықтималдық
қорытынды:
жақындатылған
әдістер.
[1] 113-151
бет
Жеткізу
тапсырма мерзімі
СӨЖ4
13 апта
Апта
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
14
15
Лекция тақырыбы
Зертхана
жұмысының
тақырыбы
оқытуды қалай пайдалануға
болады, бірақ оны енгізу
үшін бәрін нөлден қайта
жазуға тура келеді. Ал бұл
құрал өнімдерді толығымен
өзгертпей жақсартуға
мүмкіндік береді.
Өлшемдігін төмендету.
Мұғалімсіз оқыту.
Басты компонент әдісі.
Факторлық талдау.
Сызықтық
дискриминанттық талдау.
Кластеризация. Кластерлеу
міндетін қою. K алгоритміорташа. Иерархиялық
кластеризация. Кластерлеу
есебін шешу үшін үлестіру
қоспасының моделі.
Модельдер комбинациясы.
Busting, Adaboost
Алгоритмі. Модельдердің
байесовтік орташалануы.
Екінші қорытынды аттестация
Анықтама
әдебиет
бойынша
Жеткізу
тапсырма мерзімі
[2] 256-290
бет
Емтихан
* Күнтізбенің тақырыптық күнтізбесінде мереке күндерін ескере отырып, өзгерістер болуы
мүмкін
8. Оларды жүзеге асыру бойынша тапсырмалар мен қысқаша нұсқаулар:
 Студенттің өзіндік жұмысы (СӨЖ):
__СРС студенты выполняют в соответствии с выданными преподавателем вопросами
и заданиями
 СӨЖ1 Білімді ұсынудың логикалық моделі. Дәрісте қамтылмаған сұрақтарды қоса
алғанда: - есептерді есептеу, - бірінші ретті предикаттар есептеуі.
 СӨЖ2 Теореманы дәлелдеу үшін қарар әдісін қолдану.
 СӨЖ3 Сызбалық логиканы қолданатын білімді ұсыну.
 СӨЖ4 Концепциялық карталарды құрастыру құралдарын зерттеу. Берілген пәннің
тұжырымдамалық картасын құру.
Аралық бақылау:
Аралық бақылау 8-ші және 15-ші аптада жүргізіледі:
1. Mac Calloc - Pitts нейронын сипаттайтын формуланы беріңіз.
2. Скаляр өнімдерін қолдану арқылы нейронның математикалық моделін келтіріңіз.
3. Қосу функциясы дегеніміз не?
4. Неге sigmoidal активациялау функциялары қолданылады?
Ф КазНИТУ 703-08. Силлабус
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
5. Сигмойдальды функцияның анықтамасын беріңіз.
6. Сигмойдты белсендіру функциясының көлбеуін қалай өзгертуге болады?
7. Softmax белсендіру функциясын қашан қолдану қажет?
8. Нейрондық желілердің негізгі түрлерін көрсетіңіз.
9. Мұғаліммен оқыту дегеніміз не?
10. Векторлық-матрица белгілерін қолдану арқылы көп қабатты желінің ерікті қабатын
сипаттаңыз.
11. Қайталанатын желілер дегеніміз не?
12. Синаптик салмағы дегеніміз не?
13. Жасанды нейрондық желілердің негізгі ерекшеліктерін тізімдеңіз бе?
14. Жасанды нейронның алғашқы моделі кім және кім ұсынды?
15. Mac Calloc - Pitts нейроны қалай математикалық сипатталған?
16. Mac Calloc-Pitts нейронында қолданылатын белсендіру функциясы қандай?
17. Неге жасанды нейроннан ауысуым керек?
18. Д. Хеббаның нейрондық желілерді меңгеру ережесі қалай тұжырымдалған?
19. F. Rosenblatt перцепрроны дегеніміз не?
20. Көп қабатты нейрондық желілер үшін алгоритмдерді оқытуды кім ұсынды?
21. Колмогоров Арленоль теоремасының мәні неде және Р.Хехт Нильсен оны нейрондық
желілерге қалай қолданды?
22. Классификация кластеризациядан қалай ерекшеленеді?
 Емтихан:
Емтихан кесте бойынша жүргізіледі:
1. McCulloch-Pitts үлгісі дегеніміз не (формуланы есте сақтаңыз)?
2. Стохастикалық градиент әдісі. Квадраттық жоғалу функциясының және сигмалды
белсендіру функциясының градиент қадамын сипаттау.
3. SG әдісінің кемшіліктері және онымен қалай күресуге болады?
4. ADALINE желілік адаптивті элемент дегеніміз не?
5. Хабба ережесі қандай?
6. «Салмақты азайту» дегеніміз не?
7. Логистикалық регрессияның (негізгі теореманың), базалық үй-жайлардың (3) және
салдарының негіздеуі (2). Сабақтардың артында ықтималдығы көрсетілгендей (формуланы
есте сақтау керек).
8. Логистикалық регрессияда жоғалту функциясы қалай көрінеді? (Формуланы есте сақтау
керек).
9. Қолдаудың векторлық әдісінің мәселесінің екі мотивациясы және тұжырымдамасы. SVM
мәселесінің тұжырымдамасын алуы үшін (мәселені тұжырымдау формуласын есте сақтау
ұсынылады).
10. SVM-де қолданылатын жоғалу функциясы қандай? Логистикалық регрессияда? Басқа
қандай зияндылық ерекшеліктері бар екенін білесіз бе?
11. SVM-дің ядросы деген не? Неге ядро енгізілді? Кез-келген функция ядро бола ала ма?
12. Қандай полимиальды бөлгіш беттер шығарады?
13. РОК қисық дегеніміз не, ол қалай анықталады? Ол қалай тиімді есептеледі?
14. Жіктелу алгоритмдері сыныпталған объектінің сыныптық мүшелігін ғана емес, сондай-ақ
осы объектінің әрбір сыныпқа жататын ықтималдығын тани алады?
15. Регуляризацияның ықтималдық мәні қандай? Сіз қандай нормализаторларды білесіз?
16. Деректер мен модельдің барынша ықтимал ықтималдығы принципі қандай (формуланы
есте сақтау керек)?
17. Ішкі және сыртқы өлшемдер арасындағы айырмашылықтар қандай?
18. Сыртқы критерийлердің түрлері.
Ф КазНИТУ 703-08. Силлабус
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
19. Жылжымалы басқару критерийлерінің түрлері.
20. Ұштастырушы критерий қандай? Оның кемшіліктері қандай?
21. Критерийлер жиынтығына негізделген көп сатылы модель таңдау дегеніміз не?
22. Толық есеп беру әдісімен белгілерді таңдаудың негізгі идеясы. Бұл шынымен артық па?
23. Қосымшаларды қосу және алып тастау әдісімен белгілерді таңдаудың негізгі идеясы.
24. Регрессия дегеніміз не? Ол жіктеу үшін қолдануға бола ма?
25. Іздестірудің ерекшеліктерін іріктеудің негізгі идеясы.
26. Ені бойынша іздеу әдісімен ерекшеліктерді таңдаудың негізгі идеясы.
27. MSUA дегеніміз не?
28. Генетикалық алгоритм көмегімен ерекшеліктерді таңдаудың негізгі идеясы.
29. Кездейсоқ іздеу арқылы белгілерді таңдаудың негізгі идеясы. 30. Кездейсоқ іздеу мен
бейімделу арқылы кездейсоқ іздеу арасындағы айырмашылық қандай?
31. Сызықты жіктеу алгоритмін пайдаланып, қатесіз жіктелмейтін үлгіні келтіріңіз. Бұл
сипатқа ие ең аз үлгі ұзындығы қандай? Сызықты алгоритмді өзгертудің қандай жолдары
бар, ол үшін бұл үлгі желілік ажыратылуға айналады?
32. Қателерді кері тарату әдісі. Негізгі идея. Негізгі кемшіліктер және оларды қалай жоюға
болады.
33. Нейрондық желілерді баптаудың градиент әдістерінде бастапқы жақындауды қалай
таңдауға болады?
34. Нейрондық желіні баптаудағы градиент әдістеріндегі конвергенцияны жеделдету қалай
жеделдетілуі мүмкін?
9. Жұмысты бағалау критерийлері:
Аптасы Апталар
на
№
жоғарғ
Бақылау түрері
п/п
ы балл 1 2 3
мөлшер
і
1 Дәрісті талқылау белсендігі 0,5
* *
2 Практикалық сабақты
0,5
* *
талқылау белсендігі
3 Практикалық
1,0
*
тапсырмаларды орындау
(СОӨЖ)
4 Зертханалық
4,0
*
тапсырмаларды орындау
5 1-аралық
10,0
аттестация(Midterm)
6 Жоба жұмыстары
4,0
7 Студенттің өзіндік жұмысы 7,0
(семестрлік)
8 2- соңғы
10,0
*
аттестация(Endterm)
9 Қорытынды емтихан
40,0
Барлығы
4
5
6
7
*
*
*
*
*
*
*
*
*
8
*
*
9
10 11 12 13 14 15
Барлы
ғы
*
*
*
*
7
7
*
*
*
*
*
*
*
*
*
*
*
*
*
*
7
*
0
*
10
*
*
*
*
*
*
*
*
12
7
*
10
*
40
100
10. Сабақ түрлерінің сипаттамасы:
Зертханалық, тәжірибелік жұмыстарды, СӨЖ, СОӨЖ тапсыру мерзімдерін сақтау.
Жұмыстарды уақытында тапсырмау максималды балды 10% азайту қарастырылады.
11. Баға қою саясаты:
Ф КазНИТУ 703-08. Силлабус
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН
СӘТБАЕВ УНИВЕРСИТЕТІ
Практикалық және зертханалық зертханалық жұмыстарды бағалау критерийлері:
тапсырманы торық орындау, мұқият есептеу және уақытында өткізу. Курстық жобалау
жұмыстарын (топтық жобалау) бағалау өлшемдері: жоба шешімдерінің креативтілігі,
шешімдердің бұрынғысынан ерекшеленуі, мұқият есептеу, қорғау кезіндегі көрнекілік және
коммуникативтілік. Емтихан бағасын қою өлшемдері: дұрыс және толық жауап беру, мұқият
және нақты баяндау.
12. Этика және академиялық саясатты жүргізу:
Толерантты болыңыз және басқаның пікірін құрметтей біліңіз. Қарсылықты тұжырымдалған
түрінде жасаңыз. Плагиат және әділетсіз жұмысқа жол берiлмейдi. Өзге студент үшін
емтихан тапсыруға және бір-бірінен көшіруге жол берілмейді. Студенттің кез келген теріс
ақпараты болған жағдайда «F» бағасын алады.
кафедрасының отырысында қаралды 7 тамыз 2018 ж. Хаттама №1
Құрастырған: лектор
Ф КазНИТУ 703-08. Силлабус
Бактыбаев М.К.