Uploaded by kirkreps

Bershtainis Margarita

advertisement
Всероссийский конкурс учебно-исследовательских работ
старшеклассников по политехническим, естественным, математическим
дисциплинам для учащихся 9-11 классов
направление: Прикладные вопросы математики
Доверие и его развитие в современном обществе
Работу выполнила:
Берштайнис Маргарита Алексеевна
11 «м» класс (212 группа)
Научный руководитель:
Учитель высшей категории,
Валерий Николаевич Ашихмин
Научный консультант:
Учитель информатики и ИКТ
Владислав Андреевич Трушков
г.Пермь 2020
1
Оглавление
Введение
Теоретическая часть
1) Что такое теория игр?
2) Что такое стратегия?
3) Равновесие Нэша
4) Дилемма заключённых
5) Повторяющаяся дилемма заключенных
6) Культурная эволюция
Практическая часть
1) Модель социального взаимодействия
2) Стратегии первой группы
3) Одна игра
4) Повторяющаяся игра и культурная эволюция
5) Эволюция недоверия
1. Социальные взаимодействия
2. Выигрыши
3. Ошибки
- Стратегии второй группы
- Недопонимание в обществе
3
6
6
7
9
10
12
15
18
19
19
22
24
26
26
28
29
30
31
Выводы
35
Заключение
36
Список использованной литературы
37
Приложения
38
2
ВВЕДЕНИЕ
В начале Первой Мировой Войны в Рождество 1914 года на Западном фронте
произошло удивительное событие: британские, французские, шотландские,
немецкие войска прекратили стрельбу и устроили временной перемирие,
чтобы провести праздник вместе. Уже за неделю до Рождества 1914 года часть
английских и германских солдат начали обмениваться рождественскими
поздравлениями и песнями через окопы. Спустя какое-то время солдаты без
каких-либо приказаний абсолютно безоружными стали покидать свои окопы.
Они играли вместе в футбол, обменивались подарками и поздравлениями.
На фото: футбольный матч между
британскими и немецкими солдатами
Русские и немецкие солдаты во время
рождественского «братания»
Сейчас 2020 год, человечество не знало таких крупных и кровопролитных
войн, уже несколько десятилетий, а люди не умеют доверять.
Доверие является основополагающим элементом социального строя и
ключевым фактором поддержания экономического развития.
Сравнения доверительных отношений во всем мире сегодня демонстрируют
большой разброс статистики в разных странах. С одной стороны, в таких
странах, как Норвегия, Швеция и Финляндия, более 60% людей считают, что
людям можно доверять. С другой стороны, в таких странах, как Колумбия,
Бразилия, Эквадор и Перу, менее 10% считают, что это так.
Данные Глобального социального исследования (GSS) с 1972 года и по
настоящее время показывают, что сегодня люди доверяют друг другу меньше,
чем 40 лет назад. Это снижение межличностного доверия сопровождается
снижением общественного доверия к правительству.
3
1984 год
2014 год
Данные в России:
год
% доверия
1993
1998
2009
2014
34,73%
23,24%
25,25%
27,74%
Современный мир развивается всё быстрее. Мы всё больше внимания
уделяем карьере, медиа, СМИ и всё меньше общаемся друг с другом. Всё
больше и больше людей предпочитают проводить основную часть своей жизни
в одиночестве. Согласно опросам в США среднее число близких друзей упало с
трёх в 1985г. до двух в 2011г.
Почему же даже в мирное время друзья становятся врагами? И почему даже
во время войны враги становятся друзьями? Я считаю, что в этом вопросе мне
поможет разобраться теория игр.
Итак, основная цель моего исследования – используя общие понятия теории
игр, выделить основные причины прогрессирующей эволюции недоверия в
современном обществе.
Безусловно, поводов относиться к кому-то недоверительно бесчисленное
множество. Религия, раса, национальность, гендерная принадлежность,
внешность, возраст других людей, СМИ, любые субъективные предрассудки, а
иногда даже просто-напросто настроение – всё это влияет на наше решение:
стоит ли доверять этому человеку, компании, государству или же нет. Однако
под каждым поводом существует внушительный фундамент из причин.
Так каковы же причины недоверия в обществе? Я выделяю три
основополагающих причины, из которых и вытекает большинство проблем и
сомнений.
4
1) Уменьшение количества повторных взаимодействий.
Мы живём в век потребителей и технологий, которые создают для нас
максимально комфортные условия жизни. Однако вместе с этим отпадает и
необходимость в постоянном поддерживании контактов с другими людьми (с
одними и теми же, а не разными, что немаловажно).
2) Несущественная выгода при кооперации.
Неумение находить решения, предполагающие обоюдную выгоду для всех
участников социального взаимодействия.
3) Высокий процент недопонимания.
Причин множество: от различия в культурных особенностях до простого
неумения слушать, от государственной пропаганды до банальной
невнимательности.
Используя такое понятие из теории игр как Дилемма Заключенных, а также
прикладное программирование, в этой работе я продемонстрирую каждую из
вышеперечисленных причин и докажу, что они негативно сказываются на
эволюции доверия, а также выявлю самую рациональную модель поведения,
позитивно влияющую на развитие кооперации в социальной среде.
5
Теоретическая часть
Основной инструмент (раздел математики в данном случае), который я
использую для своего исследования – это теория игр. Что же это такое?
Что есть теория игр?
Теория игр представляет собой набор инструментов, применяемых для
анализа ситуаций, в которых лучшая стратегия одного человека зависит от
действий, в том числе ожидаемых, других людей. Благодаря теории игр мы
можем понять, как люди действуют в ситуациях взаимной зависимости.
 Почему она так называется?
Теория игр изучает стратегическое взаимодействие, которое является
основным элементом большинства настольных игр, - отсюда и название. От
вашего решения зависят последующие действия вашего соперника, и наоборот.
Большая часть жаргона теории игр заимствована напрямую из игр. Те, кто
принимают решение, зовутся игроками. Игрок делает ход, когда принимает
решение.
Вне игр стратегическое взаимодействие может быть устроено очень сложно,
поэтому теория игр создаёт упрощённые структуры, называемые моделями.
Модели не так сложно анализировать, при этом они отражают важные
элементы реальной задачи.
Теория игр направлена на улучшение нашего понимания того, как
взаимодействуют люди, компании, страны, животные и так далее, когда сами
проблемы слишком сложны для полного осмысления. Чтобы достичь такого
результата, мы создаём модели, именуемые играми.
С общими представлениями об игре каждый хорошо знаком в связи с
салонными играми (шахматы, бридж). Такая игра начинается из некоторого
данного положения и состоит из последовательности личных ходов, при
каждом из которых один из игроков совершает выбор среди нескольких
возможностей. Некоторые ходы могут, кроме того, быть случайными (бросание
кости, тасование колоды карт).
В некоторых играх игрок не в состоянии определить, какой из нескольких
ходов был фактически сделан, будь то ход одного из его противников или
случайный ход, он не знает точной позиции игры и должен делать ход с учётом
того, что имеется несколько возможных позиций.
6
В конце игры игроки обычно получают какой-либо выигрыш, который
зависит от протекания игры. Его можно представить как функцию, которая
каждой «окончательной позиции» игры ставит в соответствие определённый
выигрыш.
Рациональность
Как правило, теория игр включает такие понятия, как рациональность и
общеизвестность рациональности игроков.
Рациональность – это качество игроков, которые хорошо понимают игровую
ситуацию и рассуждают логически, означающее разумность, осмысленность их
решений и мотивированность совершать действия, направленные на
получение максимального выигрыша.
Общеизвестность рациональности игроков – это менее определённый
критерий, значение которого в следующем: «Не только мы оба должны быть
рациональны, но и я должен знать, что ты рационален. Мне нужен второй
уровень знания: я должен знать, что ты знаешь, что я рационален. Так же
необходимый мне третий уровень знания гласит: я должен знать, что ты
знаешь, что я знаю, что ты знаешь, что я рационален». И так далее к более
глубоким уровням знания.
Что такое стратегия?
В интуитивном понимании стратегия есть некоторый план разыгрывания
игры. Можно считать, что игрок говорит себе: «Если случится то-то и то-то, то я
буду действовать так-то и так-то». Общее определение стратегии такого:
Стратегия игрока — это полный план действий при всевозможных ситуациях,
способных возникнуть. Стратегия определяет действие игрока в любой момент
игры и для каждого возможного течения игры, способного привести к каждой
ситуации.
Набор стратегий — стратегии для каждого из игроков, которые полностью
описывают все действия в игре. Набор стратегий обязан включать одну и
только одну стратегию для каждого игрока.
В реальной жизни мы привыкли к тому, что игрок принимает решение о
своём ходе в игре только на несколько ходов вперёд, а обычно – даже в тот
момент, когда он должен сделать данный ход. Это связано с тем, что в
реальных играх число возможных ходов настолько велико, что нельзя заранее
запланировать свои действия, учитывая все возможные обстоятельства. Однако
7
с чисто теоретической точки зрения можно абстрагироваться от такого
практического ограничения и предполагать, что уже до начала игры каждый
игрок решил, что он будет делать в каждом случае. Таким образом, фактически
мы предполагаем, что каждый игрок выбирает некоторую стратегию ещё до
начала игры.
Помимо этого, ограничиваясь теорией стратегии, мы серьёзно лимитируем
себя предположением о рациональном поведении – не просто о разумном
поведении, а поведении, мотивированным осознанным расчётом выгод, то
есть расчётом, который в свою очередь основан на явной и внутренне
непротиворечивой системе ценностей. Таким образом мы налагаем
определённые ограничения на применимость получаемых результатов. Всякий
раз, кода мы исследуем реальную ситуацию с помощью подобных методов,
результаты могут на практике оказаться либо достаточно хорошим
приближением к действительности, либо карикатурой. Любое абстрагирование
несёт в себе такого рода риск, и к полученным результатам следует подходить
критически.
Преимущество теоретического подхода к стратегии не в том, что он всегда
очевидным образом стоит ближе к истине по сравнению с альтернативными
подходами, а в том, что предположение рационального поведения более
продуктивно.
Рассматривая конфликт как таковой и работая с его моделью, в которой его
участники стремятся «выиграть», теория стратегии допускает у участников
конфликта как общих, так и противоречащих друг другу интересов. Чистый
конфликт, в котором интересы двух противников полностью противоположны, особый случай. По этой причине «выигрыш» в конфликте не имеет строго
состязательного смысла. Здесь подразумевается выигрыш относительно своей
собственной системы ценностей, и его можно добиться путём переговоров,
компромиссов, а также избегая поступков, наносящих обоюдный ущерб, либо
минимизируя этот ущерб.
Таким образом, стратегия связана не с эффективным применением силы, а с
использованием силового потенциала. Она описывает не только врагов,
ненавидящих друг друга, но и партнёров, не доверяющих друг другу или
несогласных друг с другом. Она имеет дело не только с разделом выгод и
потерь, но и с возможностью, что одни исходы будут хуже (лучше) для обеих
сторон, чем некоторые иные исходы. В терминах теории игр наиболее
интересные конфликты являются играми не с постоянной, а с переменной
суммой: сумма выгод участников конфликта не установлена так, что выигрыш
одного неизменно означает проигрыш для другого. Общий интерес
заключается в достижении обоюдовыгодного итога.
8
Равновесие Нэша (Nash Equilibrium)
Равновесие Нэша – это фундаментальная концепция в теории игр, названная
в честь американского математика Джона Нэша (1928 – 2015). Само понятие
математического равновесия было придумано задолго до Нэша, но он был
первым, кто приложил его к математическому анализу игр в общем, а не
только к отдельным примерам.
Идея равновесия Нэша заключается в следующем: в ситуации равновесия
каждый рациональный игрок выбирает свою оптимальную стратегию,
учитывая, что другие игроки также придерживаются определенной стратегии.
Одной из характеристик равновесия Нэша является отсутствие сожаления у
каждого из игроков. Равновесие Нэша также является равновесием
рациональных ожиданий.
Итак, Равновесие Нэша — это комбинация стратегий, при которой ни
один из игроков не может получить больший выигрыш путем изменения
своей стратегии единолично.
Антагонистические и неантагонистические игры (с нулевой
суммой и ненулевой суммой)
Игры с нулевой суммой — особый вид игр с постоянной суммой, то есть
таких, где игроки не могут увеличить или уменьшить имеющиеся ресурсы, или
фонд игры. В этом случае сумма всех выигрышей равна сумме всех
проигрышей при любом ходе. Примерами таких игр может служить покер, где
один выигрывает все ставки других; реверси, где захватываются фишки
противника; либо банальное воровство.
Многие изучаемые математиками игры, в том числе «Дилемма
заключённого», иного рода: в играх с ненулевой суммой выигрыш какого-то
игрока не обязательно означает проигрыш другого, и наоборот. Исход такой
игры может быть меньше или больше нуля. Такие игры могут быть
преобразованы к нулевой сумме — это делается введением фиктивного
игрока, который «присваивает себе» избыток или восполняет недостаток
средств.
Также игрой с отличной от нуля суммой является торговля, где каждый
участник извлекает выгоду. К этому виду относятся такие игры, как шашки и
шахматы; в двух последних игрок может превратить свою рядовую фигуру в
9
более сильную, получив преимущество. Во всех этих случаях сумма игры
увеличивается.
Дилемма Заключенных
«Дилемма Заключённых» — это игра с ненулевой суммой. Проигрыш одного
не всегда означает выигрыш другого.
«Дилемма Заключённых» — это самый известный парадокс во всей теории
игр. Такое название этой дилемме дал канадский математик Альберт Такер
(1905 – 1995). Эта игра профессора Такера очень похожа на голливудскую
криминальную драму, в которой каждому из двух заключённых предлагают
сделку о сотрудничестве с правосудием в обмен на донос о другом
заключённом. Эта дилемма наглядно показывает, как трудно может быть
действовать сообща для общего блага, если люди преследуют личные
интересы.
Дилемма заключённых
Заключён
ный А
Заключенный В
Признат
ься
Промолч
ать
Признать
ся
5, 5
0, 10
Промолч
ать
10, 0
1, 1
Рассмотрим такую ситуацию. Двое подозреваемых находятся под
следствием. У полиции недостаточно улик, поэтому, разделив подозреваемых,
каждому из них предложили сделку. Если один из них будет по-прежнему
молчать, а другой свидетельствовать против него, то первый получит 10 лет, а
второго отпустят за содействие следствию. Если они оба будут молчать, то
получат по 1 году заключения по другой статье уголовного кодекса. Наконец,
если они оба заложат друг друга, то они получат по 5 лет тюрьмы. Вопрос:
какой выбор они сделают?
Предположим, что эти двое - рациональные люди, которые хотят
минимизировать свои потери. Тогда первый может рассуждать так: если
второй меня заложит, то мне лучше тоже его заложить: так мы получим по 2
10
года, а иначе я получу 10 лет. Но если второй меня не будет закладывать, то
мне всё равно лучше его заложить - тогда меня отпустят сразу. Поэтому не
зависимо от того, что будет делать другой, мне выгоднее его заложить. Второй
также понимает, что в любом случае ему лучше заложить первого. В результате
оба из них получают по два года. Хотя если бы они не свидетельствовали друг
против друга, то оба получили бы наилучший результат для обоих (1 год).
Обобщённая форма
Чтобы игра представляла собой «Дилемму заключённого» необходимо,
чтобы выполнялось неравенство D > C > d > c, где D, d, C, c - выигрыш от тех или
иных стратегий.
Предать Сотрудничать
Предать
d, d
D, c
Сотрудничать
c, D
C, C
Каноническая матрица выигрышей «Дилеммы
заключённого»
В дилемме заключённого предательство строго доминирует над
сотрудничеством, поэтому единственное возможное равновесие по Нэшу —
предательство обоих участников. Проще говоря, неважно, что сделает другой
игрок, каждый выиграет больше, если предаст. Поскольку в любой ситуации
предать выгоднее, чем сотрудничать, все рациональные игроки выберут
предательство.
Ведя себя по отдельности рационально, вместе участники приходят к
нерациональному решению. В этом и заключается дилемма.
Конфликты, подобные этой дилемме, часто встречаются в жизни, например,
в экономике (определение бюджета на рекламу), политике (гонка
вооружений), спорте (использование стероидов).
Наращивание ядерного потенциала или Гонка вооружений
Изначально Дилемма заключённых была сформулирована математиками
Мелвином Дрешером (1911 – 1992) и Мериллом Фладом (1908 – 1991) в 1950
году во время работы над одним проектом Военно-воздушных сил США. Тогда
их целью была разработка перспектив развития глобальной ядерной стратегии.
11
В оригинальной формулировке Дрешера и Флада двумя участниками игры
были США и СССР. Каждая страна должна была решить, стоит ли наращивать
ядерный потенциал или нет.
В этой игре глобальное наращивание ядерного потенциала представляет
собой равновесие Нэша.
Повторяющаяся дилемма заключённого
В книге «Эволюция кооперации» 1984 года Роберт Аксельрод исследовал
расширение сценария дилеммы, которое он назвал повторяющаяся дилемма
заключённого (ПДЗ). В ней участники делают выбор снова раз за разом и
помнят предыдущие результаты. Аксельрод пригласил академических коллег
со всего мира, чтобы разработать компьютерные стратегии, чтобы
соревноваться в чемпионате по ПДЗ. Программы, вошедшие в него,
различались по алгоритмической сложности, начальной враждебности,
способности к прощению и так далее.
Аксельрод открыл, что, если игра повторялась долго среди множества
игроков, каждый с разными стратегиями, «жадные» стратегии давали плохие
результаты в долгосрочном периоде, тогда как более «альтруистические»
стратегии работали лучше, с точки зрения собственного интереса. Он
использовал это, чтобы показать возможный механизм эволюции
альтруистического поведения из механизмов, которые изначально
чисто эгоистические, через естественный отбор.
Лучшей детерминистской стратегией оказалась «Око за око» (Tit for Tat),
которую разработал и выставил на чемпионат Анатолий Рапопорт. Она была
простейшей из всех участвовавших программ, состояла всего из 4 строк кода на
языке Бейсик. Стратегия проста: сотрудничать на первой итерации игры, после
этого игрок делает то же самое, что делал оппонент на предыдущем шаге. Чуть
лучше работает стратегия «Око за око с прощением». Когда оппонент предаёт,
на следующем шаге игрок иногда, вне зависимости от предыдущего шага,
сотрудничает с небольшой вероятностью (1—5 %). Это позволяет случайным
образом выйти из цикла взаимного предательства. Она лучше всего работает,
когда в игру вводится недопонимание — когда решение одного игрока
сообщается другому с ошибкой.
Анализируя стратегии, набравшие лучшие результаты, Аксельрод назвал
несколько условий, необходимых, чтобы стратегия получила высокий
результат:
12
 Добрая. Важнейшее условие — стратегия должна быть «доброй», то есть
не предавать, пока этого не сделает оппонент.
 Мстительная. Успешная стратегия не должна быть слепым оптимистом.
Она должна всегда мстить. Пример прощающей стратегии — всегда
сотрудничать. Это очень плохой выбор, поскольку «подлые» стратегии
воспользуются этим.
 Прощающая. Другое важное качество успешных стратегий — уметь
прощать. Отомстив, они должны вернуться к сотрудничеству, если оппонент не
продолжает предавать. Это предотвращает бесконечное мщение друг другу и
максимизирует выигрыш.
 Независтливая. Последнее качество — не быть завистливым, то есть не
пытаться набрать больше очков, чем оппонент.
Таким образом, Аксельрод пришёл к утопично звучащему выводу:
эгоистичные индивиды во имя их же эгоистического блага будут
стремиться быть добрыми, прощающими и не завистливыми.
Если в одноходовой игре в любом случае доминирует стратегия предать, то в
многоходовой оптимальная стратегия зависит от поведения других участников.
К примеру, если среди населения все друг друга обманывают, а один ведёт
себя по принципу «око за око», он оказывается в небольшом проигрыше из-за
потери на первом ходе. В такой популяции оптимальная стратегия — всегда
предавать. Если же число исповедующих принцип «око за око» больше, то
результат уже зависит от их доли в обществе.
Если ПДЗ играется ровно N раз (некая известная константа N), есть ещё один
интересный факт. Равновесие Нэша — всегда предавать. Доказываем по
индукции: если оба сотрудничают, на последнем ходу выгодно предать, тогда у
соперника не будет возможности отомстить. Поэтому оба предадут друг друга
на последнем ходу. Раз соперник предаст на последнем ходу в любом случае,
любой игрок захочет предать на предпоследнем ходу, и так далее. Чтобы
сотрудничество оставалось выгодным, необходимо, чтобы будущее было
неопределённым для обоих игроков. Одно из решений — делать число N
случайным и подсчитывать результаты по среднему выигрышу за ход.
Эксплуататорство
Некоторые исследователи (например, Scientific American, Press and Dyson)
предполагали, что лучшие эволюционные стратегии должны быть
эгоистичными, что привело бы к вымогательству, а не сотрудничеству.
Здесь важно отличать две разных трактовки понятия «эволюционная
стратегия». Первая предполагает, что стратегия является продуктом
13
социальной (культурной) эволюции, о которой ещё будет упомянуто далее.
Вторая, что игрок способен менять свою стратегию в зависимости от действий
партнёра (например стратегия Детектива является эволюционной именно в
этом плане, а стратегия Имитатора (или око за око) не является таковой, так как
он всегда придерживается свои принципов).
Таким образом, P&D нашел стратегии, которые могли бы использовать
"эволюционные" игроки, такие как Детектив, но их стратегии всё ещё не могли
эксплуатировать эволюцию турнира, потому что в долгосрочной перспективе
честные и хорошие стратегии всё ещё выигрывают.
Психология обучения и теория игр
Если игроки могут оценивать возможность предательства со стороны других
игроков, на их поведение влияет опыт. Простая статистика показывает, что
неопытные игроки обычно ведут себя чрезмерно хорошо или плохо. Если они
всё время будут действовать так, то проиграют из-за своей излишней
агрессивности или излишней доброты. С получением большего опыта они
реальнее оценивают вероятность предательства и добиваются лучших
результатов. Ранние розыгрыши сильнее влияют на неопытных игроков, чем
более поздние на опытных. Это пример, почему ранний опыт имеет такое
влияние на молодых, и почему они особенно уязвимы к немотивированной
агрессии, иногда сами становясь такими же.
Можно уменьшить вероятность предательства в популяции при помощи
сотрудничества в ранних играх, позволив укрепить доверие. Следовательно,
самопожертвование может в некоторых ситуациях усилить моральный дух
группы. Если группа маленькая, на позитивное поведение с большей
вероятностью ответят взаимностью, что поощрит индивидов на дальнейшее
сотрудничество. Это связано с ещё одной дилеммой: хорошее отношение без
причины — это потакание, которое может ухудшить моральные качества.
Эти процессы — главное поле интереса взаимного альтруизма, группового
отбора, семейного отбора и этики.
Влияние религии
Религиозные представления существенно повышают степень сотрудничества
между игроками. В проведенных исследованиях, даже неявное упоминание
религиозных слов в предварительном задании перед игрой приводило к
существенному повышению просоциального поведения.
14
Эволюционная этика
Изучение эволюции альтруизма и кооперации — это центральная тема
эволюционной этики. Она изучает, почему, с одной стороны, большинство
живых существ ведут себя эгоистично, но, с другой стороны, немало есть и
таких, кто совершает альтруистические поступки, то есть жертвует собой ради
других.
Альтруизм (лат. Alter — другой) в этике — нравственный принцип,
предписывающий бескорыстные действия, направленные на благо других
людей; Способность приносить свою выгоду в жертву ради общего блага.
В биологии: поведение, ведущее к «приспособленности» (репродуктивного
успеха) других особей в ущерб своим собственным шансам на успешное
размножение.
Несколько слов о том, какие этические выводы можно сделать из данных
эволюционной этики.
Многие аспекты нашего поведения имеют под собой эволюционный
фундамент. Например, исторически так сложилось, что наш эволюционный
альтруизм направлен исключительно на «своих». К чужакам же мы априори
испытываем определённую предвзятость и враждебность. В наших головах
прочно держится мысль о том, что наш выигрыш обязательно означает чей-то
проигрыш, что негативно сказывается на развитии социальной среды, в
которой мы живем. К счастью, эволюция дала человеку еще и разум, и поэтому
мы можем и должны подняться над своими биологическими корнями и
пересмотреть устаревшие навязанные эволюцией этические рамки.
Эволюционная этика предупреждает нас о том, что в нас сидит врожденная
склонность делить людей на своих и чужих, и к чужим испытывать отвращение
и неприязнь. Мы, как разумные существа, должны это понять и преодолеть.
Нам необходимо научиться перестать мыслить моделью «Выиграл –
Проиграл» (игра с нулевой суммой), предполагающей, что если одному
хорошо, то другому всегда будет плохо, и начать искать взаимовыгодные
решения.
В книге «7 навков высокоэффективных людей» Стивена Кови автор выделяет
такой навык как «Твоя победа — моя победа». Он означает, что работа в
команде при условиях общей выгоды часто даёт гораздо большие результаты
для всех участников, нежели если бы они работали над той же задачей
поодиночке.
15
«КУЛЬТУРНАЯ ЭВОЛЮЦИЯ» (британский антрополог Алекс Месуди)
Есть ещё одна тема, которая очень важна для моего исследования и о
которой уже мельком упоминалось ранее. Она называется Культурная
Эволюция.
Одной из основных частей теории Культурной Эволюции является культура,
развивающаяся так же, как и жизнь: посредством вариации и отбора.
Вариация: люди отличаются убеждениями и поведением, и придумывают
новые почти каждый день.
Отбор: люди пытаются подражать своим героям и предкам, и принимают их
убеждения/поведение.
Рождение теории
«Культурная эволюция», вышедшая в Чикаго в 2011 году, стала первой
крупной книгой Алекса Месуди. Идея применить эволюционный подход не
только к природе, но и к культуре, разумеется, не нова. Сам Дарвин после
выхода «Происхождения видов» проводил параллели между биологической
эволюцией и развитием языка.
Допуская, что эволюция культуры похожа на эволюцию в природе, Месуди
предполагает, что «эволюционный синтез» возможен и в социальных науках.
Изменчивость, конкуренция и наследование
Возможность перенести эволюционные принципы в сферу культуры Месуди
выводит из представления о культуре как об «информации, приобретаемой
от других людей с помощью социальных механизмов передачи, таких как
имитация, обучение или язык». Соответственно, по аналогии с биологическим
геном единица культурной эволюции определяется как информация,
хранящаяся в мозге в виде нейронных связей, в языке, компьютерном коде,
нотной записи, артефактах и институтах.
В то же время, как показывает автор на результатах исследований многих
культурных эволюционистов, три условия биологической эволюции —
изменчивость, конкуренция и наследование — характерны и для культурной
эволюции:
«В культуре происходит такое же постепенное накопление изменений.
Историки неоднократно показывали, что новые технологии редко — если
16
вообще когда-либо — возникают на пустом месте. Наоборот, удачные
инновации — это, как правило, незначительно улучшенные версии того, что
уже было, или же комбинации инноваций, которые раньше существовали
по отдельности... Паровой двигатель не появился, как иногда считается,
в изобретательной голове Джеймса Уатта из ниоткуда — он был
усовершенствованной версией уже существовавшего парового двигателя
Ньюкомена, с которым Уатт был отлично знаком и который, в свою
очередь, был модификацией предыдущей модели — и так далее вглубь
истории».
Культурная эволюция: механизм
Основной механизм Культурной эволюции заключается в следующем
принципе: социальная среда создаёт популяцию. Другими словами, выживает
сильнейший (в данном случае, сильнейшая стратегия поведения). Проще
говоря, люди склонны вести себя тем же образом, каким ведут себя успешные
(или выжившие, что в данном контексте одно и то же) представители
человечества. Мы наследуем те манеры поведения, которые зарекомендованы
как более рациональные и выгодные для нас.
Проводя аналогию всё с тем же паровым двигателем, никто из нас, людей,
не изобретал своего характера. Все наши манеры поведения заимствованы от
других: родителей, друзей, учителей, кумиров. Мы лишь можем удачно
комбинировать их, чтобы вывести свою персональную удачную
инновационную стратегию поведения.
17
Практическая часть
Цель практической части исследования:
подтвердить или опровергнуть гипотезы о причинах эволюции недоверия в
современном обществе.
Задачи:
1. Представить стратегии поведения первой группы, а также принципы
существования и развития математической модели общества.
2. Провести одиночный турнир между стратегиями первой группы.
3. Провести повторяющийся турнир между стратегиями первой группы,
добавив в игру эволюцию.
4. Изменить выигрыш и количество повторных взаимодействий.
5. Ввести вероятность ошибки (от 0% до 50%) и представить стратегии второй
группы.
6. Представить полностью опциональную программу-модель.
7. Представить игру, где пользователь мог бы самостоятельно провести
турнир с каждой из стратегий (в случайном порядке).
Понятия и методы, используемые для реализации поставленных задач:
1. Дилемма заключенных (модель социального взаимодействия)
2. Культурная эволюция (модель социального развития)
3. Некоторые стратегии, представленные Робертом Аскерольдом (модели
социального поведения)
4. Прикладное программирование на языке Python (используется для
создания модели социальной среды с необходимыми исходными данными)
18
Модель социального взаимодействия
Люди – социальные существа. Никто из нас не может избежать общения. В
нашей жизни мы сталкиваемся с различными видами и комбинациями
взаимодействий, однако с точки зрения рациональности есть всего три типа:
выигрышные (положительный выигрыш), проигрышные (отрицательный
выигрыш) и нейтральные (нулевой выигрыш).
Все три типа взаимодействий может отразить уже упомянутая ранее
дилемма заключённых.
Пусть есть два игрока и им необходимо совершить одновременный (что
немаловажно) ход. У них есть некое количество монеток и перед каждым стоит
выбор: отдать оппоненту монетку или оставить монетку себе, то есть
сотрудничать или обманывать. В случае, если другой игрок доверяется, вы
получаете три монетки, в противном случае – не получаете ничего.
Подсчитав выигрыши игроков, получаем следующую матрицу:
Как можно заметить, здесь есть взаимный положительный выигрыш (+2),
взаимный нейтральный выигрыш (+0), а также ситуация, когда один получает
невзаимный положительный выигрыш (+3), а другой невзаимный
отрицательный выигрыш (-1).
Как известно, в такой дилемме равновесие Нэша находится в клетке (0, 0),
однако, что будет, если сыграть не один раунд? Позже я отвечу на этот вопрос,
а пока необходимо познакомиться с основными моделями поведения, которые
примут участие в этом турнире.
19
Стратегии первой (основной) группы
Всего в своей работе я представлю восемь различных стратегий, пять из
которых находятся в первой группе. К каждой стратегии приложены
комментарий и программный код. Краткое изложение каждой стратегии
изложено синим цветом и озаглавлено как «Особенности» [модели
поведения].
Перед тем, как описывать более сложные стратегии поведения, стоит начать
с наипростейших чистых стратегий.
Наивный (он же бескорыстный альтруист)
Названием этой стратегии всё сказано. Данная модель поведения при
любом, даже самом наихудшем, раскладе ситуации будет неизменно доверять
оппоненту.
В программном коде функция naive выглядит следующим образом:
Особенности: доверяет на каждом ходе, никогда не мстит
Нетрудно догадаться, что наивные – это самое слабое, почти утопичное
звено эволюции. Чаще и проще всего они эксплуатируются, в том числе
следующей представленной стратегией.
Лжец (или эгоистичный обманщик)
И снова из названия предельно очевидно, что подразумевает под собой эта
стратегия. Лжецы – полная противоположность наивным. Вне зависимости от
хода других игроков лжецы всегда будут обманывать.
Стратегия liar в программном коде:
Особенности: лжет на каждом ходу, не умеет сотрудничать
20
Лжецы – примитивные эксплуататоры и самые настоящие эгоисты. Однако
успешно эксплуатировать у них выходит далеко не всех, ведь помимо наивных
существуют и другие стратегии с более сложной философией.
Имитатор (более известен как стратегия Око за Око или Tit for Tat)
Одна из самых простых и тем не менее самых известных стратегий.
Имитаторы начинают своё общение с доверия, после чего повторяют
предыдущий ход другого игрока.
Стратегия imitator в программном коде:
** здесь и далее turn – предыдущий ход оппонента, num – номер хода
Особенности: доверяет на первом ходе, затем повторяет ход соперника;
мстителен, однако умеет прощать
Данную стратегию поведения придумал и выставил на чемпионат Анатолий
Рапопорт. Сам же Аскерольд, несмотря на её простоту, действительно много
писал о ней в своей книге. Позже я ещё продемонстрирую почему, а пока
следующая стратегия.
Мстительный
Мстительный – очень эмоциональная стратегия. Он всегда начинает с
доверия и продолжает доверять до того момента, пока его не обманут, после
чего до самого конца будет обманывать оппонента. Похожая модель
поведения часто встречается и среди людей, что неудивительно.
Программный код стратегии revenge:
** здесь и далее revenge – флаг обозначающий настрой мстительного в данном раунде
Особенности: доброжелательный, однако обидчивый; не способен на
прощение
21
Детектив
Более сложная, как уже упоминалось ранее, эволюционная стратегия.
Детектив способен подстраиваться под своего оппонента: он может
эксплуатировать наивных, обманывать лжецов и кооперироваться с
имитаторами. Первые четыре хода детектива таковы: доверие, обман,
доверие, доверие. Далее, если оппонент ни разу не солгал, детектив будет
обманывать, а в обратном случае – действовать как имитатор.
Программный код стратегии detective:
** здесь и далее lied – флаг, показывающий обманывал другой игрок или же нет
Особенности: эволюционная стратегия, которая подстраивается под
поведение оппонента; первые четыре хода – доверие, обман, доверие,
доверие, далее если его ни разу не обмануть - обманывает, а в обратном
случае повторяет предыдущий ход оппонента.
Здесь представлены основные пять стратегий, которые я буду использовать в
дальнейшем. Посмотрим же, как они будут играть друг с другом в турнире.
Одна игра
Итак, пусть каждая из стратегий (Наивный, Лжец, Имитатор, Мстительный и
Детектив) сыграет с каждой другой по 10 раундов.
Результаты наивного по истечении 40 раундов: Naive = 29 монеток.
22
Результаты лжеца по истечении 40 раундов: Liar = 45 монеток.
Результаты имитатора по истечении 40 раундов: Imitator = 57 монеток.
Результаты мстительного по истечении 40 раундов: Revenge = 46 монеток.
Результаты детектива по истечении 40 раундов: Detective = 45 монеток.
Подведём итоги:
меньше всех очков
набрал Наивный, а
наибольший выигрыш в
общем турнире получил
Имитатор
У Имитатора много имён. Золотое правило –
Взаимный Альтруизм, Око за око или «живи и дай жить другим». Вот
почему в окопах на Западном фронте во время Первой мировой войны смог
образоваться «мир». В позиционной войне уникально вот что: в отличие от
23
почти любой другой формы войны, тебе приходится видеть одних и тех же
солдат каждый день. Это повторяющаяся игра, и в этом вся разница. Когда ты
вынужден снова и снова играть в одну и ту же игру с одними и теми же
конкретными людьми (а не просто одним и тем же абстрактным «врагом») –
Имитатор выигрывает не только битву, но и войну.
Однако что произойдёт, если сыграть несколько турниров?
Повторяющаяся игра и Культурная эволюция
Задействуем понятие Культурной эволюции. В ней есть три основных
процесса: конкуренция, наследственность и изменчивость. Что это означает в
рамках социальной среды, я уже писала в теоретической части, так что сейчас
самое время продемонстрировать, как Культурная эволюция работает на
данной социальной модели.
Стратегии поведения конкурируют между собой, а результатом конкуренции
всегда является естественный отбор. Более слабые стратегии со временем
исчезнут, а выживут те, кто лучше приспособлен.
Теперь реализуем наследственность и изменчивость. Пусть в конце каждого
турнира пять самых слабых игроков – то есть с наименьшим выигрышем –
отсеиваются эволюцией (изменчивость), а пятеро самых сильных – с
наибольшим выигрышем – копируются или, другими словами, размножаются
(наследственность). И повторяем до тех пор, пока не останется одна
доминирующая стратегия. В случае одинаковых выигрышей отбор происходит
случайным образом. Таким образом, популяция количественно не изменяется,
однако качественно эволюционирует.
Примечание: для развития культуры не обязательно дожидаться, пока игроки
в буквальном смысле умрут и размножатся — достаточно, чтобы "неудачные"
модели поведения исчезали, а "успешные" распространялись.
Итак, начнём эволюцию.
Для начала возьмём 5 Лжецов, 5 Имитаторов и 15 Наивных (остальных пока
что в расчёт не принимаем).
24
настройки программы
Посмотри, как будет развиваться эволюция.
Отсюда видно, что с каждым раундом лжецов становится всё больше, так как
они растут за счёт наивных, которые, в свою очередь, постепенно вымирают.
Имитаторы же живут, однако не размножаются. В конце четвертого турнира все
наивные оказываются мертвы. Продолжим эволюцию.
25
Как только Наивных больше не осталось, Лжецам пришлось столкнуться с
Имитаторами, которые доброжелательны, но не наивны. Лжецы стали
жертвами собственного эгоизма. Просто копируя ход оппонента, Имитаторы
прекрасно уживаются друг с другом, повышая выигрыш друг друга, в то время
как Лжецы обманывают сами себя. И в итоге Имитаторы выигрывают эту
эволюционную войну и наследуют землю. Лжецы может и выиграли в
краткосрочной перспективе, но их эксплуататорство стало их концом.
«Люди наказываются не за грехи, а самими грехами» (Элберт Хаббард)
Что удивительно, результат не меняется, если добавить в игру
Мстительных и Детективов.
Причем в конце эволюции, помимо Имитаторов, остаётся ещё и небольшое
количество Мстительных. Они умеют сосуществовать вместе с Имитаторами.
Кажется, что не только нормы морали и этики, но и математика теории игр
говорит нам о том, философия Имитаторов «поступай с другими так, как хотели
бы, чтобы другие поступали с тобой» может быть не только нравственной, но и
математической истиной. Взаимный альтруизм оказался действеннее, чем
бескорыстный альтруизм, эгоизм, злопамятность и даже эволюционное
эксплуататорство.
Однако, есть проблема. Мир не так уж и утопичен, каким нам бы хотелось
его видеть. Раз уж стратегия Имитаторов так сильна в этой повторяющейся игре
на доверие, почему тогда вокруг так много недоверчивых, ненадёжных людей?
И почему уровень доверия в обществе неуклонно снижается? Что привело к
этой эпидемии недоверия?
Пока что я изучала только изменения в игроках, однако, что насчёт изменений
в игре? Что могло бы привести к эволюции недоверия?
Эволюция недоверия
Социальные взаимодействия
Для начала рассмотрим следующую симуляцию: 23 Наивных, один Лжец и
один Имитатор. Как уже известно при таких условиях выиграет Имитатор.
26
Однако так происходит при текущих правилах, гласящих, что за один матч
между персонажами проходит по 10 раундов. Что будет если уменьшить
количество раундов? Продолжит ли Имитатор выигрывать?
Оказывается, что нет. При недостаточном количестве взаимодействий (здесь
при пяти и меньше) победу одерживают Лжецы.
симуляция с количеством раундов = 5
Мэтью Брашерс (Matthew Brashears), преподаватель университета в Южной
Каролине, в 2011 году опубликовал результаты исследований, проводимых в
27
США, в которых изучалась социальная изоляция американского общества.
Одним из выводов исследования было то, что у людей со временем (с 1985г. по
2011г.) уменьшается количество социальных взаимодействий. В том числе
среднее количество близких друзей за этот промежуток времени сократилось с
трёх до двух.
Учёные сейчас очень обеспокоены темой социальной изоляции.
Распространение Интернета, большая занятость населения, индивидуализм,
пропаганда СМИ и многие другие факторы – всё это сказывается на снижении у
нас количества социальных взаимодействий. Наша социальная среда
становится всё более ограниченной и неразнообразной, что, несомненно,
оказывает на нас негативный эффект.
Несмотря на то, что учёные, по правде говоря, переоценивают социальную
изоляцию, она безусловно имеет место быть, в качестве одной из основных
причин снижения уровня доверия среди людей 21 века.
Выигрыши
Есть и другой способ породить недоверие в обществе. Всё это время игра
проходила со следующим распределением наград:
Доверит
ься
Доверит
ься
Обманут
Обмануть
2, 2
-1, 3
3, -1
0, 0
ь
Однако, что будет, если уменьшить выигрыш при кооперации? Или задать
положительный выигрыш при взаимном обмане?
Начнём с уменьшения выигрыша за взаимное доверие (mutual Trust = 1
вместо 2). Хотя это всё ещё больше, чем выигрыш при взаимном обмане (0),
при данных условиях победу одерживают Лжецы.
28
условия: уменьшение выигрыша при взаимном доверии до +1; количество раундов = 10
Если же не уменьшать награду при кооперации, однако предположить, что
от взаимного обмана также может быть определённая выгода (mutual Mistrust
= 1 вместо 0), то ситуация поменяется похожим образом. Хотя выигрыш при
сотрудничестве больше, при данных параметрах победу снова одержат Лжецы.
условия: увеличение выигрыша при взаимном недоверии до +1; количество раундов = 10
29
На этот счёт в теории игр есть следующие идеи:
Игра с нулевой суммой: «выигрыш для меня означает проигрыш для тебя»
Игра с ненулевой суммой: «мы оба приложим все усилия ради
взаимовыгодного исхода»
Без игры с ненулевой суммой доверие развиваться не может. А в
некоторых ситуациях (как, к примеру при уменьшении выигрыша при
взаимном доверии до +1) доверие не развивается в достаточной мере даже изза того, что сотрудничество недостаточно привлекательно. Если нет
достаточной награды за кооперацию, развитие доверия будет затруднено, что
даст возможность недоверию эволюционировать, как это и было показано в
симуляции.
Ошибки
Последний барьер на пути к процветанию доверия – это ошибки.
Вспомним про Имитатора. До сих пор я не называла одну его самую
страшную слабость. Предположим, два имитатора играют друг против друга. На
первом ходу они, как и полагается, решат довериться. Однако, что, если в
какой-то момент один из них ошибётся и обманет? Тогда и второй игрок как
следствие должен будет обмануть, но тогда и первый должен будет снова
отомстить, но тогда и второй… И так до бесконечности. Получается, что из-за
одного лишь единичного маленького недопонимания Имитаторы застрянут в
бесконечном круге из мести.
В таком случае, должны быть и другие типы стратегий, способных
преодолевать ошибки.
30
Стратегии второй группы
Случайный
Непредсказуем. Сотрудничает или обманывает с вероятностью 50/50.
Программный код для функции стратегии randomic:
Особенности: доверяет/обманывает = 50/50
Подражатель (или Око за два Ока)
Подражатель ведёт себя почти также, как Имитатор. Единственное отличие
состоит в том, что он обманывает только в том случае, если оппонент обманул
его два раза подряд, в конце концов первый раз мог быть ошибкой.
Программный код стратегии copycat:
** lied_times – здесь и далее сколько раз солгал оппонент
Особенности: как имитатор, однако обманывает только если обмануть
его два раза подряд. Более снисходительный, нежели имитатор
Павлов (или Простак)
На первом ходу доверяет. Если оппонент доверился, то повторяет свой
последний ход (даже если это была ошибка), а если оппонент его обманул, то
поменяет свой предыдущий ход на противоположный (даже если это была
ошибка).
31
Программный код стратегии pavlov:
**turn_self - здесь и далее свой собственный ход в прошлом раунде
Недопонимание в обществе
Начнём с 13 Наивных против предыдущего победителя,
справедливого Имитатора, и трёх новых персонажей: Подражателя, Павлова и
Случайного. В каждом раунде у игроков есть небольшая вероятность сделать
ошибку (5%).
Итак, начнём эволюцию.
32
В этой игре победил Павлов. Так случилось по той причине, что Павлов, на
самом деле, способен использовать Наивных. Они оба начинают с
сотрудничества, однако если Павлов совершает ошибку и
жульничает, Наивные не отомстят, и Павлов продолжит их обманывать.
Теперь попробуем то же самое, однако введем не доброжелательно (13
Наивных), а враждебно (13 Лжецов) настроенную социальную среду.
Начнём эволюцию.
33
Здесь я пропущу часть программы, так как данная игра может содержать в себе
примерно от 30 до 500 турниров
34
На этот раз победил Подражатель. Удивительно, что с более злобной
начальной популяцией, Подражатель, более снисходительная стратегия,
нежели Имитатор, оказался наиболее успешным и выиграл эволюцию.
В данном случае небольшое недопонимание (вероятность ошибки 5%)
может привести к большей степени снисходительности. Однако
справедливо ли это для всех уровней недопонимания?
Что произойдёт, если повысить процент недопонимания до 10%? 20%? 50%?
Результаты получаются такими:
При 0% побеждает Имитатор:
От 1% до 9% побеждает Подражатель:
От 10% до 49% Побеждает Лжец:
При 50% никто не побеждает, так как, по сути, каждая стратегия
становится Случайным.
Получается, при небольшом проценте недопонимания выгоднее быть более
снисходительным, а при большом – наоборот, обманщиком.
35
Выводы
Итак, работая над этим исследованием, я доказала, что для культурной
эволюции доверия необходимо следующее:
1. Повторные взаимодействия
Доверие поддерживает отношения, но для его развития нужно ожидать
повторных взаимодействий в будущем.
2. Возможность обоюдной выгоды
Вы должны играть в игру с ненулевой суммой, где есть хоть какой-то шанс,
что оба игрока достигнут взаимовыгодного исхода.
3. Низкий уровень недопонимания
Если уровень недопонимания слишком высок, доверие существовать не
может. А когда недопонимания не очень много, полезно
быть более снисходительным.
Другие выводы:
4. Влияние человека на общество
В краткосрочной перспективе среда меняет человека, однако в долгосрочной
– человек способен изменить социальную среду.
5. Рациональность
Самые рациональные стратегии поведения доброжелательны, мстительны и
умеют прощать. По своей сути, высшая степень рационализма (то есть
эгоизма) – это, как не парадоксально, Взаимный альтруизм.
6. Эксплуататорство
Можно эксплуатировать конкретных людей, однако нельзя эксплуатировать
культурную эволюцию.
7. Проигрыш в бою не означает проигрыш в войне
36
Заключение
Подводя итоги всей работы, я могу с уверенностью сказать, что поставленная
цель – используя общие понятия теории игр, выделить основные причины
прогрессирующей эволюции недоверия в современном обществе – была
выполнена.
В ходе исследования я доказала, что эволюции недоверия способствуют:
1) Уменьшение количества повторных взаимодействий способ.
2) Несущественная выгода при кооперации.
3) Высокий процент недопонимания.
А также сделала следующие выводы:
1) В долгосрочной перспективе человек способен повлиять на социальную
среду.
2) Самое рациональное поведение – это взаимная доброжелательность.
3) Чтобы процветать в обществе необходимо не выиграть в каждом
отдельном социальном взаимодействии и не быть лучше всех остальных, а
стабильно набирать среднее количество баллов среди всех игроков.
По своей сути, не только этика, но и математика говорят нам о том, что быть
хорошим человеком – это не только правильно, но и рационально.
Нам важно научиться не быть злопамятными, а также начать мыслить
моделью «Выиграл – выиграл».
Для процветания нашего общества индивидуалистов, необходимо, чтобы
каждый конкретный индивид был счастлив, а данное условие не может
развиться в мире, где господствует недоверие.
Каждый из нас способен менять своё окружение в положительную сторону,
если будет более доброжелательным и более открытым по отношению к
другим членам общества. Это простая, однако очень важная мораль.
Я считаю, что каждый мы все способны внести свой вклад в развитие того
общества, о котором мы все мечтаем.
Доверие – это очень интересная и обширная тема, о которой написаны уже
тысячи статей. Я рада, что моя исследовательская работа была посвящена
именно данной теме. Я довольна своим исследованием, но я не думаю, что
хотела бы продолжить изучение данной темы в будущем, ведь я уже сделала
для себя самые главные выводы.
Однако мне интересны теория игр и программирование, и, мне кажется, я
продолжу углубляться в эти темы и дальше.
37
Список литературы
Emily Singer (2015), Game Theory Calls Cooperation into Questions, Quanta
Magazine, Scientific American
Esteban Ortiz-Ospina and Max Roser (2014), Trust, Our World In Data, University of
Oxford
Joseph Herrich (2015), The Secret of Our Success: How Culture Is Driving Human
Evolution, Domesticating Our Species and Making Us Smarter, 456 с.
Matthew Brashears (2011), Small networks and high isolation? A reexamination of
American discussion networks, University of South Carolina
Naina Bajekal (2014) Silent Night: The Story of the World War I Christmas Truce of
1914, magazine Time
Robert Axerold (1984), Evolution of Cooperation, 241с.
Robert Putnam (2000), Bowling Alone
Roper Center (2019), Public Trust in Government: 1958 – 2019, for Public Opinion
Research
Stephen Covey (1989), The Seven Habits of Highly Effective People, 481с.
Алекс Месуди (2015), Культурная эволюция, 384 с.
Марков Александр Владимирович (2009), Эволюция кооперации и альтруизма:
от бактерий до человека
Пастин Айван, Пастин Тувана (2017), Теория игр в комиксах, 175с.
Томас Шеллинг (1960, 1980), Стратегия конфликта, 366 с., Гарвардский
университет
Эйн-Я Гура, Майкл Машлер (2008), Экскурс в теорию игр, 319с.
38
Приложения
strategy.py - описание стратегий и правила игры
39
40
sandbox.py – описание процесса игры
41
42
Download