U NIVERSIT É DE M ONTPELLIER M ÉMOIRE DE M ASTER 2 MEEF D ’I NFORMATIQUE Ludification et entraı̂nement en ligne en NSI Guillain Potron 2020-2021 Chapitre 1 Introduction Les jeux et notamment les jeux vidéos ont des capacités remarquables pour capter l’attention, pour motiver à atteindre des objectifs et pousser à des efforts considérables pour y parvenir. Les tentatives pour comprendre et appliquer ces mécanismes en dehors du contexte du jeu sont anciennes : les approches soviétiques au début du XXe siècle sont des précurseurs de l’application de ces techniques à l’environnement de travail (Nelson, 2012). Depuis 2010 ces efforts ont connu un regain d’intérêt sous le terme de gamification, ou ludification en français. On sait que pour l’enseignement, la motivation des élèves est un facteur clé qui guide leurs apprentissages. Il est donc naturel de réfléchir à ce que ces techniques peuvent apporter aux enseignements nouveaux que sont SNT et NSI au lycée. Nous allons pour cela d’abord revoir les fondements théoriques de la motivation et en quoi ils peuvent supporter les effets de la ludification en classe. Nous discuterons les modalités de ce terme qui peut recouvrir un large éventail de techniques. Puis nous verrons ce qui a été fait dans la recherche expérimentale sur ce thème, à travers une large sélection d’études de la dernière décennie. La réflexion se portera ensuite sur la conception d’un dispositif pour la NSI qui pourrait en tirer les leçons en facilitant l’entraı̂nement à la programmation en parallèle du cours. Le but est de défricher le champs des possibles, d’expliquer les contraintes et les techniques existantes et de réfléchir à l’évaluation scientifique de ce qu’on pourrait mettre en oeuvre. 1 Chapitre 2 Les théories de la motivation et les fondements de la ludification Pour bien comprendre ce qui se joue dans la ludification, celle-ci étant supposée entretenir la motivation des personnes impliquées, il est intéressant de revenir sur les théories de la motivation et ce qu’elles permettent comme éclairage. 2.1 Autodétermination La théorie de l’autodétermination (self determination theory) considère qu’il y a trois besoins qui sont universels : — le besoin de compétence : les individus sont motivés s’ils sont capables de faire quelque chose. La motivation est alors basée sur la valeur de ces tâches et l’attente qu’on a de les réussir ou pas. Mais au bout d’un moment, la simple satisfaction de faire des choses ne suffit plus à rester motivé. — le besoin d’autonomie : c’est la capacité de faire des choix, qui donne une sensation de liberté et permet d’utiliser les interprétations personnelles de ce qui a de la valeur et du sens. — le besoin d’appartenance sociale : la capacité à se sentir appartenir à un groupe et connecté aux autres. D’après cette théorie, satisfaire ces besoins psychologiques de base va susciter chez les élèves de la motivation à apprendre. Dans un jeu vidéo, les joueurs ont un feedback constant sur leurs actions ce qui leur permet de connaı̂tre et d’être confiants dans leurs compétences mais aussi d’être autonome dans l’apprentissage. La 2 conception de jeu laisse en général des choix sur la manière de jouer ou les objectifs à atteindre, ce qui sera aussi bénéfique pour la ludification si elle prend soin de donner cette autonomie. L’enseignement traditionnel laisse peu de choix aux élèves sur quand et comment le cours est abordé ni sur la nature et les conditions de ce qu’ils devront faire, ou comment ils seront évalués. Des éléments comme les quêtes en groupe ou les tableaux de score, en faisant travailler les élèves ensemble pour gagner des points ou de la reconnaissance, et en leur permettant de voir leur progression par rapport à celle des autres, créent de l’appartenance sociale. Voilà des bases pour expliquer les intérêts de la ludification dans le cadre de la théorie de l’autodétermination. Cette théorie reprend en outre les concepts bien connus de motivation intrinsèque (pour le plaisir et la satisfaction de faire l’activité) et extrinsèque (pour des récompenses, des notes, un salaire, par une contrainte). Elle y ajoute d’une part la notion de motivation introjectée, liée à des sentiments comme la fierté, la culpabilité ou le devoir qui poussent à accomplir des actions. Et d’autre part la régulation intégrée, quand une motivation extrinsèque s’aligne avec les valeurs et désirs personnels. Par exemple quand une joueuse considère qu’obtenir une récompense ou un badge est vraiment important et désirable, il y a eu une régulation intégrée de la motivation extrinsèque que constituait cette récompense. 2.2 Flow Theory Pour revenir sur la motivation intrinsèque, il y a une base théorique qui peut expliquer des conditions idéales pour cette motivation : la théorie du flow. Selon celle-ci, il existe un état d’intense concentration où on perd la notion de temporalité et où l’activité est intrinsèquement motivante : l’état de flow. Les conditions en sont : — des objectifs explicites et clairs ; — pas ou peu de distractions ; — un sens de contrôle sur l’activité ; — un équilibre entre la difficulté et la compétence : c’est le point clé. Une tâche trop facile sera perçue comme ennuyeuse, une tâche trop difficile pour la personne entraı̂nera de l’apathie ou une anxiété bloquante. Il faut donc que la tâche soit à la frontière de la zone de compétence. — un feedback clair et rapide, qui permet d’acquérir le savoir nécessaire et qui montre comment s’améliorer. Ces conditions sont celles que vise la conception de jeu, mais si on crée un environnement d’appren- 3 tissage avec ce guide, l’apprenant aura une plus grande motivation intrinsèque. En observant en détail l’expérience utilisateur du site Pix, qui vise à certifier les compétences numériques autant à l’école que dans le monde professionnel, on remarque que ces principes sont tous pris en compte : — Les objectifs sont clairs : on doit répondre à des questions pour améliorer son score sur la compétence qu’on a choisi ; — Les distractions ne sont pas complétement sous le contrôle du site, mais l’interface lors de la réponse aux questions est épurée ; — On peut choisir la compétence à travailler, la barre de progression permet de savoir où on en est des questions, et on peut choisir d’arrêter puis reprendre à tout moment ; — Le niveau des questions s’adapte automatiquement en fonction des réponses précédentes : c’est le point clé qui permet de l’utiliser pour tout le monde sans que ce soit ennuyant ou infaisable selon le niveau de compétence initial ; — Enfin le feedback est clair toutes les cinq questions, avec la correction et des tutoriels pour s’améliorer. Il aurait pu su faire entre chaque question parce que le feedback rapide est souvent préférable, mais des études montrent qu’un peu de délai peut être mieux qu’un feedback immédiat. Après chaque cinq questions semble au moins un bon compromis pour qu’on se souvienne encore des réponses qu’on a donné et que ça serve donc à comprendre et intégrer les erreurs et les améliorations possibles. 2.3 modèle de How Learning Works Le livre How Learning Works (Ambrose, Bridges, DiPietro, Lovett, & Norman, 2010) est une proposition pour faire un pont entre la recherche sur l’apprentissage et les enseignants. Il est articulé autour de sept principes couvrant différents aspects de l’apprentissage pour lesquels des stratégie d’enseignement sont proposées. Il permet au moins de mettre un cadre et des mots précis sur beaucoup d’intuitions qu’on aggrège avec l’expérience, ce qui me semble important pour les intégrer de façon cohérente. Leur chapitre sur la motivation en propose un modèle et rappelle que la motivation existe toujours vis-à-vis d’objectifs. Ceux-ci peuvent en effet être multiples, et ceux des élèves peuvent ne pas être alignés avec ceux que l’enseignant a pour eux. Ceci est par exemple le cas quand les élèves ont un objectif de performance comme l’obtention d’une note alors que l’on voudrait qu’ils aient un objectif d’apprentissage. 4 Le modèle est basé sur trois aspects : — la valeur accordée à l’objectif : elle peut être intrinsèque pour un objectif d’apprentissage, ou instrumentale si l’objectif est de performance, mais ces valeurs ne s’opposent pas et peuvent s’ajouter. L’enjeu est donc : est-ce que les élèves considèrent qu’atteindre l’objectif est important et désirable. — les attentes, c’est la croyance que des actions appropriées vont conduire ou non a atteindre l’objectif (outcome expectancies) et la croyance d’être capable ou non de les mener à bien (self-efficacy ou auto-efficacité). — la perception de l’environnement d”apprentissage, sur un gradient entre la présence ou non de soutien. Des stratégies sont ensuite détaillées pour essayer de jouer sur chacun de ses leviers. Plusieurs sont pertinentes pour être mises en oeuvre par un processus de ludification : — Pour la valeur, identifier et récompenser clairement ce qu’on attend des élèves. — Pour l’auto-efficacité c’est d’abord fournir un niveau de challenge adéquat (ce qui rejoint la théorie du flow). Ensuite l’auto-efficacité est très liée à l’histoire de l’élève et s’il a eu des expériences de réussite ou d’échec dans des situations similaires : donner des opportunités de succès tôt dans le cours permet d’améliorer ces représentations. Fournir un feedback détaillé et en temps voulu est aussi proposé, ce qui est un élément essentiel des jeux, de même pour la stratégie de donner de la flexibilité et du contrôle. En cela les recommendations rejoignent celles des théories précédentes. 2.4 Biais, nudge Une autre manière peut-être de voir les choses est de partir des travaux sur les heuristiques et les biais (Kahneman, Slovic, Slovic, & Tversky, 1982). Kahneman montre que non seulement l’humain n’agit pas toujours rationnellement pour atteindre ses objectifs, mais que ces erreurs ne sont pas seulement aléatoires, ce qui le ferait dévier dans n’importe quelle direction. Ce sont souvent des biais prédictibles qui font faire à tout le monde les mêmes fautes de raisonnement. Par exemple l’aversion à la perte (sunk cost fallacy) nous fait prendre en compte des coûts déjà dépensés et non-récupérables dans l’évaluation coût/bénéfice d’actions futures, alors que ces coûts seront subis quelle que soit la décision prise. Ce type de biais est exploitable et exploité par des méthodes de manipulations. C’est par exemple le cas de jeux comme Candy Crush qui exploite l’aversion à la perte en 5 augmentant la difficulté quand l’habitude de gagner est prise, et en ne laissant que la possibilité de faire des achats dans le jeu pour continuer à gagner. On peut et on doit se questionner sur la légitimité d’appliquer de telles techniques dans un contexte éducatif, mais l’argumentation pour la technique du “nudge” (Thaler & Sunstein, 2009) soutient qu’il est possible dans certains cas de prendre ces biais en compte pour des objectifs positifs et en laissant tout de même la liberté aux individus. Par exemple, ils ont montré qu’en passant d’opt-in avec une case à cocher pour accepter d’être donneur d’organe à opt-out avec une case à cocher pour ne pas l’être, le ratio des personnes qui acceptaient le don d’organe était radicalement renversé. Un exemple de “nudge” dans le cas de la gamification : le concours Castor Informatique propose une série d’exercices dont chacun a trois niveaux de difficulté, de deux à quatre étoiles. Certains élèves sont tentés de s’acharner sur les niveaux difficiles et cela les empêche d’essayer tous les exercices parce que le temps est limité. L’interface n’empêche pas ce comportement (que j’ai pu observer, même après avoir conseillé aux élèves de ne pas rester bloqué plus de 5min sur un exercice). Mais par défaut, après chaque niveau et en fonction du temps qui a été pris pour le résoudre, l’interface envoit directement sur un exercice facile suivant au lieu de la version plus difficile, et il faut revenir au menu des questions pour faire autrement. De plus après 10min sur un même niveau, un pop-up proposer de cliquer pour passer à un exercice plus facile pas encore essayé. Ces éléments ne restreignent pas le libre arbitre et le sentiment de contrôle des élèves, mais limitent les dégâts pour la majorité. 6 Chapitre 3 État de l’art des études expérimentales 3.1 Les débuts de la recherche en ludification Comme le montre l’évolution du nombre de publications, la recherche sur la ludification a commencé vers 2011 et est en rapide augmentation depuis : Nombre de publications par année pour le mot-clé gamification Des études antérieures analysent pourtant des procédés qui en sont proches. Ainsi Marina Papastergiou a mis en place une expérience d’utilisation d’un jeu vidéo pour faciliter les apprentissages et susciter la motivation, dans le cadre d’un cours de lycée sur la mémoire informatique en Grèce (2009). Le jeu prend une forme de RPG dans un labyrinthe en 2D duquel les élèves doivent sortir en répondant à des QCMs. Dans chaque pièce des points d’information permettent d’accéder au contenu du cours. 7 L’expérience se limite à une séance de 2h et les résultats montrent un effet positif à la fois sur l’apprentissage (par le score à un test qui suit l’expérience) et sur la motivation (par un questionnaire), en comparaison avec un groupe témoin qui aura eu une version plus classique du cours sous forme d’un site web avec les mêmes contenus et QCMs. Cette situation relève plus de l’utilisation d’un jeu à visée éducative que de ludification, même si l’absence de lien entre le contenu du cours et des QCM d’une part, et l’interface du jeu d’autre part, peut en faire un cas intermédiaire. Ces jeux éducatifs sont un cas particuliers des serious games et ont été largement étudiés dans le cadre scolaire. Un autre exemple en est l’étude de Browne et Anand qui présente une série de logiciels sur tablette Android pour présenter plusieurs concepts d’informatique en première année universitaire : la recherche dichotomique, l’encodage binaire des nombres, le fonctionnement d’un CPU, l’algorithme de Dijstra, etc (2013). Ces logiciels ont toute leur place comme support éducatif possible dans l’enseignement de SNT et NSI, cette étude recommande d’ailleurs d’après les avis des participants d’en hybrider l’usage avec de l’enseignement traditionnel. Dans ce mémoire nous allons cependant nous restreindre à la ludification, c’est à dire à l’introduction d’éléments de jeu ou de la conception de jeu dans le cadre de cours qui ne sont pas en eux-mêmes des jeux. 3.2 Une première étude représentative de la ludification d’un cours À l’inverse des jeux sérieux dont l’usage est principalement ponctuel, la ludification se place souvent à l’échelle de toute la durée d’un cours, sur un semestre universitaire par exemple. Une première étude représentative de la recherche dans le domaine est celle réalisée à l’université de Cape Town dans le cadre, qui semble très bien s’y prêter, d’un cours de développement et de design de jeu vidéo (O’Donovan, Gain, & Marais, 2013). Le parallèle explicite est fait entre les élèves de première année et des novices, qui suivraient des quêtes (cours) pour acquérir des nouvelles compétences, seraient testé par des challenges (les tests et devoirs) qui culmineraient avec la bataille contre le boss final (l’examen) qui déterminerait le succès (valider l’année) ou l’échec. Les éléments de ludification utilisés sont typiques et nombreux : — un nouveau thème visuel sur la plateforme d’apprentissage (équivalent de moodle) de l’université ; — une narration cohérente avec ce thème, placée dans un univers steampunk ; 8 — des quizz, des puzzles avec l’autonomie de les faire au moment choisi ; — des objectifs explicites ; — un système de points d’XP associés aux quizz, puzzles et objectifs ; — une monnaire interne, gagnée avec l’XP et qui permet d’obtenir des aides ou des délais additionel ; — des barres de progression et des badges ; — un tableau de scores Ce dispositif a eu un impact positif significatif sur les notes et surtout sur l’assiduité au cours, mais l’étude reporte aussi un coût en temps de travail important pour le mettre en place. Même si les éléments de badges et de tableau de score sont utilisé, un des points importants de l’article et qui revient sous la plume d’autres auteurs est qu’il ne suffit pas de les ajouter sans précautions. Un jeu efficace doit être motivant, addictif et offrir des encouragements pour des objectifs à court terme, pour que le joueur puisse échouer et réessayer jusqu’à réussir. Ces éléments là qui font le succès des jeux ne doivent pas être abandonnés. Le modèle utilisé (Fogg’s Behaviour Model) considère trois facteurs pour qu’un individu aie une action voulue : la motivation, la capacité et un déclencheur. D’après les auteurs, la conception du déclencheur est cruciale, s’il arrive au mauvais moment l’individu peut en rester frustré et démotivé. Les défis qui font partie d’un jeu doivent aussi être variés, s’ils sont de même type en devenant juste plus difficile, les joueurs peuvent perdre l’intérêt alors que s’ils incorporent des éléments nouveaux et de surprise, la motivation intrinsèque sera mieux préservée. C’est un des éléments qui rend les jeux addictifs. Enfin la liberté de choisir, par exemple quand ou comment mener à bien une tâche, leur semble une composante essentielle de la ludification qu’il faut laisser aux élèves. 3.3 Revue des éléments testés et types d’études Malgré cette critique de la focalisation sur les accessoires motivationnels isolés ( badges, points, etc.), une analyse de la littérature revient sur les nombreuses études qui s’y attachent pour essayer de dégager des conclusions (Hamari, Koivisto, & Sarsa, 2014). Le bilan est contrasté : les études quantitatives constatent un effet positif, mais rarement sur toutes les hypothèses testées, et les études qualitatives montrent un phénomène plus complexe avec des facteurs confondants possibles, notamment sur le contexte de mise en place. L’article expose aussi les limitations méthodologiques des études analysées : entre autres, les effectifs sont souvent faibles, les accessoires motivationnels sont étudiés comme un tout et on ne peut donc pas 9 déduire l’efficacité de chacun, les expériences étaient souvent courtes donc l’effet de nouveauté peut avoir biaisé l’attitude des participants. 3.4 Un élément important, les équipes (légères) Une autre étude (Latulipe, Long, & Seminario, 2015) part d’un contexte similaire à celle de Cape Town vue précédemment : un cours de première année universitaire d’informatique. Mais elle présente une approche nouvelle dans le cadre de pédagogie inversée basée sur des “équipes légères”. Ce sont des groupes d’élèves qui sont amenés à travailler ensemble en classe mais où le travail fait en tant qu’équipe n’a que peu d’impact sur la notation, il n’y a donc pas de gros projets, de devoirs ou d’examens faits en groupe. Les équipes interagissent lors de quizz chaque semaine, de 15-20 questions difficiles qui durent 1h30 à 2h, pour lesquels ils peuvent parler dans l’équipe avant de répondre. Les scores par équipe sont affichés et le débat entre équipes est encouragé si peu ont répondu juste. D’autres problèmes sur papier sont ensuite faits, pour lesquels on demande parfois aux équipes d’échanger leurs solutions et de faire de la notation entre pairs ou de la critique des solutions des autres équipes. La ludification est augmentée par : — Des badges à gagner (grâce à un module moodle) pour des activités d’extra-implication comme répondre au forum ou faire des exercices de programmation ; — Un tableau des scores par équipe sur moodle avec des prix pour les 3 premiers à la fin ; — Un jeton est donné chaque semaine, si une équipe les garde tous elle gagne un badge, un étudiant le perd s’il pose une question à la séance pratique dont la réponse devait être connue ; Les objectifs sont d’encourager les apprentissages mais aussi la sociabilité, qui avait été observée comme compliquée pour les étudiants de première année. Les données sur les deux années où le cours a eu lieu consistent en des questionnaires remplis vers le début puis vers la fin du cours. Les notes des étudiants sont aussi comparées à d’autres cours non ludifiés mais l’absence de vrai groupe de contrôle rend leur interprétation peu concluante. Les résultats sont positifs et les hypothèses validées dans leur ensemble, les auteurs considèrent que les équipes légères ont un impact important. Les élèments de ludification améliorent aussi la motivation au travail des étudiants mais sont à affiner (en particulier pour les jetons qui risquent de pousser à ne pas demander d’aide quand on en a besoin). Une limitation est que les nombreux choix du disposi- 10 tif ne peuvent être évalués que comme un tout et pas individuellement, et l’analyse est limitée par les questionnaires aux points de vue subjectifs des étudiants. 3.5 Le framework MDA et la question de l’esthétique L’étude suivante, d’une université malaisienne (Azmi, Iahad, & Ahmad, 2015), part d’un constat qui nous intéresse dans le cadre de l’enseignement de NSI : un déclin d’inscription en informatique dû en partie à la difficulté perçue de la discipline, notamment la programmation. En se plaçant dans le cadre de l’“Apprentissage Collaboratif en Ligne” plusieurs études expérimentales sont revues (celleci n’est pas expérimentale). Sur les aspects de jeu, le cadre MDA compte trois types d’élements : les éléments mécaniques ou les règles du jeu, les éléments dynamiques ou comment ces règles sont mises en oeuvre pour engager les joueurs les uns avec les autres, et enfin les éléments esthétiques ou les réponses émotionnelles suscitées chez le joueur. Les autrices remarque que les études de ludification ont beaucoup plus porté d’attention sur les éléments mécaniques et dynamiques et très peu sur les éléments esthétiques qui jouent pourtant un rôle important dans l’implication des joueurs. Trois approches possibles de ludification sont aussi différenciées, selon qu’elles visent l’activité d’apprentissage, l’activité sociale ou l’évaluation. Ces différents contextes peuvent être combinés mais les nommer nous semble pertinent. 3.6 Une étude pluriannuelle et la question du profil et de la typologie des joueurs L’étude de Cape Town fait passer un test de personnalité de joueur à des étudiants en phase pilote de son dispositif de ludification et cela avait été mentionné comme piste de recherche par la méta-étude de 2014, mais une expérience à l’université de Lisbonne (Barata, Gama, Jorge, & Gonçalves, 2017) est la première à analyser ses données à posteriori pour en extraire des cluster d’étudiants interprétés comme une typologie de joueurs. Ces clusters sont automatiquements construits sur l’ensemble des évolutions de l’XP en fonction du temps des étudiants. L’expérience a le mérite d’avoir été menée sur trois ans avec des ajustements entre chaque itération du cours qui sont documentés et discutés en détail. En plus d’éléments de ludification courants, un monde virtuel en 2.5D où les étudiants peuvent interagir avec des avatars a par exemple été ajouté, qui n’est pas 11 sans rappeler des plateformes comme Gather.Town qui ont été utilisées avec succès pour la socialisation lors de conférences à distance en 2020-2021. La première année, trois profils d’étudiants sont distingués : les achievers qui obtiennent les meilleurs scores et cherchent à obtenir le plus de points, les disheartened qui commencent de la même manière mais dont l’engagement diminue avec le temps, et les underachievers dont l’engagement avec la plateforme ludifiée est faible et qui se concentrent sur les évaluations classiques. Les variations des années suivantes permettent à d’autres clusters d’apparaı̂tre. Un aspect intéressant de cette classification est qu’elle permet d’analyser les questionnaires d’étudiants en fonction de leur profil et de repérer des phénomènes qui auraient pu être cachés par la moyennisation sur l’ensemble de la classe. Cette vision permet une forme de différenciation que nous serons amenés à faire en cours de NSI : tous les élèves ne répondront pas uniformément aux contenus et dispositifs que nous pourrons proposer, et même si dans l’ensemble ils fonctionnent il faut se questionner sur ce qu’il est possible de faire pour les groupes où c’est moins le cas. Idéalement, cette technique de clustering pourrait être une étape pour une expérience adaptative où les contenus seraient ajustés à chaque profil d’élève. Plusieurs points importants selon les auteurs sont à retirer de cette étude pour les designs de ludification futures. Promouvoir l’agentivité d’abord, qui a un impact fort sur la motivation à apprendre, l’équilibre entre compétition et collaboration et l’expérience ludifiée. Cela peut se faire par exemple en distribuant des challenges ou des quêtes dans lesquelles les étudiants ont le choix de faire des contributions au cours du semestre. Un arbre de compétence à compléter, qui donne des choix sensibles, est également une bonne idée. Susciter à la fois la compétition et la collaboration est nécessaire mais la première est plus facile que la seconde. Enfin d’après les auteurs une expérience ludifiée réussie, comme un jeu, devrait être facile à jouer et les règles doivent être aussi claires et simples que possible. Ils ont eux-même abandonné certaines caractéristiques trop complexes d’une année à l’autre. 3.7 Un édito sur l’évolution de la recherche On le voit déjà dans l’étude précédente, la recherche sur la ludification évolue et ne se limite plus à la question, centrale avant, qui était : est-ce que ça marche ? Un éditorial de la revue Computers in Human Behaviour (Nacke & Deterding, 2017) souligne cela, le passage des définitions, des cadres et de la question de l’efficacité à des études plus matures. Celles-ci peuvent être désormais des études empiriques guidées par de la théorie, des études de design de systèmes 12 ou encore des approfondissement et extensions des contextes où la ludification est applicable. Les théories évoquées pour le premier cas sont la théorie d’autodétermination qu’on a déjà vue, et le “goal-setting”, une autre théorie de la motivation. Nous sommes juste, d’après les auteurs, en train de commencer à comprendre quels éléments de design de ludification sont les mieux applicables à quels domaines. 3.8 Une étude en lycée et la question de la plateforme Une étude Croate (Schatten & Schatten, 2019) a attiré notre attention parce qu’elle se situe dans le cadre d’un enseignement d’informatique au lycée. De fait les détails de l’apprentissage du C ne sont pas toujours pertinents pour nous (mais offrent un comparatif intéressant, des élèves de lycées y apprenant la programmation de jeu vidéo et ayant déjà derrière eux deux ans de programmation en C). Cette étude pose néanmoins la question de la plate-forme utilisée. En effet la plupart des ludification de cours vus jusqu’ici se basent sur une plate-forme en ligne qui sert de support en parallèle des cours en présentiel, et permet de nombreux éléments de la ludification. Dans les cas universitaires c’était souvent moodle ou l’équivalent utilisé par l’université en question. Ici le choix est fait d’utiliser une plate-forme commerciale spécialisée dans la ludification éducative : Classcraft. On aura bien à faire dans la suite un tour d’horizon des possibilités qui s’offrent, avec les conditions d’une interface en français et surtout de la compatibilité avec le Règlement Européen sur la Protection des Données (RGPD). 3.9 Une méta-analyse pour faire le point quantitativement Une méta-analyse récente (Sailer & Homner, 2020) effectue une synthèse des effets mesurés de la ludification dans un cadre éducatif en triant selon que les effets soient cognitifs, motivationnels ou comportementaux. Cette méta-analyse est très rigoureuse et fondée sur les données, ce qui est une qualité nécessaire pour essayer d’obtenir des résultats reproductibles, une tâche qui n’est pas gagnée d’avance dans ces domaines de recherche. Les effets positifs de la ludification sont modérés mais significatifs dans les trois catégories d’effets, avec une staabilité plus grande pour les effets cognitifs. Les études présentent cependant une grande 13 hétérogénéité qui n’a pas pu être expliquée par des facteurs confondants (inclusion ou non de fiction, interactions sociales, etc.). Cela laisse donc la question de pourquoi la ludification marche mieux ou pas partiellement non résolue. 3.10 Une dernière étude sur la rétention des connaissances Une dernière étude (Putz, Hofbauer, & Treiblmaier, 2020) teste la ludification avec un groupe de contrôle d’ateliers d’une journée sur 600 élèves en tout, sur plusieurs itérations de ces ateliers. L’hypothèse concerne l’effet positif de la ludification sur la rétention de l’information, et elle est validée pour la rétention à court terme mais l’effet n’est pas significatif sur la rétention à long terme. La liste des éléments qui interviennent dans le workshope ludifié comprend : des objectifs clairs, un feedback immédiat, de la collaboration par équipe et de la compétition entre les équipes. On pourrait considérer que ces éléments sont des points positifs de cours, ludifiés ou pas, et qu’une des raisons de l’impact positif de la ludification est qu’un soin plus grand est apporté à ces aspects du cours, qui aurait aussi pu être présents dans un cours non ludifié. Autrement dit, il est difficile de savoir qu’est-ce qui dans l’effet positif est dû aux badges et aux tableau des scores, et ce qui est dû à des aspects qui ne sont pas propres à la ludification. 14 Chapitre 4 Application dans l’enseignement de NSI 4.1 Motivation Le contexte de notre recherche est l’enseignement de spécialité de NSI en première et terminale. Le programme de cette spécialité comporte une grande part de programmation et de concepts qui y sont liés (langages et paradigmes de programmation, structures de données, algorithmes, ingéniérie logicielle). Or l’apprentissage de la programmation est un sujet difficile pour les élèves qui y sont confrontés pour la première fois, ce qu’évoquait notamment (Azmi et al., 2015). Cet apprentissage requiert une pratique régulière. Si on suit les recommendations de (Ambrose et al., 2010), l’entraı̂nement doit être orienté vers des objectifs , en quantité suffisante, et être d’un niveau de difficulté approprié. De plus un feedback efficace, ciblé et au bon moment est crucial pour que l’entraı̂nement fonctionne. Considérons les pratiques courantes dans l’enseignement de la programmation : — la pratique en classe dans des séances de TP. Celle-ci permet un feedback approprié si l’effectif est suffisamment peu nombreux pour que l’enseignant puisse passer aider les élèves, mais il sera sans doute difficile d’y allouer assez de temps pour que ce soit une pratique suffisante ; — des projets ou devoirs de programmation à faire au moins partiellement chez soi et à rendre ensuite. Cela peut être un entraı̂nement ciblé et suffisant, mais la question du feedback et du moment où il est délivré est plus compliquée. Pour des élèves débutants en programmation, beaucoup seront probablement bloqués par des erreurs conceptuelles ou de syntaxe, ou ne se rendront pas compte de leurs choix erronés, et n’auront le feedback qu’après la correction de leur rendu, occasionnant une perte de temps. Face à ces constatations, l’idée est de recourir à quelque chose de similaire aux juges en ligne qui sont 15 des systèmes automatiques d’évaluation de code sur des problèmes de programmation (SPOJ, Topcoder, Codeforces, france-ioi,...). Un tel système peut se prêter aux techniques de ludification, dans le but de faciliter les apprentissages et d’améliorer l’implication des élèves. 4.2 Design du système Comment lier ce dispositif au cours ? Les deux seront en parallèle, et il s’agit bien d’une aide plutôt que d’un cours en total autonomie comme sur certaines plateformes (OpenClassroom, etc.). Il pourra être partiellement utilisé en classe comme un TP, au moins au début pour le lancer et vérifier que les élèves comprennent comment l’utiliser. Ensuite il servira d’entraı̂nement sur les concepts de programmation au fur et à mesure qu’ils sont vus dans le cours. Il pourra aussi permettre de l’entraı̂nement ciblé sur des notions ou savoir-faire qui feraient défaut. Le contenu sera tout ce qui peut être revu à travers la programmation en python : algorithmes, structures de données, paradigmes et bonnes pratiques de programmation. Il est possible d’intégrer les parties sur HTML et javascript. Enfin on peut vouloir étendre le système et y intégrer des QCMs sur d’autres parties du cours. Avec quelle fréquence et sous quelles modalités l’utiliser ? On a vu avec (Ambrose et al., 2010) qu’il valait mieux une pratique fréquente même courte que d’en faire beaucoup occasionnellement. De l’ordre d’un petit exercice par semaine, qui ne prendrait pas plus de 20min, semble une bonne base. Quelles consignes donnerait-on, et quel contrôle sur cette pratique ? Le feedback est comme on l’a vu indispensable. Il sera en partie fourni par le système de jugement automatique, qui a l’avantage d’être instantané mais l’inconvénient de ne pas fournir de conseils d’amélioration très pertinents. Il faudrait donc que le professeur puisse aider si un élève est bloqué, ou puisse voir les soumissions qui ont échoué. Le système pourrait aussi permettre l’aide entre élèves, avec une valorisation des aides judicieuses. Cette pratique serait évaluée formativement tout au long de l’année. Il serait aussi utile pour l’enseignant d’ajouter des éléments de feedback rapide de la part des élèves dans le rendu automatique (cet exercice était-il difficile, pénible, instructif ?). Comment gérer la différenciation ? On a vu que l’adéquation des challenges au niveau des élèves est un élément important pour la motivation intrinsèque. Une possibilité est d’avoir plusieurs versions des énoncés d’exercices, certains avec les parties non essentielles à l’objectif déjà codées, ou des liens ce 16 qui a été vu précédemment et peut aider. Ces techniques d’“échaffaudages intellectuels” sont mises en avant par la recherche (Ambrose et al., 2010) car elles permettent de réduire la surcharge cognitive due à de nombreux éléments mal maı̂trisés, en facilitant la concentration sur la partie visée à ce moment. Les élèves pourraient choisir la version (par exemple avec un code couleur vert/bleu/noir), ce qui va dans le sens de leur autonomie dans les apprentissages. En terme de ludification, on a déjà parlé d’aspects qui relèvent du design de jeux, mais il y en a d’autres possibles : — les badges, les points d’XP, les barres de progression, ne sont que des éléments visuels qu’il serait facile d’intégrer pour les tester. — pour l’aspect d’appartenance sociale, on peut intégrer un tableau des scores, en étant attentifs à l’écueil de démotiver les élèves qui y seraient moins bien placés. Une des manières serait de faire des scores par petites équipes. — il faut que les objectifs, à court terme comme à long terme, soient clairs. Il faudra bien préciser ce qui est attendu à chaque fois (du code clair ? le bon algorithme ? juste que ça passe les tests ?). — un arbre des exercices avec des dépendances (certains doivent être faits pour débloquer les autres) mais qui laisse le choix de s’investir dans des thèmes différents. 4.3 Contraintes D’abord, les contraintes sont techniques. Le temps nécessaire à développer ou mettre en place une solution ne peut être trop important. Il faudra donc soit utiliser des plateformes existantes, soit viser quelque chose de minimaliste réutilisant au mieux des outils existants, et qui nécessite un minimum d’administration système. Ensuite, le RGPD pose des conditions sur la récolte et l’usage des données personnelles des élèves. Le mieux sera de ne rien récolter, mais cela empêchera d’avoir un site où les élèves ont un compte, ou des éléments comme l’affichage d’un tableau des scores. Une alternative est d’utiliser des systèmes déjà disponibles par les espaces de travail académique (moodle souvent, des outils spécifiques comme Capytale dans certaines académies). Pour une solution propre qui aurait besoin de récolter des données, il faudra contacter le Délégué à la Protection des Données pour la mettre en conformité et obtenir l’accord. 17 4.4 Possibilités, Propositions La première solution est d’utiliser une plateforme déjà existante, ce qui est le plus facile à mettre en place, mais présente l’inconvénient de n’avoir pas de contrôle sur son contenu ni sur son évolution. Le meilleur candidat pour ça est le site de l’association france-ioi, qui existe au départ pour repérer et former les équipes qui participent aux olympiades internationales d’informatique (donc très élitiste), mais qui a élargi son domaine ces dernières années pour viser aussi le milieu scolaire. D’abord avec les concours Castor Informatique et Algoréa qu’elle encadre, mais aussi sur le site d’exercices. Il est possible de créer un groupe que les élèves rejoignent, qui permet de voir les exercices qu’ils ont faits (et quand, et en combien d’essais). De plus les élèves peuvent demander de l’aide, toutes les personnes du site ayant résolu l’exercice peuvent y répondre mais l’interface permet de voir facilement les demandes de son propre groupe. Enfin le contenu a été adapté sur les premiers chapitres au programme du lycée en python. L’interface est un peu ludifiée avec des scores, des graphiques d’évolution, mais pas plus que la moyenne des sites de programmation compétitive d’avant l’introduction du concept de ludification. L’autre solution est de recoder et d’héberger une solution personnelle. Cela demande des efforts mais permet de garder le contrôle et d’ajouter des fonctionnalités. De plus il existe un début de communauté autour de l’enseignement de NSI qui pourrait vouloir collaborer à un tel projet. D’autres enseignants on déjà mis en place de la mise en ligne de cours rédigés en Markdown intégrant des consoles python (avec basthon, qui utilise pyodide), certains avec des exercices et des petits jeux de tests pour les valider. L’intérêt est que tout est statique donc les élèves n’ont pas besoin de compte et il n’y a pas de problème de RGPD. On pourrait ajouter du stockage web local pour enregistrer dans le navigateur les exercices résolus ou non, et afficher un score et une indication visuelle de progression. Le site du “natural number game” du langage de preuve Lean est un bon exemple de ce modèle, avec un arbre de progression qui offre un choix, et dont les données de résolution stockées localement ne sont jamais envoyées. Récupérer des données des élèves nécessite de sortir un peu de ce modèle minimaliste, mais un bouton pourrait permettre à l’élève d’envoyer ses données quand il le veut (ce qui semble la manière de gérer le RGPD, c’est ce qui est fait sur Pix par exemple). Certaines fonctionnalité resteront problématiques à implémenter sans comptes d’utilisateur, les tableaux des scores ou l’aide entre pairs par exemple. On pourrait aussi vouloir développer un module à intégrer à moodle, ce qui a été fait dans certaines 18 expériences citées précédemment, mais on reste dépendant des choix de l’académie qui doit accepter de l’installer. 4.5 Hypothèses de recherche, comment tester le dispositif Comment évaluer les résultats de ce dispositif ? Les hypothèses de recherche que nous voudrions tester sont : — H1 : Le dispositif permet d’améliorer les compétences en programmation. — H2 : Le dispositif permet d’augmenter la motivation et de diminuer la frustration et la perception de difficulté de la programmation en python. L’évaluation d’une pratique en tant qu’enseignant est toujours d’abord qualitative, par l’observation de son déroulement, par les interactions avec les élèves, leurs questions et leurs erreurs pendant la classe, puis par ce qu’ils sont capables de faire dans leurs productions. Même si on peut s’en rendre compte indirectement, donner un questionnaire aux élèves sur leurs perceptions du cours est un complément important à ces observations. En effet en tant qu’enseignants nous avons nos propres biais, notamment celui d’“expert blind spot”, présenté dans (Ambrose et al., 2010) : en tant qu’expert de notre domaine, nous perdons une partie de la conscience de ce qu’il faut faire pour résoudre un problème. Ceci peut nous faire manquer des parties de la décomposition en souscompétences nécessaires et de leur assemblage, parties qui pourront manquer à nos élèves. Ce biais au sens large n’est pas résolu par un questionnaire, mais supporte la démarche de demander explicitement aux élèves leur point de vue sans présupposer que nous serons capables de l’inférer. Si on veut aller plus loin dans le cadre d’une démarche de recherche, on peut analyser quantitativement à la fois les donnée de questionnaires d’élèves (notamment pour tester l’hypothèse H2), mais aussi des résultats des élèves, par exemple à une série d’exercices de programmation au courant ou vers la fin de l’année. 4.6 Considérations sur le design d’expérience : within-subject et between-subject Si on veut tester scientifiquement une hypothèse sur un dispositif, par exemple que celui-ci entraı̂ne une amélioration d’une variable observable quantitative (comme une note), on a deux choix principaux 19 de design : — Une expérience between-subject, où on aura un groupe contrôle qui fait l’expérience sans le dispositif, et un autre groupe test qui fait l’expérience avec le dispositif. — Une expérience within-subject, où un même groupe d’élève effectue successivement l’expérience avec le dispositif et sans le dispositif. Une des principales différences entre ces designs est leur pouvoir statistique. Pour l’illustrer, prenons le modèle fictif d’un effet typique que nous voudrions tester. La note dans le groupe contrôle suit une loi normale de moyenne 12, et dans le groupe test s’ajoute un effet dû au dispositif qui suit également une loi normale centrée autour de 2 (sur suffisamment d’élèves, l’effet augmentera donc la note de 2 points) plus une variable u de loi normale centrée en zéro, la sensibilité individuelle au dispositif : u ∼ N (0, 2) Xcontrol ∼ N (12, 4) Xtest ∼ Xcontrol + N (2 + u, 2) On considère qu’on fait l’expérience between-subject entre deux groupes de 25 élèves, et que l’expérience within-subject est faite pour un même groupe de 25 élèves. Ainsi le nombre de mesures est le même dans les deux cas. Pour chaque simulation d’expérience, un t-test permet de calculer la p-value associée à l’effet, c’est à dire la probabilité d’obtenir des résultats aussi marqués si on suppose qu’il n’y a pas d’effet. On obtient la distribution de p-values suivante pour la simulation de 10000 expériences : 20 L’hypothèse sera donc validée pour l’expérience within-subject (pour p < 0.05) dans 92% des cas Si on teste cet effet précis avec l’expérience within-subject, on aura donc 92% de chances de la valider (pour p < 0.05), contre seulement 34% avec le design betwen-subject. Ces valeurs dépendent beaucoup des choix notamment d’écart-type dans le modèle de l’effet à tester, mais elles sont de manière générale bien supérieures pour l’expérience within-subject. Lorsqu’on est enseignant, on est en général confronté au problème que l’expérience qu’on peut mener sera nécessairement avec des effectifs réduits (quelques classes au plus) et que donc si l’effet qu’on veut observer n’est pas très fortement marqué, notre expérience n’aura pas assez de puissance statistique pour valider l’hypothèse. Ce choix de design est donc crucial et il faudra autant que possible essayer de faire une expérience within-subject. Un point cependant est à prendre en compte dans une expérience within-subject : il peut y avoir un effet d’apprentissage, les mêmes participants prenant part à l’expérience deux fois sous des conditions différents, leur résultat pourra être meilleur la deuxième fois parce qu’ils ont appris de la première. Il faut donc pour le compenser : — limiter au maximum cet apprentissage, par exemple en effectuant la partie test et la partie contrôle sur des sujets ou parties de cours différentes ; — et diviser les participants en deux groupes pour lesquels l’ordre de passage des expériences sera inversé. Un test statistique permet ensuite de vérifier que l’apprentissage se compense bien et n’est pas asymmétrique (auquel cas on sera forcé de revenir à du between-subject). Si on a par exemple un dispositif à tester sur l’enseignement des algorithmes, on pourra le tester avec une classe A sur les algorithmes sur des tableaux tandis qu’une classe B sert de groupe contrôle, puis pour les algorithmes de graphes on testera le dispositif sur la classe B et A fera la version de contrôle. 4.7 Observations en classe cette année N’ayant pas de classe de NSI cette année, il n’était pas possible d’envisager tester les solutions évoquées ici. Et s’il aurait été possible de tester sur une courte expérience l’influence d’éléments de ludification comme les badges, nous avons vu que cela constituerait un grand appauvrissement des possibilités de la ludification. Cela n’aurait donc pas apporté d’éléments quand à la pertinence de cette approche. De fait, nous avons pu observer en classe de SNT plusieurs activités sur des plate-formes qui utilisent certains éléments de ludification, comme le concours Castor Informatique, le concours Algoréa ou 21 l’utilisation de Pix. Ces activités ont en général su motiver les élèves, avec une nuance pour le concours Algoréa qui semblait parfois un peu rébarbatif pour des élèves en difficulté sur la programmation en python. Les exercices du niveau le plus faciles sont réellement faisables par ces débutants, mais un peu trop répétitifs. Beaucoup d’élèves sont sensibles à l’aspect de challenge et veulent absolument passer du temps pour résoudre un problème sur lequel il sont bloqués, mais c’est une attitude qui sera prononcée chez les élèves ayant une grande auto-efficacité. La perspective de laisser des choix aux élèves, qui est importante en ludification, a aussi été testée positivement avec le projet de réaliser un petit site web (de plusieurs pages, en HTML/CSS). Les élèves avaient la liberté de choisir le sujet de leur site, et beaucoup se sont investis énormément par rapport aux activités habituelles. 22 Chapitre 5 Ouverture et perspectives 5.1 Possibilités de collaboration, de développement collectif, liens fioi Si cet outil d’entraı̂nement à la programmation en ligne avec du feedback automatique, des éléments de différenciation et d’entraide, pour une pratique régulière en parallèle du cours, convainc d’autres enseignants de NSI, il sera possible de mettre en commun les efforts pour le construire et d’obtenir quelque chose de bien plus abouti. Un mouvement existe déjà pour créer collectivement un manuel sous licence libre et le partage de pratique sur les cours et outils techniques est très actif, donc cette possibilité est réelle. Pour la solution d’utiliser le site de france-ioi, il serait intéressant de se mettre en contact avec l’association qui vise explicitement ce type de pratique en cours au lycée. Les outils de cette association sont l’oeuvre collective d’adhérents (souvent les anciens participants aux IOI), et le code de leurs logiciels est public et sous licence libre. Une convergence de ce côté là est donc envisageable. 5.2 Lien avec d’autres pratiques, combinaisons De nombreuses autres pratiques en classe (de NSI ou pas) sont liées à la ludification ou au jeu : — la répétition espacée pour mémoriser le contenu de cartes (souvent du vocabulaire de langues vivantes) est depuis longtemps soutenue par la recherche, et beaucoup d’expériences d’utilisations scolaires ont été faites. Le programme de NSI présente cependant peu d’éléments de pure mémorisation, donc le concept y est moins largement applicable. 23 — l’usage de “ceintures” choisies par les élèves eux-mêmes pour une différenciation qui favorise l’autonomie. — l’usage directement du jeu (et non de la ludification) à visée éducative, les jeux sérieux, est très diversifié. Des jeux existent pour des parties du programme de NSI, pour apprendre à utiliser le terminal de Linux notamment. 5.3 Critiques et limites de la ludification La ludification attire de nombreuses critiques. Certaines sont dirigées aux objectifs pour lesquels elle est utilisée : la manipulation des utilisateurs à des fins commerciales ou pour obtenir le consentement sur l’utilisation de leurs données peut utiliser la ludification. Quand elle a lieu dans le cadre du travail, elle peut être vue comme une forme de plus de l’aliénation. Dans le cadre éducatif, nos objectifs sont la réussite des élèves mais il faut cependant faire attention. Si on veut favoriser la motivation, il faut être vigilant de ne pas pousser au surtravail, ce qui sont des critiques récurrentes contre certaines formations du supérieur notamment dans les arts appliqués et le jeu vidéo (avec la pratique du “crunch”). En informatique comme dans d’autres domaines on connait le concept du “nerdsniping”, qui consiste à donner à quelqu’un un problème ajusté pour correspondre à ses intérêts et sur lequel il va perdre un temps considérable sans l’avoir vraiment voulu. C’est finalement un détournement de l’état de flow, qui intervient d’une manière non intentionnelle de la part de celui qui le vit. Il est tentant d’y recourir quand l’opportunité se présente, mais ce n’est sans doute pas quelque chose à viser avec les élèves. Enfin, certaines expériences de ludification comme le site Stackoverflow, où l’utilisateur est récompensé pour répondre aux questions techniques qui y sont posées, ont eu un grand succès mais ne sont pas exemptes de critiques. Les règles qui y ont cours auraient façonné une communauté qui favorise des comportements négatifs et qui est hostile aux nouveaux venus. Dans le cas d’une classe, l’expérience ludifiée étant un support à une expérience réelle dont on a le contrôle, il sera probablement plus facile d’intervenir pour empêcher ces phénomènes. 24 Chapitre 6 Conclusion Dans ce mémoire, nous sommes allés chercher les théories de la motivation pour essayer de mieux comprendre le problème difficile pour un enseignant d’avoir tous ses élèves motivés et impliqués dans leurs apprentissages. Cette difficulté n’est pas de son seul ressort, et il n’a pas un contrôle complet sur la psychologie des élèves. Mais, l’enjeu étant important, il convient d’être conscient de tous les leviers disponibles qui influencent ce phénomène. Ensuite, l’analyse des études expérimentales en classe qui tentent de mettre en oeuvre la ludification nous a permis d’en observer la variété. Il est toujours essentiel d’observer ce qui est fait ailleurs car la somme de ces expériences dépassera toujours la nôtre. Les résultats en sont encourageants mais les conditions et la manière d’appliquer ces techniques ne sont pas simplistes. Il est donc appréciable d’avoir les bases théoriques pour guider ces choix. Ayant à enseigner la spécialité NSI l’an prochain, le problème de l’entraı̂nement à la programmation et les manières concrètes de le résoudre me concernent. J’ai donc réfléchi à ces solutions et à comment les interfacer avec le reste du cours. En cela je me suis aidé des principes qui avaient été vus précédemment. Nous avons ensuite pu détailler la manière dont on pourrait évaluer scientifiquement ce dispositif. Nous avons montré la différence entre deux modes expérimentaux et pourquoi l’un d’eux était plus adapté aux petits effectifs dont on devra se contenter. L’approche prise a été celle de la découverte, avec un accent sur la théorie, la réflexion et l’étude des expériences passées. Les conditions sanitaires de l’année en cours, le fait de ne pas avoir de classe de NSI en charge et que les techniques de ludification sont préférables à appliquer sur le long terme n’ont pas permis d’étude expérimentale cette année. Nous avons maintenant une bonne base pour construire des outils pour les années futures, ce qui sera 25 sans aucun doute nécessaire pour cette discipline naissante, et nous espérons que cela pourra se faire en collaboration avec toute la communauté de l’enseignement de l’informatique. 26 Références Ambrose, S. A., Bridges, M. W., DiPietro, M., Lovett, M. C., & Norman, M. K. (2010). How learning works : Seven research-based principles for smart teaching. John Wiley & Sons. Azmi, S., Iahad, N. A., & Ahmad, N. (2015). Gamification in online collaborative learning for programming courses : A literature review. ARPN Journal of Engineering and Applied Sciences, 10(23), 1–3. Barata, G., Gama, S., Jorge, J., & Gonçalves, D. (2017). Studying student differentiation in gamified education : A long-term study. Computers in Human Behavior, 71, 550–585. Browne, K., & Anand, C. (2013). Gamification and serious game approaches for introductory computer science tablet software. In Proceedings of the first international conference on gameful design, research, and applications (pp. 50–57). Hamari, J., Koivisto, J., & Sarsa, H. (2014). Does gamification work ?–a literature review of empirical studies on gamification. In 2014 47th hawaii international conference on system sciences (pp. 3025–3034). Kahneman, D., Slovic, S. P., Slovic, P., & Tversky, A. (1982). Judgment under uncertainty : Heuristics and biases. Cambridge university press. Latulipe, C., Long, N. B., & Seminario, C. E. (2015). Structuring flipped classes with lightweight teams and gamification. In Proceedings of the 46th acm technical symposium on computer science education (pp. 392–397). Nacke, L. E., & Deterding, C. S. (2017). The maturing of gamification research. Computers in Human Behaviour, 450–454. Nelson, M. J. (2012). Soviet and american precursors to the gamification of work. In Proceeding of the 16th international academic mindtrek conference (pp. 23–26). O’Donovan, S., Gain, J., & Marais, P. (2013). A case study in the gamification of a university-level games development course. In Proceedings of the south african institute for computer scientists 27 and information technologists conference (pp. 242–251). Papastergiou, M. (2009). Digital game-based learning in high school computer science education : Impact on educational effectiveness and student motivation. Computers & education, 52(1), 1–12. Putz, L.-M., Hofbauer, F., & Treiblmaier, H. (2020). Can gamification help to improve education ? findings from a longitudinal study. Computers in Human Behavior, 110, 106392. Sailer, M., & Homner, L. (2020). The gamification of learning : A meta-analysis. Springer. Schatten, M., & Schatten, M. (2019). Gamification of game programming education : A case study in a croatian high school. In Central european conference on information and intelligent systems (pp. 13–18). Thaler, R. H., & Sunstein, C. R. (2009). Nudge : Improving decisions about health, wealth, and happiness. Penguin. 28 Annexe A Simulations within/between-subjects 1 2 3 4 5 import random from scipy.stats import ttest_ind, ttest_rel import seaborn as sns import matplotlib.pyplot as plt from matplotlib.ticker import PercentFormatter 6 7 8 9 10 11 def sample(): u = random.gauss(0,2) control = random.gauss(12,4) test = control + random.gauss(2+u,2) return control,test 12 13 14 15 16 def between_subject(n): a = [sample()[0] for _ in range(n)] b = [sample()[1] for _ in range(n)] return a,b 17 18 19 20 21 22 def within_subject(n): s = [sample() for _ in range(n)] a = [x[0] for x in s] b = [x[1] for x in s] return a,b 23 24 NTEST=10000 25 26 27 28 29 30 31 32 def plist_bs(n,NTEST): plist = [] for i in range(NTEST): a,b = between_subject(n) tstat, pvalue = ttest_ind(a,b,equal_var=False) plist.append(pvalue) return plist 29 33 34 35 36 37 38 39 40 def plist_ws(n,NTEST): plist = [] for i in range(NTEST): a,b = within_subject(n) tstat, pvalue = ttest_rel(a,b) plist.append(pvalue) return plist 41 42 43 plist_within = plist_ws(25,NTEST) plist_between = plist_bs(25,NTEST) 44 45 46 47 48 49 50 51 52 plt.rcParams['font.size'] = '24' plt.hist([plist_within,plist_between],bins=40,label=["within-subject","between-subject"],alpha=0.5, color=["blue","green"],weights=[[1/NTEST]*NTEST]*2) plt.gca().yaxis.set_major_formatter(PercentFormatter(1)) plt.xlabel("p-value") plt.ylabel("proportion des simulations") plt.legend(loc="upper right") plt.show() 53 54 55 def filter_p(l): return [x for x in l if x<0.05] 56 57 58 print(100*len(filter_p(plist_between))/len(plist_between)) print(100*len(filter_p(plist_within))/len(plist_within)) 30