Étude et évaluations d'outils multimédias pédagogiques d'enseignantes et d'enseignants innovants :
Une expérience dans le système éducatif marocain

Khalid Ahaji, Abdelkrim El Hajjami, Ahmed El Mokri, Lotfi Ajana, Ahmed Chikhaoui
 

Résumé : De plus en plus, les technologies de l'information et de la communication connaissent une introduction massive dans tous les secteurs notamment dans les systèmes d'éducation et de formation. Ce développement constaté a fait des TIC des outils incontournables, et on constate de jour en jour l'évolution incontrôlable des outils « TICE » produits sous diverses formes.
Le système éducatif marocain n'est pas exclu de cette vogue. En effet, cette étude a permis de recenser un nombre important de produits multimédias conçus par des enseignants innovants de toutes les disciplines.
Le présent article est à la fois une étude détaillée de ces produits multimédias et une évaluation qui utilise des critères pour tirer les dix meilleurs produits.
Mots clés : Outils Multimédias, enseignement, apprentissage, critères, évaluation, qualité, pluridisciplinarité, intégration, innovation.

I. Introduction

   Aujourd'hui on constate qu'il y a de plus en plus un développement accru des outils multimédias sous différentes formes : tutoriel, exerciseur, hypermédia, logiciel d'apprentissage collaboratif, etc. Cependant, la prise de décision quant à la qualité de ces produits et de leur utilisation ou non à l'intérieur d'un processus éducatif est une opération très complexe qui est éminemment didactique, et qui nécessite la participation d'un groupe pluridisciplinaire.

   En outre, les avis quant à l'évaluation des produits multimédias pédagogiques ne concourent pas à une approche univoque pouvant servir de référence dans un domaine fertile, celui de l'ingénierie des multimédias pédagogiques qui affine la conception, la mise en oeuvre spécifique, l'optimisation, l'évaluation, l'amélioration des moyens technologiques utilisés, au service des trois ingénieries : didactique, pédagogique et de formation.

   Dans cette recherche, nous avons évalué 228 produits multimédias pédagogiques conçus par des enseignantes et des enseignants innovants, et dans laquelle nous avons choisi de travailler en utilisant l'évaluation par inspection qui applique de façon plus ou moins explicite des critères d'évaluation et des mesures quantitatives.

II. Contexte, problématique et cadre théorique

   Le présent travail de recherche s'inscrit dans le cadre de l'évaluation des produits multimédias d'enseignantes et d'enseignants marocains. En effet, le Centre National des Innovations Pédagogiques et d'Expérimentation (CNIPE) organise chaque année un concours au profit des enseignantes et des enseignants, pour les encourager à produire des outils multimédias et à les intégrer dans leurs pratiques de classe.

   Notre intérêt porté à l'évaluation des multimédias pédagogique, trouve ses origines, dans les constats suivants :

• d'abord l'évolution et le développement remarquable des technologies de l'information et de la communication et la vogue de l'utilisation de ces outils dans tous les secteurs en particulier celui de l'éducation et de la formation ;

• puis, les problèmes qui portent sur l'enseignement et l'apprentissage des sciences (PC, SVT et Math) et des autres disciplines, soulevés par la didactique de la discipline , et qui est le moteur de l'innovation pédagogique ;

• ensuite, l'abondance des logiciels éducatifs (cédéroms ; Internet...)

• et enfin, l'absence de méthodes appropriées d'évaluation et de conception de logiciels éducatifs de qualité.

   La stratégie du Ministère de l'Éducation nationale : le plan 2005-2008 qui vise la généralisation des TIC dans l'ensemble des établissements scolaires est aussi un autre facteur qui a motivé cette recherche. Notre travail a pour objectifs principaux :

• de faire une étude des productions d'enseignantes et d'enseignants innovants du point de vue conception, logiciels utilisés, matières, niveaux, outils multimédias, type de logiciel, type d'interactivité, expérimentation...

• d'évaluer ces produits par l'utilisation de la grille (check-list) ;

• de guider et d'orienter les enseignantes et les enseignants concepteurs dans leurs futures productions.

1- Définition de l'évaluation

   Selon Stufflebeam, D.I. (1980), évaluer, c'est aider à prendre des décisions. C'est un processus (1) par lequel on définit (2), obtient (3) et fournit (4) des informations (5) utiles (6) permettant de juger les décisions possibles (7).

1. Processus = activité continue ;
2. On définit = identifier les informations pertinentes ;
3. On obtient = collecte, analyse, mesure des données ;
4. On fournit = communiquer ces données ;
5. Des informations = faits à interpréter ;
6. Informations utiles = qui satisfont aux critères de pertinence ;
7. Décisions possibles = actions d'enseignement, de conceptions, d'innovations...

2- Intérêt de l'évaluation

   L'évaluation occupe une place centrale dans les préoccupations des chercheurs et décideurs de l'éducation et de la formation. En effet, cette opération joue un rôle très important dans la mesure où elle aide à procéder aux régulations nécessaires :

• soit pour améliorer les enseignements ;
• soit pour relever le niveau des apprentissages ;
• soit pour rendre compte de la qualité des performances des apprenants, des aides didactiques... ;
• ou bien pour préparer la prise de décision pédagogique (innovations, intégration des NTIC...).

3- Protocole et but d'évaluation d'un outil multimédia

   Un multimédia pédagogique est un matériel didactique auquel il faut accorder beaucoup d'importance à la validation des objectifs, du contenu, de la démarche et de tout ce qui a trait à l'intégration du logiciel aux activités pédagogiques, Bibeau, R. (1992).

   Le protocole d'évaluation consiste à réaliser une meilleure adéquation possible entre trois éléments essentiels à savoir :

1. l'élève : ses connaissances et ses habiletés acquises ;
2. le programme d'étude : ses objectifs, ses stratégies, son contenu ;
3. le médium informatique : ses ressources et ses contraintes.

   L'évaluation du multimédia pédagogique se résume en premier lieu à la vérification de l'atteinte des objectifs pédagogiques que permet son utilisation, Miloche, M. (2005). En effet, une bonne compréhension de la relation pouvant exister entre l'apprentissage et le multimédia suppose de passer par une évaluation qui porte sur l'efficacité pédagogique du multimédia et sur l'atteinte des objectifs pédagogiques, ce qui permettra de décider de l'utilisation ou non d'un multimédia pédagogique à l'intérieur d'un processus éducatif.

4- les six questions à se poser pour évaluer un outil multimédia

   L'évaluation des multimédias pédagogiques est une étape très pertinente dans le plan ou design pédagogique et qui, comme toute autre situation d'évaluation, gagne à être éclairée par six questions principales.

5- Les acteurs de l'évaluation

   Trois grands acteurs principaux sont identifiés dans l'évaluation des logiciels éducatifs, Bernadet, C. (2001-2002) :

i. Les évaluateurs : Ils forment l'ensemble de personnes qui peuvent agir comme évaluateurs. Il s'agit des chercheurs, des enseignantes et enseignants, des développeurs ou concepteurs, des éditeurs, etc.

Cependant, les buts de l'évaluation diffèrent d'une catégorie d'évaluateurs à une autre. Par exemple :
- Éditeurs : intéressés par les questions de marketing ;
- Enseignantes et enseignants : intéressés par l'amélioration de l'enseignement et de l'apprentissage.

ii. Les évalués : Cette catégorie d'acteurs peut aussi présenter certaines différences. Il peut s'agir d'apprenants connus, d'apprenants stéréotypés caractérisés par un certain nombre d'indicateurs ou de grandes catégories comme les enfants de 12 à 14 ans.

iii. Le public de l'évaluation : Ce sont les personnes à qui les résultats de l'évaluation sont destinés. Il peut s'agir d'enseignantes et d'enseignants, d'apprenants, de concepteurs, d'éditeurs, d'institutions...

6- Les différentes méthodes d'évaluation

   On constate avec Bernadet, C. (2001-2002) que les méthodes d'évaluation habituellement utilisées peuvent être classées en six grandes catégories :

i. Méthodes catégorielles : Il s'agit d'attribuer un label, une étiquette au logiciel. Il y a plusieurs exemples de typologies de ce type : tutoriel, simulation et modélisation, résolution de problèmes, bases de données, traitement de texte, aide à l'expérimentation de laboratoire, exploration et découverte.

ii. Check-list (ou méthode par jugement) : Il s'agit de fournir un large ensemble de questions ayant trait à plusieurs ensembles de critères différents (par exemple l'ergonomie, les qualités pédagogiques...) l'évaluateur est appelé à répondre par oui ou non pour chacun des critères. Le profil ainsi constitué fournit le jugement de l'évaluateur sur la qualité du logiciel.

iii. Évaluation qualitative : Il s'agit de rassembler et d'analyser un ensemble de données qualitatives issues d'interviews, d'observations, de questionnaires.

iv. Évaluation quantitative : Ce type d'évaluation est basé sur des traitements statistiques appliqués à des prétests et post-tests.
Selon Meloche, M. (2005), Certains auteurs affirment qu'en terme d'évaluation des multimédias pédagogiques, il est possible de tout mesurer, de tout quantifier. Ainsi l'évaluateur peut utiliser différents instruments pour pouvoir juger de la qualité des différents multimédias pédagogiques. Parmi ces possibilités de mesure on trouve : la moyenne, l'écart-type, etc. D'autres outils d'évaluation sont aussi utilisés par les auteurs, entre autres on trouve : la notation instinctive ; la notation calculée ; l'indice de cohérence ; l'indice de corrélation ; la proposition de note finale basée sur une moyenne pondérée entre notes calculées et instinctives et l'indice de divergence qui permet de mesurer les écarts entre les différentes notes attribuées par différents évaluateurs sur un même critère et sur un même didacticiel. Ces outils, comme l'affirment Crozat, Hû et Trigano (1999), peuvent être utilisés simultanément.

v. Évaluation éclectique : Elle correspond à l'application cohérente de plusieurs méthodes intégrant à la fois des méthodes d'évaluation qualitatives et quantitatives.

vi. Évaluation critique : Elle est basée sur l'avis subjectif des juges.

III. Méthodologie

   Devant la diversité et le nombre important des produits d'enseignantes et d'enseignants innovants reçus, le choix fait est de travailler en équipes de juges pluridisciplinaires allant de cinq à huit personnes et dont les profils portent sur les quatre ingénieries : didactique, pédagogique, de formation et des technologies pédagogiques, en plus d'inspecteurs et d'enseignantes et d'enseignants de disciplines sur lesquelles porte la conception du produit.

Étape 1 : communication sur l'évaluation des multimédias pédagogiques.

   Dans un premier temps, on a préparé une communication qui porte sur l'évaluation des produits multimédias pédagogiques, pour mettre toute l'équipe dans le même bain et pouvoir parler le même langage. Cette communication traite, entre autres, de la définition de l'évaluation, de ces buts, des différents intervenants et des instruments qu'on peut utiliser.

Étape 2 : Distribution d'un questionnaire préliminaire.

   À cette étape de la recherche, on a procédé par la méthode de check-list (ou méthode de jugement). Aussi a-t-on distribué un questionnaire comprenant 60 critères et dans lequel il a été demandé aux juges questionnés de choisir parmi ces critères ceux qu'ils jugent les plus intéressants dans l'évaluation des produits informatiques. Ces critères portent sur le contenu, l'ergonomie, l'utilité et l'utilisabilité, le degré d'innovation et l'interactivité du produit.

Étape 3 : Évaluation des produits d'enseignantes et d'enseignants d'innovants.

a- l'équipe d'évaluation : Après avoir construit la grille d'évaluation finale, on a procédé par l'évaluation des productions d'enseignantes et d'enseignants innovants. Le nombre de juges varie entre cinq et huit. Pour chaque produit, l'équipe est composée de :
- un inspecteur de la matière ;
- un spécialiste en ergonomie des interfaces ;
- un juge en conception des produits multimédias ;
- un spécialiste en informatique ;
- un juge en sciences cognitives ;
- un enseignant et une enseignante de la matière.

Le profil de l'équipe de l'évaluation est pluridisciplinaire.

b- les premiers critères de sélection : Le premier travail a consisté à faire une sélection des produits d'enseignantes et d'enseignants innovants selon des critères jugés importants et qui sont :
1- l'état du fonctionnement du produit ;
2- la qualité informatique et l'effort fourni par le concepteur ;
3- la valeur ajoutée du produit dans l'acte d'enseignement apprentissage ;
4- l'originalité du travail apporté dans la conception du produit.

   Aussi, et tenant compte de ces critères, a-t-on obtenu les résultats suivants : parmi les 228 produits, 7 sont non fonctionnels et parmi les 221 fonctionnels, à l'exception de 36 d'entre eux, ils remplissent les conditions précitées.

c- Projection des productions et notations des juges : Le second travail a consisté en l'évaluation proprement dite. Chaque produit est visualisé à l'aide d'un « data show » sur un grand écran. L'équipe se met à la place de l'utilisateur final du produit, elle l'utilise, traite chaque partie point par point et chacun procède ensuite à la notation des vingt critères qui figurent sur la grille d'évaluation.

   Aussi, pour chaque critère de la grille, a-t-on attribué une échelle de note allant de 5 à 0 (pondération) et à laquelle chaque juge, après avoir eu une vue de l'ensemble du produit et après discussion entre l'équipe juge, choisit une note qu'il juge adéquate pour le critère sélectionné. La moyenne ou la note finale sont calculées selon le nombre de juges ayant participé à l'évaluation et selon la somme des notes obtenues pour chaque produit.

IV. Résultats

A- Première Partie

1- Nombre de producteurs selon le sexe

   Selon les résultats portés sur le tableau n° 2, on constate que la majorité des enseignantes et enseignants innovants sont de sexe masculin, soit 89,04 %.

Tableau 2

2- Nombre de production selon les matières

   D'après les résultats portés sur le tableau n° 3, on constate qu'il y a la participation de toutes les disciplines, et on note une grande participation d'enseignantes et d'enseignants de la langue française et ceux des disciplines scientifiques.

Tableau 3

3- Compétences Informatiques et logiciels de conception utilisés

   L'analyse des programmes de conception des produits montre que la grande majorité d'enseignantes et d'enseignants innovants ont des compétences informatiques diverses (29,82 %).

• 19,30 % des enseignantes et enseignants ont travaillé avec des logiciels multimédias ;

• 17,98 % des enseignantes et enseignants ont utilisé le logiciel « power point » dans leur production.

• Une minorité de ces enseignantes et enseignants concepteurs a utilisé des langages de programmation

Tableau 4

4- État des produits

   D'après le tableau n° 5, 221 produits sont fonctionnels et 7 sont défectueux.

Tableau 5

5- Nombre de produits selon les niveaux scolaires

   D'après le Tableau n° 6 on note un pourcentage élevé d'enseignantes et d'enseignants de lycée ayant produit des outils multimédias pédagogiques (43,42 %).

Tableau 6

6- Présentation des documents d'accompagnement des produits

   Concernant la présentation des documents d'accompagnement des produits, on constate que plus que de la moitié des enseignantes et enseignants innovants ont répondu à cette condition. Cependant, environ le 1/3 de ces enseignantes et enseignants n'ont pas produit ces documents.

Tableau 7

7- Outils Multimédias, forme d'interactivité et expérimentation des produits

   L'analyse du tableau n° 8 soulève les constations suivantes :

• tous les outils multimédias ont été utilisés par les enseignantes et les enseignants innovants. Et on note principalement une grande utilisation des images et du texte ;

• 13,16 % correspondent à la simulation des phénomènes (SVT, PC) ;

• 18,42 % correspondent à la simulation d'expériences (SVT, PC) ;

• 71,93 % des productions peuvent constituer des supports de cours ;

• 51,75 % des productions ont une forme d'interactivité linéaire contre 48,25 % qui ont une forme d'interactivité modulaire (voir article : El Hajjami A., El Mokri A., Chikhaoui A. (ERDS 2000). Approches analytiques de logiciels d'apprentissage des sciences physiques. Colloque Enseignement et Recherche en Didactique des Sciences) ;

• concernant l'expérimentation du produit auprès des élèves, sauf 6 enseignants parmi les 228 ont affirmé avoir expérimenté le produit, et seulement un enseignant de mathématique a présenté les résultats de l'expérimentation d'un produit portant sur le tracé des figures géométriques.

Tableau 8

8- Les différents types de logiciels présentés

   L'analyse du tableau n° 9 montre que la plupart des productions d'enseignantes et d'enseignants innovants (35,09 %) sont des logiciels de type « tutoriels », qui selon De Vrie, E. (2000), ont une fonction pédagogique de présentation de l'information, suivant le modèle théorique cognitiviste et dont la tâche consiste uniquement à une simple lecture et à des connaissances de présentation ordonnée.

Tableau 9

   En seconde position, on trouve une représentation de 14,04 % des logiciels de type « apprentissage collaboratif », dont la fonction pédagogique consiste à fournir un espace d'échange et discussion entre élèves, ce qui leur permet de construire leur savoir. Ce type de produit suit la théorie de la cognition située.

   11,84 % des logiciels sont de type hypermédia, dont la fonction pédagogique est de fournir un espace d'exploration suivant une théorie cognitiviste et constructiviste.

Tableau 10

Les huit fonctions pédagogiques et leurs caractéristiques

Fonction Pédagogique Type de logiciel Théorie Tâche Connaissances Présenter de l'information Tutoriel Cognitiviste lire Présentation ordonnée Dispenser des exercices Exercices répétés Béhavioriste faire des exercices Association Véritablement enseigner Tuteur intelligent Cognitiviste dialoguer Représentation Captiver l'attention et la motivation de l'élève Jeu éducatif Principalement béhavioriste jouer   Fournir un espace d'exploration Hypermédia Cognitiviste Constructiviste explorer Présentation en accès libre Fournir un environnement pour la découverte des lois naturelles Simulation Constructiviste Cognition située manipuler observer Modélisation Fournir un environnement pour la découverte de domaines abstraits Micro-monde Constructiviste construire Matérialisation Fournir un espace d'échange entre élèves Apprentissage collaboratif Cognition située discuter Construction de l'élève De Vries, E. (2001). Les logiciels d'apprentissage : panoplie ou éventail ? Revue française de pédagogie.

B- Deuxième partie

1- la méthode de check-list

   Le questionnaire préliminaire ou « check-liste » a été distribué à 13 juges dont :
- 5 Inspecteurs en informatique et encadrement pédagogique ;
- 4 juges en systèmes d'information multimédia ;
- 2 professeurs de l'enseignement supérieur (dont 1 juge en didactique des sciences et ingénierie didactique et 1 juge en informatique et conception des systèmes informatiques et multimédias) ;
- et 2 professeurs de l'enseignement secondaire (dont 1 juge en enseignement à distance et conception des multimédias pédagogiques, et un juge en informatique et multimédia).

Tableau 11 (oui / relativement / non)

   Il a été décidé de construire la grille d'évaluation à partir des 20 premiers critères retenus par les juges.

Tableau 12

   Dans l'évaluation, il est utilisé la méthode de notation suivant une échelle de Lickert. Un intervalle d'appréciation, indique pour chaque moyenne trouvée la valeur pédagogique du produit évalué :
- 81 à 100 : le produit est une excellente ressource pédagogique ;
- 61 à 80 : le produit possède des éléments intéressants malgré certaines faiblesses ;
- 41 à 60 : le produit est de catégorie moyenne ;
- 0 à 41 : le produit est au-dessous de la moyenne.

   Dans le tableau n° 13, on trouve les produits retenus pour passer à l'évaluation experte (juges).

Tableau 13

2- Présentation des premiers projets selon l'échelle d'appréciation

Tableau 14

Histogramme représentatif des 38 produits
sélectionnés selon l'échelle d'appréciation.

   D'après l'histogramme ci-dessus, on constate que :

• 38,89 % des produits multimédias pédagogiques sont de catégorie moyenne ;
• 27,78 % sont une excellente ressource pédagogique ;
• 27,78 % possèdent des éléments intéressants malgré certaines faiblesses ;
• et seulement 5,56 % des produits sont au-dessous de la moyenne.

   D'une manière générale, la majorité des produits d'enseignantes et d'enseignants innovants sont acceptables.

3- Présentation des dix premiers projets suivant la notation des juges

   Le tableau n° 15 donne le classement des dix meilleurs projets selon les moyennes obtenues et par matière dans laquelle est faite la conception du multimédia pédagogique.

Tableau 15

   On note un très bon classement d'un logiciel de mathématiques et de trois logiciels de physique-chimie.

   Le tableau n° 16 correspond à la grille d'évaluation de l'outil multimédia « Image et mouvement » (cf. tableau 12, tableau 13 n° 29 et tableau 15 n° 3), Académie de Mekhnès Tafilalt. Matière : Physique Chimie ; Niveau : Collège.

   Pour un même critère et pour un même produit, on peut avoir des mesures qualitatives, en considérant les notes des différents évaluateurs.

Tableau 16

V. Résultats et discussion

   La lecture des résultats de recherche montre que les enseignantes et les enseignants innovants de toutes les disciplines et de tous les niveaux scolaires, ont des compétences variées en matière de conception d'outils multimédias. L'évaluation a révélé plusieurs formes de multimédias ayant des différences quant aux types d'interactivités, de fonction pédagogique, de théorie ou de tâche de connaissances. On a noté également que d'une manière générale, la plupart des outils évalués sont acceptables.

   La participation d'une équipe pluridisciplinaire a permis de construire une grille d'évaluation. L'utilisation de critères d'évaluation (contenu, utilisation pédagogique, ergonomie et innovation pédagogique) et de la notation pondérée a permis de choisir le bon outil multimédia conçu par les enseignantes et les enseignants innovants marocains.

VI. Conclusion, limites et perspectives de recherche

   Cette étude a permis de mettre en évidence l'importance du nombre des produits multimédias pédagogiques d'enseignantes et d'enseignants innovants, des compétences informatiques de ces enseignantes et de ces enseignants, et surtout l'importance de l'évaluation des produits multimédias pédagogiques et leurs catégorisations. Toutefois, on pense que l'évaluation experte est un travail qui se limite dans l'évaluation de juges (subjective), et pour pouvoir juger de la valeur ajoutée du produit et de sa réelle utilisation, la meilleure façon est de le faire tester auprès des utilisateurs potentiels. Dans un deuxième travail, nous avons expérimenté l'un des dix premiers outils multimédias (Optique géométrique) auprès d'élèves en utilisant un plan pré-test / post-test avec un groupe de contrôle (Ahaji, K. et al., 2008).

Khalid Ahaji ^{1, 2, 3}
ahaji_khalid@hotmail.com
Abdelkrim El Hajjami ^{2, 3}
El Hajjami@yahoo.com
Ahmed El Mokri ^{2, 3}
Lotfi Ajana ^{2, 3}
Ahmed Chikhaoui ^{2, 3}

1 - Ingénieur d'État Principal, Chercheur au Centre National des Innovations Pédagogiques et de l'Expérimentation / Ministère de l'Éducation nationale, de l'Enseignement supérieur, de la Recherche scientifique et de la Formation des Cadres. Rabat. Maroc.

2 - Laboratoire « Technologies de l'Information et de la Communication pour la Formation en Sciences », École Normale Supérieure. Fès. Maroc.

3 - Laboratoire Interdisciplinaire de Recherches en Didactique des Sciences et Techniques (LIRDIST). UFR didactique des Mathématiques et de la Physique, Faculté des sciences Dhar El Mahraz. Fès. Maroc.

Bibliographie

Ahaji, K., El Hajjami, A., Ajana, L., El Mokri, A., Chikhaoui, A. (2008). Analyse de l'effet d'intégration d'un logiciel d'optique géométrique sur l'apprentissage d'élèves de niveau baccalauréat sciences expérimentales. EpiNet : revue électronique de l'EPI, n° 101, janvier 2008.
http://www.epi.asso.fr/revue/articles/a0801a.htm.

Bibeau, R. (1992). Protocole d'évaluation formative d'un logiciel éducatif, conception et réalisation. Direction des ressources didactiques et de la formation à distance. Québec.

Charlier, B. (2001-2002). Évaluer des logiciels éducatifs. Cellule d'Ingénierie pédagogique. DET.
http://nte.unifr.ch/IMG/pdf/courshp20022003_session030514.pdf.

De Vries, E. (2001). Les logiciels d'apprentissage : panoplie ou éventail ? Revue française de pédagogie, n° 137, p. 105-116.

El Hajjami, A., El Mokri A., Chikhaoui A. (ERDS 2000). Approches analytiques de logiciels d'apprentissage des sciences physiques. in Les actes du Colloque International sur l'Enseignement et Recherche en Didactique des Sciences. 1^re biennale du Réseau Marocain de Didactique des Sciences « REMADIS ».

Meloche, M. (2000). Évaluation des multimédias pédagogiques. Distances, vol. 4, n° 1, p. 7-45.
http://cqfd.teluq.uquebec.ca/distances/D4_1_b.pdf.

Stufflebeam, D. L., et al. (1980). L'évaluation en éducation et la prise de décision, Édition NHP, Victoriaville, Québec, 464 p.

Crozat, St., Hu, O. et Trigano, P. (1999). EMPI, un guide logiciel d'aide à l'évaluation du multimédia pédagogique.
http://edutice.archives-ouvertes.fr/edutice-00000400_v1/.

___________________
Association EPI
Décembre 2008