L'évaluation des enseignements et des formations par les étudiants :
utilisation des technologies de l'information et de la communication pour la conception et l'exploitation de ces évaluations

Vers la mise en place d'un dispositif informatisé d'EEE dans la Faculté des sciences Ben M'sik

Ghizlane Chemsi, Mohamed Radid, Mohammed Bekkali, Mohammed Talbi
 

Résumé
Les démarches d'évaluation de l'enseignement et de la formation par les étudiants (EEE) se heurtent d'une part à des difficultés d'élaboration d'un modèle d'évaluation qui se base sur des critères et indicateurs et d'autre part aux problèmes de mise en oeuvre qui nuisent à leur efficacité. La procédure de collecte et de traitement de l'information, et de consultation des résultats est en particulier très lourde à gérer quand elle concerne plusieurs milliers d'étudiants, plusieurs centaines d'enseignants et de nombreuses formations différentes.

L'objectif général de notre étude est de planifier une évaluation de l'enseignement et de la formation par les étudiants adaptée aux besoins de l'université. Cette planification d'évaluation se base sur des modèles, des concepts et des approches d'évaluation de l'enseignement et sur les technologies de la l'information et de la communication pour la collecte, le stockage, le traitement, la mise à disposition des données d'évaluation ainsi que pour la gestion de l'évaluation.

Mots clés : EEE, Formation, Modèle, Critères, Dispositif d'évaluation, Indicateurs, TIC.

Introduction

   Les récentes orientations retenues dans la loi 01-00 de l'organisation de l'enseignement supérieur au Maroc mettent l'accent sur la nécessité de développer une évaluation régulière du système d'enseignement supérieur dans sa globalité, notamment avec la mise en place des procédures d'évaluations et de tenter sérieusement d'élaborer un modèle qui aide les universitaires à entretenir et développer leurs performances afin d'améliorer la qualité des enseignements et des formations proposées. Cette préoccupation actuelle place le domaine de l'évaluation des enseignements dans l'actualité, elle a pour objectif de fournir aux parties prenantes des informations utiles qui permettent l'amélioration de l'enseignement et de la formation à travers la prise de décision. Pour Gaudreau (2001) et Hurteau et Houle (2006), l'évaluation de l'enseignement peut être utilisée comme outil de gestion. Ces auteurs mentionnent que l'évaluation peut guider la programmation future des programmes (Hurteau et Houle, 2006) et servir à la reddition de comptes (Gaudreau, 2001). Pour Gaudreau (2001), l'évaluation est aussi un puissant instrument de développement qui, dans le domaine de l'éducation, peut aider à améliorer l'éducation au quotidien.

   Cependant, malgré le potentiel octroyé à l'évaluation des enseignements, nombreux sont les spécialistes en évaluation et intervenants de terrain critiquent essentiellement d'une part la méthodologie utilisée pour mener les évaluations et d'autres part l'utilisation des résultats des évaluation, plusieurs auteurs dont King (2003) dans son article intitulé « The Challenge of Studying Evaluation Theory », sont d'avis que l'évaluation de l'enseignement ne possède pas, à ce jour, assez de « maturité » pour offrir aux évaluateurs un ancrage théorique lui permettant d'encadrer adéquatement sa pratique. À cet effet, ceux-ci s'inquiètent de son avenir et soulignent que la majorité de ses fondements théoriques se basent sur des spéculations concernant ce qui devrait être fait plutôt que sur des données scientifiques. Ces constats seraient également observés en pratique, où la capacité de l'évaluation à remplir ses fonctions premières serait également remise en cause. À ce sujet, Arens (2006) a étudié la construction des jugements des évaluations identifiées comme exemplaires selon l'American Évaluation Association. Les résultats indiquent que la façon dont les évaluateurs parviennent à leurs jugements est peu documentée et ne suit pas toujours un parcours logique, ce qui nuirait à la formulation d'un jugement fondé. À ce sujet, l'absence de modèle semble également avoir un impact négatif sur cette dernière.

   Une deuxième difficulté qui rend l'évaluation de l'enseignement moins efficace c'est la mise en oeuvre de l'évaluation, la procédure de collecte et de traitement de l'information, et de consultation des résultats est en particulier très lourde à gérer quand plusieurs centaines, voire plusieurs milliers d'étudiants sont impliqués. Ainsi, trois problèmes principaux liés à la lourdeur de la procédure sont relevés par les enseignants dans les procédures d'évaluation existantes (Bernard, Postiaux et Salcin, 2000) : des délais de rétroaction trop longs (les résultats sont diffusés aux enseignants alors qu'une nouvelle session a commencé), l'inadaptation des questionnaires utilisés pour évaluer certains types d'enseignements et le fait que l'évaluation ne soit mise en oeuvre qu'une fois par an à la fin des cours. La mise en place d'outils adaptés à une évaluation, facile à faire et à consulter s'impose d'autant plus que les TIC sont désormais des ressources pour l'optimiser. On constate pourtant que celles-ci restent peu évoquées dans les différents rapports traitant de l'évaluation de l'enseignement à l'université (Younes, 2003) alors qu'elles se révèlent indispensables dans un processus lourd et complexe (Theall et Franklin, 2001).

   Dans ce contexte, le but de notre recherche au sein du Laboratoire Interdisciplinaire de Recherches : Apprentissage, Didactique, Évaluation & Technologies de l'Information pour l'Éducation (LIRADE-TIE) de la Faculté des Sciences Ben M'sik est de proposer un dispositif d'évaluation des enseignements et des formations par les étudiants, on se basant sur des modèles, des concepts et des approches d'évaluation.

I - Pratiquer l'évaluation de l'enseignement : selon quel modèle ?

   Derrière les pratiques et les politiques, se profilent des modèles plus ou moins explicités de l'évaluation. Car si l'évaluation peut être analysée comme un processus, elle est aussi une pratique, comme la pratique médicale ou l'ingénierie. En tant que telle, elle repose de fait sur des « modèles » plus ou moins explicités. La revue de questions met en évidence la pluralité des modèles d'évaluation et les dimensions d'efficacité de l'enseignement supérieur.

I - 1. Modèles

La« logique de l'évaluation »

   La logique de l'évaluation de Scriven (1980) contribue au développement du processus spécifique à l'évaluation en étant le premier à cerner les éléments ainsi que les composantes qui caractérisent l'acte même d'évaluer, à savoir :

  • Établir les critères.
  • Fixer les standards.
  • Mesurer la performance et la mettre en relation avec les standards.
  • Synthétiser et intégrer les informations pour produire le jugement.

   Il le fait en se référant aux principes de raisonnement propre à la logique générale qui relèvent de la déduction, de l'induction et de l'inférence statistique. Il les approfondit à l'intérieur de sa conception de l'évaluation et qu'il baptise la logique de l'évaluation.

Les choix stratégiques et méthodologiques

   Hurteau (1991) distingue deux types de choix au sein d'une même évaluation : les choix stratégiques et ceux méthodologiques :

- Les choix stratégiques comportent l'identification et la définition de l'objet d'étude, de ses critères et des indicateurs qui serviront à le mesurer en fonction de considérations telles que l'orientation de la démarche les valeurs, les paradigmes en cause dans l'évaluation et la notion de justice sociale.

- Les choix méthodologiques, quant à eux, découlent des choix stratégiques et précisent le déroulement de l'évaluation sur le plan de la cueillette et de l'analyse de l'information.


Figure 1. Les choix stratégiques et méthodologiques (Hurteau, 1991)

Les deux niveaux de logique : La général et celle du travail

   Fournier (1995) poursuit l'idée de la logique d'évaluation de Scriven (1980) en proposant deux niveaux de logique.

- La logique générale, intègre textuellement les étapes de la logique de Scriven (1980). Ce niveau spécifie les règles du jeu et indique comment l'évaluation devrait être réalisée, indépendamment du champ d'expertise ou du contexte.

- Le second niveau, la logique de travail, est plus opérationnel. Cette logique reprend les éléments du premier niveau en fonction du contexte propre à chaque évaluation. Ainsi, dans la pratique, il est possible d'observer que la logique générale se traduit par une multitude de logiques de travail. En somme, selon Fournier (1995), la logique générale fait appel à la dimension stratégique de la démarche, alors que la logique de travail réfère au volet tactique.


Figure 2. Les deux niveaux de logique de Fournier (1995).

   Cette approche propose une correspondance intéressante entre les paramètres de la logique générale, plus stratégiques, et ceux de la logique de travail, qui se veulent plus opérationnels. Il est aussi à noter que les flèches sont à double sens, illustrant encore une fois l'importance de l'influence réciproque entre le stratégique et le méthodologique, entre les éléments conceptuels et les éléments opérationnels.

L'évaluation axée sur l'utilisation des résultats

   Cette approche d'évaluation n'est pas tributaire de modèles, de théories ou de méthodes particulières en évaluation. Le point déterminant dans cette approche est la participation des parties prenantes. Selon Patton (1997), même en utilisant des méthodologies d'évaluation très au point, celles-ci ne seront pas adaptées et leurs résultats ne seront pas utilisés si les participants ne se sont pas impliqués dans leur choix. De plus, s'il n'y a pas d'implication des parties prenantes, celles-ci peuvent mal percevoir les résultats et recommandations de l'évaluation (Patton, 1997).

Les deux types de pensée : critériée et interprétative

   Stake (2004) a contribué au développement du processus spécifique à l'évaluation en spécifiant qu'il implique deux types de pensées évaluatives utilisées simultanément, soit la pensée critériée et la pensée interprétative.

   La pensée critériée est celle qui est liée à la rationalité, la rigueur, au raisonnement logique et au sens objectif de l'évaluateur.

   Au contraire la pensée interprétative, fait référence à la subjectivité que possède inévitablement l'évaluateur. Par l'introduction de la théorie liée à la pensée interprétative, Stake (2004) enrichit le processus spécifique de l'évaluation en lui fournissant un lien avec la subjectivité de l'évaluateur qui s'appuie sur sa connaissance du contexte de l'objet de l'évaluation.

La référentialisation comme méthodologie de l'évaluation

   Figari (1994) propose une méthodologie de référentialisation pour accompagner la pratique d'évaluation. Il différencie la notion de référentiel de son acception courante de fixation ordonnée des contenus et des normes par des décideurs ou des experts. Il la définit comme la recherche des éléments pouvant expliquer et justifier la programmation et l'évaluation des actions pédagogiques. L'évaluation demande une explicitation des enjeux, c'est à dire des décisions qui seront prises à sa suite, et des critères, c'est à dire des modes d'interprétation de l'information. Figari (1994, 2001) propose la notion de référentialisation comme procédure d'évaluation. Cette procédure consiste à repérer des référents dans le champ théorique à partir duquel l'évaluation se réalise, dans le contexte où elle se déroule et chez les acteurs impliqués. Elle conduit aussi à construire des instruments d'analyse dans lesquels les critères sont justifiés et les indicateurs élaborés pour vérifier le degré d'existence des critères (Figari 2001, p. 312).

   D'une manière générale, les phases du protocole de référentialisation utilisé dans un certain nombre de contextes présentent les caractéristiques suivantes :

  • Définir l'objet à évaluer ;
  • Le situer dans un contexte et en repérer les acteurs ;
  • En fixer les référents ;
  • Élaborer des critères et des indicateurs d'évaluation ;
  • Renseigner les indicateurs avec des données ;
  • Interpréter et restituer les résultats.

La pondération des critères

   Arens (2006) a également contribué au développement du processus spécifique de l'évaluation. Ses travaux s'inspirent de ceux de Toulmin (1993) et de Fournier (1995). Elle propose une représentation de la démarche de construction des jugements qui s'appuie sur le rôle de l'inférence et des évidences au sein de la construction des jugements (voir figure 3).


Figure 3 : Le jugement : une synthèse pondérée de différentes déclarations selon Arens (2006).

   La figure ci-dessus intègre plusieurs éléments proposés par Stake (2004) par rapport à l'évaluation basée sur les standards et les éléments des deux niveaux de logique tels que définis par Fournier (1995). Par ailleurs, les choix stratégiques présentés par Hurteau (1991) se retrouvent au début de la démarche afin de guider l'établissement des choix méthodologiques et des éléments subséquents de la séquence. Enfin, la synthèse présentée à la figure offre un cadre d'analyse des démarches d'évaluation permettant d'établir leur niveau d'adéquation avec la logique de l'évaluation.

   La réflexion de ces différents auteurs souligne l'importance de structurer une démarche d'évaluation. Celle-ci est le résultat de la capacité de l'évaluateur à faire sienne la logique de l'évaluation, de saisir, comprendre et utiliser adéquatement les niveaux de choix, les types d'évaluation et les concepts qui sont au coeur de cette dernière.

   La figure suivante présente une synthèse des éléments retenus de cette démarche de réflexion selon une séquence applicable dans la pratique.


Figure 4. Synthèse des paramètres de la logique de l'évaluation

I - 2. Dimensions d'efficacité de l'enseignement

   De nombreuses recherches ont cherché à dégager les principales dimensions d'efficacité de l'enseignement : Hilderbrand, Wilson et Dienst (1971) ; Kulik et McKeachie (1975) ; Feldman (1976, 1978) ; Centra (1979) Marsh (1984 ; 1987). Ces recherches reposent sur l'interrogation d'enseignants, d'étudiants et d'administrateurs.

   Les dimensions dégagées sont : l'organisation et la clarté du cours, l'enthousiasme et le dynamisme de l'enseignant, l'interaction avec les étudiants, l'évaluation et le feedback donnés aux étudiants. Les énoncés des questionnaires doivent donc reposer sur ces dimensions. La liste suivante présente les catégories d'items que l'on rencontre le plus souvent dans les questionnaires d'évaluation des enseignants. Elle a au départ été établie par Feldman (1976, 1984) puis modifiée par Abrami et d'Appolonia (1990) et par Centra (1993). Ces catégories ont fait l'objet de nombreuses études de validité.



Tableau 1 : Les items que l'on rencontre le plus souvent dans les questionnaires d'évaluation des enseignants.

   Cependant, ces dimensions négligent deux aspects importants d'une conception de l'enseignement. D'une part, les enseignements ne sont pas des entités isolées et la qualité d'une formation ne se réduit pas à la juxtaposition d'enseignements, quelque en soit la qualité, mais dépend de sa cohérence, en particulier de l'articulation des enseignements entre eux. D'autre part, la qualité d'un enseignement est une production collective incluant autant les efforts et l'engagement des étudiants dans l'enseignement que ceux des enseignants (Albertini, 1990 ; Crozier, 1990), les pratiques enseignantes dépendant elles-mêmes du contexte dans lequel elles s'inscrivent (Bru, 2002). Cinq dimensions d'évaluation de l'enseignement nous semblent donc pouvoir être dégagées :

  • La place d'un enseignement dans un ensemble de formation,
  • La transmission de savoirs spécifiques,
  • La manière de transmettre les savoirs,
  • Les modalités d'évaluation des étudiants,
  • L'attitude et l'engagement de l'étudiant dans l'enseignement.

II - L'évaluation de l'efficacité de l'enseignement en question

   Si un certain consensus semble se dégager quant à l'idée d'évaluer l'efficacité de l'enseignement autour de quelques dimensions, le construit d'efficacité de l'enseignement n'est pas aussi univoque et des divergences existent quant au poids des différentes dimensions, quant à l'utilisation d'items généraux ou spécifiques et quant à la conception de l'enseignement.

- Poids respectifs des différentes dimensions

   Certains auteurs comme Marsh (1987) ainsi que Dilts, Haber et Bialik (1994), considèrent que tous les items ne sont pas d'importance égale et devraient être pondérés. D'après Marsh, ces poids devraient être établis par les enseignants ou en fonction des résultats de la recherche mettant en corrélation les différents items avec l'apprentissage de l'étudiant.

- Items généraux ou items spécifiques

   Dilts et al. (1994) contestent aussi l'utilisation d'items généraux. En revanche, Abrami et d'Appolonia (1990) considèrent que les items spécifiques devraient être abandonnés au profit de quelques items généraux lorsque les questionnaires sont utilisés à des fins sommatives. Ils arguent du fait que les contextes d'enseignement sont trop variés pour qu'un ensemble restreint de questions spécifiques puisse en rendre compte de manière exhaustive. De plus, la mise en évidence que l'application répétée d'un même questionnaire donne toujours les mêmes résultats ne signifie pas qu'il en va de même lorsque l'on utilise un autre questionnaire. Les résultats de l'étude d'Abrami et d'Appolonia (1990), montrent que les questionnaires multidimensionnels d'évaluation de l'enseignement sont en fait variés. Les items et les dimensions changent d'un questionnaire à l'autre sauf en ce qui concerne les dimensions générales. Ainsi, suivant le questionnaire utilisé, un enseignant n'obtiendra pas la même évaluation, ce qui les conduit à recommander de ne pas utiliser de questionnaires à items spécifiques pour une évaluation de contrôle des enseignants et que seuls les items généraux qui s'appliquent à tous les types d'enseignement soient considérés pour les prises de décision sur les enseignants. Pour éviter ces problèmes, des auteurs comme Doyle (1983) proposent d'utiliser des questionnaires contenant les deux types d'items : les items généraux pour les évaluations de contrôle et les items spécifiques pour les évaluations informatives.

- Conception sous jacente de l'enseignement

   Les dimensions d'évaluation de l'enseignement sont révélatrices des conceptions sous jacentes de l'enseignement. Dans certains cas, les items des questionnaires pourraient renforcer une conception de l'enseignement suivant laquelle l'enseignant est actif et l'étudiant passif. En effet, la plupart des items contenus dans les questionnaires généralement utilisés sont centrés sur la performance du professeur plutôt que sur celle de l'étudiant (Centra, 1993). Cette vision n'est pas celle qui est développée dans les pédagogies basées sur des enseignements de type interactif. D'après Braskamp et Ory (1994), les questionnaires en vigueur auraient pour effet de décourager l'exploration de nouvelles méthodes d'enseignement.

   Suivant les recherches de l'IRPEACS-CNRS (Albertini 1990), la qualité de la formation des étudiants est le fruit d'une coproduction entre formateurs et personnes en formation. La prestation des enseignants n'a d'utilité que si les étudiants sont eux-mêmes actifs dans leur propre formation et la coproduisent. Ainsi, il convient de concevoir des démarches d'évaluation dans lesquelles les étudiants ne sont pas seulement invités à s'exprimer sur la façon dont les enseignants réalisent leur enseignement (teaching) mais aussi sur leurs stratégies d'apprentissage (learning) bien que vraisemblablement les étudiants n'en soient pas réellement conscients. L'enseignement comme pratique conceptualisée. L'emploi de mesures multidimensionnelles pour évaluer l'enseignement présuppose que les caractéristiques d'un enseignement efficace sont invariables et intrinsèques à l'enseignement. Selon Abrami et d'Appolonia (1990), cette démarche ignore le fait que l'efficacité d'un enseignement est en réalité dépendante de la situation particulière dans laquelle il a lieu. Un enseignement prend toujours place dans un contexte particulier qui en affecte la qualité (Bru, 2002).

   De plus, les recherches de Monteil et de ses collaborateurs ont montré l'influence puissante exercée par la situation sociale sur les performances et l'apprentissage des élèves, mais aussi que cette influence est fonction de l'histoire scolaire de réussite ou d'échec des sujets (Monteil, 1991, 1993, Monteil et Huguet, 1999, 2001). Un contexte anonymisant se révèle être favorable aux performances des mauvais élèves et défavorable à celles des bons élèves, alors qu'au contraire, un contexte individualisant bénéficie aux bons élèves mais dessert les mauvais élèves. Ces expérimentations mettent bien en évidence que les effets d'une situation d'apprentissage sont différents suivant l'histoire de ceux à qui elle s'adresse, ce qui suggère qu'un type d'enseignement peut être bénéfique à certains étudiants mais pas à d'autres. Toutes ces raisons font que la plupart des auteurs, qui se sont penchés sur ces questions, estiment qu'on ne peut pas rendre compte de toutes les particularités des différents cours existants par un seul et même questionnaire. Ils préconisent donc d'employer différents types de questionnaires pour évaluer différents types d'activités d'enseignement (Bernard et Trahan, 1988 ; Braskamp et Ory, 1994...). En tout état de cause, le contexte de l'enseignement, à savoir sa position dans un ensemble mais aussi les caractéristiques du public, sont à considérer dans l'évaluation de l'enseignement.

III - Champ de l'étude et méthodes employées

   L'étude, située à la faculté des sciences ben M'Sik (Maroc), elle s'est appuyée sur deux opérations successives nécessitées par l'objectif de la recherche : d'abord la conception du dispositif en se basant sur des critères d'évaluation puis la mise en place de ce dispositif informatisé au niveau de la faculté. Nous avons choisi comme échantillon deux Licences fondamentales pour réaliser cette étude : Licence de la Science de la Vie (SVI) et Licence de la Science de la matière chimie (SMC).

- Licence Science de la Vie (SVI). Les modules programmés au cours de cette formation sont :

Modules Majeurs

Module Complémentaire

Modules Outils

Biologie 1 / Géologie 1
Physique 1
Chimie générale 1

 

Langues et Communication 1 / Mathématiques

Biologie des Organismes
Géologie 2
Chimie 2 / Physique

 

Langues et Communication 2 / Statistiques 1

Biologie Générale
Biochimie 1
Génétique 1 / Microbiologie

 

Langues et Communication 3 /Informatique 1

Physiologie Animale et Biologie Moléculaire 1
Biologie et Physiologie Végétales
Écologie Fondamentale et Bio-systématique

 

Langues et Communication 4/ Informatique 2

Modules Majeurs

   

Biologie Cellulaire 2/Génétique et Biologie Moléculaire 2
Biochimie 2
Physiologie Végétale 2 / Écologie des milieux naturels et de leurs ressources

 

Langues et Communication 5 /Statistiques 2

Physiologie des Grandes Fonctions
Microbiologie 2
Projet de fin d'étude

2 options au choix :
Écologie et Environnement
Biologie et Santé

 

- Licence Science de la Matière Chimie SMC. Les modules programmés au cours de cette formation sont :

Modules Majeurs

Module Complémentaire

Modules transversaux
ou
Modules outils

Chimie Générale 1

Mathématiques 1
Physique 1

Langue – Communication et Informatique 1

Chimie Générale 2

Mathématiques 2
Physique 2

Langue – Communication et Informatique 2

Chimie minérale 1
Chimie organique 1
Thermodynamique / Cinétique Chimique

 

Langue – Communication et Mathématiques 3

Chimie Quantique / Liaison Chimique
Méthodes de Séparation
Chimie Analytique

 

Langue – Communication 4 et Électricité

Chimie Minérale 2
Chimie Organique 2
Électrochimie

 

Chimie Informatique et Qualité

Chimie Industrielle
Méthodes Spectroscopiques d'Analyse
Projet de Fin d'Études (PFE)

1 au choix :
Chimie des Substances Naturelles
Génie chimique
Chimie de l'Environnement
Physico-chimie des Matériaux
Chimie Analytique

 

III - 1. Conception du dispositif

   La conception du dispositif informatisé d'EEE ont été menées à partir d'un ancrage théorique dans l'évaluation comme processus de régulation intersubjectif inhérent au développement et à l'évolution de l'action pédagogique (Stufflebeam et al. 1980). Au niveau méthodologique, nous avons retenu la référentialisation en tant que processus assorti de procédures critérièes (Figari, 1994, 2001) à partir des caractéristiques suivantes : mobilisation des acteurs (responsables, administratifs, enseignants et étudiants), définition de modalités de concertation, détermination de critères d'évaluation de l'enseignement, définition d'indicateurs d'appréciation des critères par les étudiants et construction des outils de l'évaluation.

III - .2 Détermination des critères d'évaluation

Les critères d'évaluation ont été élaborés à partir des principales dimensions d'efficacité de l'enseignement. Suite à la revue de la littérature, en référence en particuliers aux travaux de Feldman (1976, 1984), Abrami et d'Appolonia (1990), Centra (1993), Marsh (1983), nous retenons comme pertinentes pour l'évaluation de l'enseignement les dimensions suivantes :

  • La place d'un enseignement dans un ensemble de formation,
  • La transmission de savoirs spécifiques,
  • La manière de transmettre les savoirs,
  • Les modalités d'évaluation des étudiants,
  • L'engagement de l'étudiant dans l'enseignement.

III - 2.1. L'évaluation des enseignements

   Elle permet de connaître les points de vue de l'ensemble des étudiants sur les dimensions pédagogiques des enseignements.

   Les dimensions d'évaluation de l'enseignement retenues ont été critériées et regroupées en 5 critères et chaque critère regroupe un certain nombre d'indicateurs :

Critères

Indicateurs

1) Objectifs et structure du cours

- compréhensibilité,
- clarté,
- cohérence

2) Contenu

- clarté,
- intérêt,
- actualisation,
- acquisitions

3) Relation avec les enseignants

- attitude motivante de l'enseignant
- possibilité d'expression étudiante
- disponibilité enseignante

4) Contrôle de connaissances

- clarté des critères d'évaluation
- fréquence et organisation adaptées,
- formatif et pas seulement sommatif

5) Appréciation globale

- satisfaction

III - 2.1.1. Le dispositif élaboré

   Le dispositif élaboré contient un certain nombre d'items sous forme des propositions par rapport auxquelles les étudiants se positionnent sur une échelle en 4 points : pas du tout, assez peu, plutôt, tout à fait, plus une case « sans avis ». Ils comportent aussi des espaces pour que les étudiants puissent exprimer leurs remarques

Pas du tout
1

Assez peu
2

Plutôt
3

Tout à fait
4

Sans avis
5

Exemples

Critère 1 : Objectifs et structure du cours

Items

Choix de réponse

1) Vous avez compris les objectifs du cours.

1

2

3

4

5

2) Le plan du cours apparaît clairement.

1

2

3

4

5

Tableau 1 : exemple des items pour évaluer le critère 1.

Critère 2 : Contenu

Items

Choix de réponse

1) Les explications sont claires.

1

2

3

4

5

2) Les documents remise sont suffisants.

1

2

3

4

5

Tableau 2 : exemple des items pour évaluer le critère 2.

Critère 3 : Relation avec les enseignants

Items

Choix de réponse

1) Vous pouvez vous exprimer.

1

2

3

4

5

2) L'enseignant est disponible en dehors des cours.

1

2

3

4

5

Tableau 3 : exemple des items pour évaluer le critère 3.

Critère 4 : Contrôle de connaissances

Items

Choix de réponse

1) la fréquence et l'organisation des contrôles sont clairs.

1

2

3

4

5

2) Les critères d'évaluation des contrôles sont clairs.

1

2

3

4

5

Tableau 4 : exemple des items pour évaluer le critère 4.

Critère 5 : Contrôle de connaissances

Items

Choix de réponse

1) Êtes-vous satisfaits de votre enseignement en général.

1

2

3

4

5

Tableau 5 : exemple des items pour évaluer le critère 5.

III-2.2 L'évaluation de l'organisation de la formation

   Elle permet de connaître les appréciations des étudiants sur les finalités de la formation, le degré des cohérences horizontales, verticales et d'ensemble, ainsi que l'identification des points forts, faiblesses et dysfonctionnements du système de formation. Une attention particulière est portée à la réalité du vécu de l'étudiant quant aux charges de travail et aux emplois du temps ainsi qu'à la pertinence du cursus qui s'offre à lui.

   Les dimensions de la formation et les critères retenus sont :

Critères

Indicateurs

1) Finalités de la formation

- clarté,
- adaptation

2) Organisation des enseignements

- coordination

3) Acquisitions

- pertinence
- progressivité

4) Emploi du temps

- planification adaptée

5) Contrôles

- pertinence,
- échelonnement

6) Contenu de la formation

- pertinente
- complète

7) Organisation matérielle et administrative

- adaptée

8) la politique de la communication au sein de l'établissement

- Moyens de communication

III - 2.2.1. Le dispositif élaboré

   Le dispositif élaboré contient un certain nombre d'items sous forme des propositions par rapport auxquelles les étudiants se positionnent sur une échelle en 4 points : pas du tout, assez peu, plutôt, tout à fait, plus une case « sans avis ». Ils comportent aussi des espaces pour que les étudiants puissent exprimer leurs remarques.

Pas du tout
1

Assez peu
2

Plutôt
3

Tout à fait
4

Sans avis
5

Exemples :

Critère 1 : Finalités de la formation

Items

Choix de réponse

1) les objectifs de formation de ces trois années universitaires sont clairement définis pour vous.

1

2

3

4

5

2) La structure et le déroulement de la formation répondent à vos besoins.

1

2

3

4

5

Tableau 1 : exemple des items pour évaluer le critère 1.

Critère 2 : Organisation des enseignements

Items

Choix de réponse

1) L'enseignement est bien situé et coordonné avec les autres dans le plan d'étude.

1

2

3

4

5

2) Le contenu de la formation est cohérent et complémentaire avec les autres cours de votre formation.

1

2

3

4

5

Tableau 2 : exemple des items pour évaluer le critère 2.

Critère 3 : Acquisitions

Items

Choix de réponse

1) Le programme de la formation vous a permis d'acquérir les connaissances nécessaires qui vont vous permettre de progresser dans votre vie professionnelle.

1

2

3

4

5

2) Cet enseignement vous a permis de progresser et d'élargir votre culture scientifique.

1

2

3

4

5

Tableau 3 : exemple des items pour évaluer le critère3.

Critère 4 : Emploi du temps

Items

Choix de réponse

1) L'emploi du temps est il convenable et respecté.

1

2

3

4

5

2) Le temps pour préparer à vos examens est suffisant.

1

2

3

4

5

Tableau 4 : exemple des items pour évaluer le critère 4.

Critère 5 : Contrôles

Items

Choix de réponse

1) Le temps pour les révisions est suffisant.

1

2

3

4

5

2) Les contrôles des différents modules sont bien répartis.

1

2

3

4

5

Tableau 5 : exemple des items pour évaluer le critère 5.

Critère 6 : Contenu de la formation

Items

Choix de réponse

1) Le contenu de la formation correspond aux objectifs et à vos attentes.

1

2

3

4

5

2) le contenu des modules est structuré et organisé de manière très claire.

1

2

3

4

5

Tableau 6 : exemple des items pour évaluer le critère 6.

Critère 7 : Organisation matérielle et administrative

Items

Choix de réponse

1) le matériel que vous utilisez dans les travaux pratiques est suffisant et accessible pour vous.

1

2

3

4

5

2) Le personnel administratif est-il suffisant, disponible pour satisfaire vos besoins.

1

2

3

4

5

Tableau 7 : exemple des items pour évaluer le critère 7.

Critère 8 : Organisation matérielle et administrative

Items

Choix de réponse

1) Les documents de communication présentent clairement les objectifs et les parcours de formation.

1

2

3

4

5

2) La faculté délivre une adresse électronique officielle pour tous les étudiants afin de faciliter la communication entre eux.

1

2

3

4

5

Tableau 8 : exemple des items pour évaluer le critère 8.

IV - Utilisation d'un logiciel pour administrer le dispositif

   Trois problèmes principaux sont relevés par les enseignants dans les procédures d'évaluation des enseignements existantes (Bernard et al. 2000) :

  • Des délais de rétroaction trop longs (les résultats sont diffusés aux enseignants alors qu'une nouvelle session a commencé) ;

  • L'inadaptation des questionnaires utilisés pour évaluer certains types d'enseignements ;

  • L'évaluation ne soit effectuée qu'une fois par an à la fin des cours.

   La mise en place d'outils informatisés adaptés à une évaluation évolutive, facile à faire et à consulter, s'impose d'autant plus que les TIC sont désormais des ressources aptes à optimiser le processus sachant que la nécessité de modéliser qui est nécessaire pour faire fonctionner un système informatique pose de manière très précise la question des objectifs et des fonctionnalités à développer : questionnaires, plannings, traitements et mises à disposition des résultats.

IV - 1. Objectif du dispositif informatisé d'évaluation

   L'objectif du dispositif informatisé d'évaluation est d'obtenir, à différents moments stratégiques, la photographie la plus représentative possible des perceptions des étudiants de leur formation en général et de leurs enseignements en particulier. Ces informations doivent permettre de réguler les actions, par exemple prendre des décisions pour améliorer la formation. Le dispositif permet également de mesurer les évolutions dans le temps et d'effectuer des comparaisons. Il a été décidé que l'information fournie par le système d'évaluation devait pouvoir être analysée à différents niveaux. À un niveau très général, un seul coup d'oeil permet de situer l'avis des étudiants sur chaque thème de l'enseignement évalué ou de situer les différentes disciplines d'une formation les unes par rapport aux autres. À un niveau plus fin, l'information qualitative, composée des remarques des étudiants permettent des traitements supplémentaires en termes d'analyse de contenu.

IV - 2. Choix de réaliser un Intranet au sein de la faculté des sciences Ben M'sik

   La première possibilité pour réaliser les campagnes d'évaluation est de distribuer des questionnaires papier, de les collecter, de les dépouiller, de traiter les résultats et de les diffuser. Cette solution fréquemment utilisée est extrêmement coûteuse en temps. Elle a donc été écartée.

   La deuxième possibilité est de soumettre les questionnaires remplis à un lecteur optique. Cette solution n'a pas été retenue car le lecteur optique ne prend pas en compte les réponses aux questions ouvertes et nécessite de développer informatiquement les traitements souhaités. Les modifications sont difficiles.

   La troisième possibilité est de concevoir une application informatique qui automatise la gestion des questionnaires, la saisie des réponses et le traitement des résultats. Cette solution présente néanmoins l'inconvénient d'installer l'application sur chaque micro-ordinateur et ceci à chaque changement ; l'organisation informatique est exigeante.

   Pour ces raisons, le choix de réaliser un intranet s'est révélé le plus approprié dans la perspective d'un outil léger sur le plan de l'organisation qui permette de réaliser une évaluation efficace et utile de l'enseignement. Utiliser les réseaux permet de mettre immédiatement à disposition les questionnaires et de les gérer aisément : ainsi les modifications effectuées sur le serveur sont tout de suite répercutées. À partir de chaque poste connecté au réseau, on peut, suivant ses droits, saisir les réponses aux questionnaires, ou consulter les résultats. Les résultats étant stockés dans une base de données, les traitements sont automatisés et conservés : pas de problème de collecte, de dépouillement, de stockage, de comparaison. Dès que le dernier étudiant a saisi ses réponses, les résultats sont accessibles à partir de n'importe quel ordinateur qui possède un accès à l'intranet ou l'Internet. C'est un élément important pour résoudre le problème de la lourdeur de la procédure quand plusieurs milliers d'étudiants sont impliqués dans des centaines de formations différentes.

Conclusion et perspective

   L'uniformisation et la transparence de la démarche de l'EEE concourent à fournir un outil plus complet en ce qu'il permet d'évaluer la prestation d'enseignement mais aussi l'articulation entre les différents enseignements et le programme de formation dont ils sont issus. Les TIC par leurs puissantes capacités de stockage, de traitement et de communication apparaissent donc comme des ressources puissantes en tant que procédures pour réaliser l'EEE de manière efficace dans la collecte, le traitement et la mise à disposition de l'information d'autant plus qu'elles posent de manière très précise la question des fonctionnalités à développer. Se sont des ressources à la fois pour l'évaluation et pour le contrôle

   Notre perspective c'est de tester ce dispositif au niveau de la faculté des sciences Ben M'sik, d'une part pour étudier l'efficacité de ce dernier sur la démarche d'évaluation des enseignements et d'autre part pour récupérer l'avis des enseignants et des étudiants vis-à-vis de ce dispositif.

Ghizlane Chemsi (1)
Mohamed Radid (2)
Mohammed Bekkali (3)
Mohammed Talbi (2)

(1) Doctorante en ingénierie et technique de l'éducation et la formation – Faculté des Sciences Ben M'Sik Casablanca Maroc. - Laboratoire Interdisciplinaire de Recherches : Apprentissage, Didactique, Évaluation & Technologies de l'Information pour l'Éducation (LIRADE-TIE) de la Faculté des Sciences Ben M'Sik Casablanca – Maroc.Observatoire de Recherche en Didactique et Pédagogie Universitaire (ORDIPU).
(2) Professeur à l'université Mohammedia. Casablanca.
(3) Professeur à l'université Hassan II. Casablanca.

Références

Abrami, P. C. & d'Apollonia, S. (1990). The Dimensionality of ratings and their use in personnel decisions. In M. Theall & J. Franklin (Eds.) : Students ratings of instruction : Issues for improving practice. New Directions for Teaching and Learning, 43, 97-111.

Albertini, J. M. (1990). La qualité de la formation, service compris, Etudes et Expérimentations en formation continue, 6, Paris : La Documentation française.

Ardoino, J. & Berger, G. (1989). D'une évaluation en miettes à une évaluation en actes, le cas des universités. Paris : Andsha.

Arens, S. A. (2006). L'étude du raisonnement dans les pratiques évaluatives. Revue mesure et évaluation en éducation, vo1.29, n 03, pAS-56.

Bernard, H., Postiaux, N., Salcin, A. (2000). Les paradoxes de l'évaluation de l'enseignement universitaire. Revue des sciences de l'éducation, XXVI, 3, 625-650.

Bernard, H. & Trahan, M. (1988). Analyse des politiques d'évaluation de l'enseignement des universités canadiennes. La revue canadienne d'enseignement supérieur, XVIII, 3, 51-67.

Braskamp, L. A. & Ory, J. C. (1994). Assessing faculty work : enhancing individual and institutional performance. San Francisco : Jossey-Bass Publishers.

Bru, M. (2002). Pratiques enseignantes : des recherches à conforter et à développer. Revue Française de Pédagogie, 138, 63-73.

Centra, J. A. (1979). Determining Faculty Effectiveness, California : Jossey-Bass Inc.

Centra, J. A. (1993). Reflexive faculty evaluation. Enhancing teaching and determining faculty effectiveness. San Francisco : Jossey-Bass.

Dilts, D. A., Haber, L. J. & Bialik, D. (1994). Assessing what professors do : an introduction to academic performance appraisal in higher education, Westport, Connecticut : Greenwood, Press, (ch. 5).

Doyle, K. O. Jr. (1983). Evaluating teaching. Toronto : Lexington Books, D.C. Heath and Company.

Feldman, K. A. (1976). The Superior College Teacher from the Students' View, Research in Higher Education, 5, 243-288.

Feldman, K. A. (1978). Course Characteristics and College Students Ratings of their Teachers : What we Know and What we Don't, Research in Higher Education, 9, 199-242.

Feldman, K. A. (1984). Class Size and College Students Evaluations of Teacher and Courses : A Closer Look, Research in Higher Education, 21, 1, 44-116.

Fournier, D. M. (1995). « Establishing Evaluative Conclusions : A Distinction Between General and Working Logic ». New Direction for Evaluation, no 68, p. 15-32.

Figari, G. (1994). Évaluer : quel référentiel ? Bruxelles : De Boeck.

Figari, G. (2001). Us et abus de la notion de référentiel. Dans G. Figari & M. Achouche (Eds.), L'activité évaluative ré-interrogée ; regards scolaires et socioprofessionnels (p. 310-314). Bruxelles : De Boeck.

Gaudreau, L. (2001). Évaluer pour évoluer : les indicateurs et les critères. Montréal (Québec) : Les éditions logiques, 71 p.

Gaudreau, L. (2001). Évaluer pour évoluer Les étapes d'une évaluation de programme ou de projet : Outremont : Les Éditions Logiques -Conseil scolaire de l'île de Montréal, 103p.

Hildebrand, M., Wilson, R. C. & Dienst, E.R. (1971). Evaluating University Teaching. Berkeley, Center for Research and Development in Higher Education, University of California.

Hurteau, M. & Houle, S. (2006). L'évaluation de programme : Réflexion concernant la théorie de l'évaluation : Symposium « l'évaluation de programme : notions, modèles et méthodologies ». Prolégomènes à un projet de recherche ADMÉÉ internationale. XIXème Colloque ADMÉÉ Europe-Université de Luxembourg (sept.2006).

Hurteau, M. (1991). « Les choix stratégiques en évaluation de programme ». L'évaluation en action, n 1, 1991, 41p.

King, J. A. (2003). « The Challenge of Studying Evaluation Theory ». New Direction for Evaluation, no 97, p. 57-67.

Kulik, J. A. & Mckeachie, W. J. (1975). The Evaluation of Teachers in Higher Education, In Kerlinger (Ed.), Review of Research in Education, (p. 210-240). Itasca, Illinois : F.E. Peacock Publisher Inc.

Laveault, D. & Fournier, C. (1988). Evaluation fondé sur les objectifs : approche métacognitives » in acte de la rencontre ADMEE 1988, Ed université libre de bruxelles, service de didactique ecpérimentale.

Loughran, J. (2002). Effective reflective practice : In search of meaning in learning about Teaching . Journal of Teacher Education, 53(1), 33-43.

Marsh, H. W. (1983). Multidimensional Ratings of Teaching Effectiveness by Students from Different Academic Settings and their Relation to Student/ Course/Instructor Characteristics. Journal of Educational Psychology, 75, 1, 150-166.

Marsh, H. W. (1984). Students' Evaluations of University Teaching : Dimensionality, Reliability, Validity, Potential Biases, and Utility. Journal of Educational Psychology, 76, 5,

707-754.

Marsh, H. W. (1987). Students' evaluation of university teaching : Research findings, methodological issues and directions for future research. International Journal of Educational Research, 11, 3, 253-288.

Monteil, J.-M. (1991). Social regulations and individual cognitive functioning : Effects of individuation on cognitive performances. European Journal of Social Psychology, 21, 255- 277.

Monteil, J.-M. & Huguet, P. (1999). Social Context and Cognitive Performance : Towards a

Social Psychology of cognition. Hove, East Sussex : Psychology Press.

Monteil, J.-M. & Huguet, P. (2001). De quelques contextes de l'instruction : influences sur les performances cognitives, dans J.-M. Monteil & J.-L. Beauvois (Eds.), La Psychologie sociale : des compétences pour l'application (p. 369-379), Grenoble, PUG.

Patton, M. Q. (1997). Utilization-Focused Evaluation. (Calif.) : Sage Publications. 430 p.

Patton, M. Q. (2004). Évaluation axée sur l'utilisation en Afrique. Dakar : Fondation Rurale de l'Afrique de l'Ouest. 70p.

Scriven, M. (l980). The Logic of Evaluation. Inverness (Calif.) : Edgepress.125 p.

Stake, E. R. (2004). Standard-Based &Responsive Evaluation. (Calif.) : Sage Publication. 327p.

Stufflebeam, D. L., Foley, W.J., Gephart, W.J., Guba, E.G., Hammond, R.L., Merriman, H. O. & Provus, M. M. (1980). L'évaluation et la prise de décision en éducation. Victoriaville (Canada) : N.H.P.

Theall, M. & Franklin, J. (2001). Using Technology to Facilitate Evaluation. New Directions for Teaching and Learning, n° 88, pp.41-50. San Francisco : Jossey-Bass.

Younes, N. (2003). Évaluer l'enseignement à l'Université : Une interface socio-informatique potentiellement efficace et équitable, Dans Actes du 16ème Colloque international de 327 l'Association pour le Développement des Méthodologies d'Évaluation en Éducation (ADMEE-Europe), Liège, 4-6 septembre 2004.

___________________
Association EPI
Avril 2010

Accueil Articles