Nous avons tous lu de multiples articles et livres sur ce sujet. Nous avons tous assisté à des colloques vantant les mérites de l’évaluation et l’importance du transfert. Mais dans les faits, qu’avons-nous vraiment fait ? Malgré l’intérêt, les firmes de formation et de conseil sont peu sollicitées sur ce sujet. Chez AGD Formation, des modèles et des outils étaient prêts à servir, mais où étaient les entreprises désireuses de se lancer dans l’aventure ? Depuis trois mois, AGD Formation a la chance, et je suis l’heureuse élue, d’accompagner non pas une, non pas deux, mais trois belles entreprises qui ont décidé de développer ensemble un processus et des outils pour mesurer l’efficacité de leurs formations.

Pour nous, la responsabilité n’est pas mince : Il s’agit de construire une démarche « universelle », valable dans ces trois organisations. Depuis que nous avons commencé, le mandat s’avère encore plus excitant que celui imaginé. Les modèles prennent vie, le puzzle s’organise, les différentes pièces s’ajustent et tous les acteurs font d’intéressantes découvertes. C’est passionnant !

AGD assure depuis deux ans l’animation d’un collectif de formation, regroupant actuellement une vingtaine d’entreprises dans le secteur pharmaceutique. Le Collectif Formation pharmaceutique réunit plus de 70 personnes ayant à cœur d’améliorer les pratiques de formation et de développement dans leur organisation (ressources humaines, formation, opération, SST, etc.) C’est une communauté d’apprentissage qui s’appuie sur plusieurs activités de « codéveloppement » : rencontres, forum de discussion, site Internet, comités de travail, etc. Son objectif : prendre du recul par rapport à la pratique quotidienne, apprendre en partageant ses préoccupations, ses réalisations, ses projets avec ses pairs dans un climat de confiance et d’entraide mutuelle.

Lorsque nous avons établi les priorités des projets à développer, la mesure d’efficacité de la formation est arrivée en tête. Dans ce milieu très réglementé, les clients, mais aussi Santé Canada et la FDA (Food and Drug Administration) mettent la barre très haute en matière de standardisation et de contrôle des processus : tout employé doit disposer de procédures décrivant les tâches à accomplir et doit être formé sur celles-ci. Dans ce contexte, la formation est surveillée de très près. Aujourd’hui, les entreprises doivent démontrer que les employés sont formés sur toutes les tâches à réaliser. Demain, cela ne suffira plus : elles devront prouver que la formation a été dispensée ET qu’elle a été efficace… Ambitieux programme !

Trois entreprises du Collectif Formation pharmaceutique (Merck Frosst, Sabex et Wyeth) ont décidé de se lancer dans l’aventure avec l’appui d’AGD Formation. Le comité sectoriel de l’industrie pharmaceutique et biotechnologique (Pharmabio Développement) pilote ce projet et en assure le financement à partir d’une subvention obtenue du FNFMO.

Lancé en novembre 2004, le projet a pour objectifs de :

1. Développer un processus et des outils pour mesurer le transfert et diagnostiquer les actions correctives et préventives permettant d’améliorer l’efficacité de la formation.
2. Mettre à l’épreuve ce processus et ces outils au sein des trois entreprises pilotes et l’ajuster si nécessaire.
3. Mettre à la disposition des entreprises du secteur cette « boîte à outils ».

Le calendrier a été découpé en quatre grandes étapes :

• « Vendre » le projet dans chacune des trois entreprises, constituer des comités internes, choisir les formations pilotes — novembre 2004 / janvier 2005.
• Développer le processus et les outils « universels » — février à mars 2005
• Préparer les pilotes et les réaliser — avril / septembre 2005
• Faire le bilan et ajuster si nécessaire — septembre / octobre 2005

À ce jour, nous sommes à mi-parcours. Le processus et les outils sont prêts, nous sommes fiers de ces réalisations. Nous démarrons actuellement les pilotes et nous espérons en apprendre beaucoup.

1.  Des responsables de projets qui se sont appropriés la démarche, les outils, le processus

En tant que consultante, je me suis positionnée en accompagnement des trois responsables du projet dans chacune de ces entreprises C’est leur projet. Pas question de leur livrer des solutions toutes faites. Mon rôle consiste à apporter des références, des outils, des guides pour que nous construisions ensemble le processus. Certes, la transparence comporte des risques : par exemple, ne pas avoir toutes les réponses tout de suite, ou encore hésiter un court instant entre plusieurs choix… mais d’un autre côté, faire du chemin en compagnie de personnes dynamiques, passionnées, très impliquées et satisfaites du travail accompli vaut réellement la peine d’être vécu et compense amplement pour le « flottement » apparent et les « pertes de temps » (qui ne sont en fait que le temps nécessaire à l’appropriation du projet par les responsables). Le résultat est bien plus large qu’un simple processus et des outils : les trois organisations consolident leurs compétences en matière d’évaluation.

2.  Deux outils clés : la grille d’observation et le questionnaire

2.1  Premier outil : La grille d’observation

Pour mesurer le transfert, notre choix s’est arrêté sur une grille d’observation comportant trois types d’éléments à observer : les actions (habiletés démontrées), les questions de compréhension (liées aux situations critiques) et les performances (liées aux résultats). Cette grille permet à l’observateur :

• d’identifier les éléments à observer dans l’ordre chronologique (lesquels, quand et comment),
• de cocher au fur et à mesure les résultats obtenus,
• de noter ses commentaires.

La supervision, les formateurs et certains représentants des fonctions supports (qualité, santé sécurité, maintenance, ingénierie,…) participent à l’élaboration de la grille d’observation. Cet exercice se fait lors d’une rencontre de deux heures. Et le résultat va au-delà de nos espérances. À la fin de l’exercice, la satisfaction des participants est manifeste : « On a réussi à identifier exactement ce que l’on veut ! », « Avec cette grille, je sais exactement ce que je dois faire en formation - tout est là !!! ».

Dans le processus de mesure d’efficacité de la formation, cette grille d’observation est utilisée deux fois :

• une première fois par le formateur, sur le poste de travail, en fin de formation (théorique/pratique). Si le formateur constate des lacunes, il apporte les compléments nécessaires. À cette étape, la grille d’observation permet de valider la formation;
• une deuxième fois, par le superviseur, un à trois mois après la fin de la formation, pour mesurer le transfert.
  

2.2  Deuxième outil : le questionnaire

Pour diagnostiquer les actions correctives et préventives, nous avons construit un questionnaire standard en 20 questions (quelle que soit la formation) qui fait le tour des facteurs qui empêchent ou favorisent le transfert : organisation du travail, moyens matériels, moyens humains, encadrement, climat de travail, gestion du changement, etc. Ce questionnaire est administré après la deuxième observation (un à trois mois après la fin de la formation). L’objectif est de recueillir la perception des employés formés afin d’identifier des pistes d’amélioration. Une fois les réponses analysées, les résultats sont présentés à la gestion et complétés en fonction de leurs propres perceptions. Un plan d’action est alors établi, il résume les actions correctives et préventives à réaliser.

3.  Le processus

1.  Un processus à utiliser à bon escient

En élaborant ce processus, nous avions l’intime conviction qu’il ne peut pas, qu’il ne doit pas s’appliquer à toutes les formations. La règle du 20/80 (Loi de Pareto) nous paraissait un bon repère : utiliser ce processus uniquement pour les formations les plus importantes. Aujourd’hui, nous confirmons cette hypothèse et nous proposons un outil d’aide à la décision structuré autour de quatre points :

• Est-ce que la formation que l’on veut mesurer a un impact majeur sur les résultats de l’entreprise ?
• Est-ce qu’elle concerne un grand nombre d’employés ?
• Est-ce qu’elle nécessite un investissement important (disponibilité, $) ?
• Est-ce que le client interne est prêt à s’investir dans le processus de mesure de son efficacité ?

Si la réponse à l’une de ces quatre questions est NON, nous vous conseillons de ne pas mesurer l’efficacité de la formation car l’effort à fournir serait plus important que le bénéfice retiré !

2.  Des impacts multiples

Les grilles d’observation ont déclenché des réactions extrêmement positives. Les membres des comités internes ont découvert des usages et des avantages autres que ceux prévus initialement :

• consolider, compléter l’analyse des besoins;
• améliorer la conception de la formation et la préparation des formateurs (théoriques et pratiques). En effet, les grilles d’observation permettent de :
  — mettre en lumière les points clés à développer dans la formation et les éléments à laisser de côté (très important !!!),
  — identifier les points à vérifier dans les tests écrits (en fin de formation),
  — guider les formateurs tout au long de la formation;
• améliorer les procédures de travail et construire les aide-mémoire;
• clarifier les « critères de relâche » qui servent à valider si la personne est autonome sur son poste de travail à la suite de la formation (élément très important dans l’industrie pharmaceutique).

L’enthousiasme des personnes impliquées dans le processus est tel que nous devons actuellement réfréner leurs ardeurs pour qu’ils n’interviennent pas trop tôt dans l’amélioration des formations et dans l’organisation du travail. Nous constatons que le processus, en lui-même, est source d’amélioration avant même d’avoir évalué les formations.

3.  Une clarification des responsabilités entre gestionnaire et formateur

L’intervention des gestionnaires et des formateurs est essentielle dans ce processus. À chaque étape, nous nous sommes « challengés » pour clarifier les rôles et responsabilités de chacun et argumenter nos choix. Aujourd’hui, les rôles et responsabilités sont clairs, expliqués et compris. Nous avons pu les faire apparaître en toutes lettres sur les outils élaborés. Par exemple, la grille d’observation met en évidence les performances qui seront validées, non par le formateur, mais seulement par le superviseur. Conséquence : les messages passent !!!.

4.  Une consolidation de l’évaluation à tous les niveaux

Le modèle de Kirkpatrick propose 4 niveaux d’évaluation de la formation.

• Niveau 1 : évaluation de la satisfaction des participants (opinions et réactions)
• Niveau 2 : évaluation des acquis en fin de formation.
• Niveau 3 : évaluation du transfert sur le poste de travail quelques mois après la formation.
• Niveau 4 : évaluation de l’impact sur l’organisation, 6 mois à 1 an après la fin de la formation.

Sur le papier, notre cible initiale était le transfert et nous pensions pouvoir nous limiter à celui-ci : mettre en place un processus et des outils pour mesurer le transfert (niveau 3) sans intervenir sur les autres pratiques d’évaluation déjà existantes (ou non) dans les trois entreprises pilotes. Mais dans les faits, notre processus nous a amenés à revoir, à consolider et à compléter leurs pratiques à l’intérieur des 4 niveaux d’évaluation.

Ce constat ouvre une piste de réflexion. Si aujourd’hui les entreprises ont autant de difficulté à calculer le retour sur investissement de la formation (liée à la mesure d’impact – niveau 4), c’est peut-être parce qu’elles ont voulu aller trop rapidement à ce niveau sans consolider et mettre en place des processus solides pour les trois autres niveaux. En tout cas, ce projet nous indique que cette piste est prometteuse.

5.  Un défi à relever : faire utile, réaliste, acceptable

Dès le départ, nous nous sommes imposés un plan de match solide pour construire un processus « utile, réaliste, acceptable », trois conditions indispensables pour réussir. Aujourd’hui, en regard des bénéfices additionnels constatés par les acteurs eux-mêmes, nous pouvons dire dès maintenant que le processus est UTILE. En regardant les moyens à mettre en œuvre pour le réaliser, le processus semble RÉALISTE. Reste à vérifier son ACCEPTABILITÉ, c’est ce que les pilotes pourront nous confirmer.

Le projet que je viens de vous présenter est innovant et passionnant pour moi comme pour toutes les personnes qui sont impliquées jusqu’ici. Je vous donne donc rendez-vous dans trois mois pour en partager avec vous les résultats. D’ici-là, si vous voulez en savoir plus, n’hésitez pas à nous contacter !!!

Un grand merci à Danielle Chartier de Merck Frosst, Michel Fafard et Diane Desautels de Wyeth,
Yves Archambault, Jean-François Paraiso et Annie D’Anjou de Sabex
Diane Poupart et Louise Langlois de Pharmabio Développement
ainsi qu’à tous les membres du Collectif Formation pharmaceutique sans qui ce projet n’aurait jamais vu le jour.

©2005 AGD Formation. Tous droits réservés.
Site conçu par CONNIVENCE Infographie
Mise à jour : 5/02/10