Formation : indicateurs d'efficacité
- Nous avons observé (...) que l'instruction ne devait pas abandonner les individus au moment où il sortent des écoles ; qu'elle devait embrasser tous les âges ; qu'il n'y en avait aucun où il ne fût utile et possible d'apprendre, et que cette seconde instruction est d'autant plus nécessaire, que celle de l'enfance a été resserrée dans des bornes plus étroites (Condorcet, l'Organisation générale de l'instruction publique, discours d'avril 1792 devant l'Assemblée nationale législative).
L’efficacité d’une session de formation, ou même d’un plan de formation, est soit subjective soit difficilement mesurable. Mais pas question pour autant de baisser les bras. Il est nécessaire pour la DRH d'avoir un retour d'expérience des stagiaires.
La présentation suivante s’inspire du modèle de Kirkpatrick (1959) amélioré par Phillips (1996). Chaque niveau de mesure correspond à un délai après la fin du stage, à une certaine façon de collecter les données et surtout vise une finalité différente.
Notez que ce modèle s'applique aux formations dont les effets doivent se concrétiser très vite. Cette situation est de moins en moins une règle incontournable dans la mesure où la GEPP suppose que l'employeur entretienne l'employabilité de ses collaborateurs sur le moyen terme.
Niveau 1 : la réaction
La réaction à chaud des stagiaires est mesurée par leur satisfaction sur des échelles ordinales. Celles-ci peuvent être converties en échelles de rapports pour les besoins statistiques (donc en nombres cardinaux).
En général, une formation se termine par un questionnaire dans lequel les stagiaires évaluent la conformité du contenu à leurs attentes. Un questionnaire de conception identique mais réalisé à leur retour en entreprise permet une analyse globale (notes moyennes sur le contenu, la pédagogie, l’organisation…). Le responsable de la formation saura utilement extraire les moyennes obtenues par stage ou par organisme prestataire mais il s’agit là d’indicateurs quasi descriptifs. En revanche, une estimation de l’application dans le cadre professionnel des acquis du stage s’inscrit bien dans la démarche de Kirkpatrick.
Une sesion de e-learning se termine aussi par un questionnaire d'évaluation sur différents aspects de la formation.
Niveau 2 : l’apprentissage
Un mois plus tard (par exemple), les ex-stagiaires sont évalués ou mieux, auto-évaluent l’apport de leur stage à leur travail. Il s’agit alors de recenser les améliorations ou les compétences acquises, mais cette fois in situ.
Là encore, au niveau agrégé, les notes moyennes constituent une métrique pertinente du tableau de bord. Une comparaison d'évaluations ordinales, de type échelle de Likert, peut être réalisée par des tests de Mann-Whitney, de signes ou des rangs signés de Wilcoxon.
Des régressions linéaires simples entre les notes des niveaux 1 et 2 (variables explicatives) et les indicateurs de résultat détaillés ci-dessous (variables à expliquer) permettent de savoir dans quelle mesure ces notes peuvent être utilisées comme indicateurs avancés de l’efficacité des stages sur le lieu de travail.
Niveau 3 : le comportement (ou transfert)
L’évaluation devient plus délicate. Il s’agit de mesurer l’accroissement de la performance due à la formation. Le moment où l’évaluation doit être conduite est assez variable. Il est évident qu’un stage sur l’arrêté des comptes ne peut pas être évalué n’importe quand ! La mesure est souvent subjective mais peut être objective dans les cas les plus simples. Des comparaisons de moyennes de dossiers traités, des tests de McNemar sur produits défectueux (avant et après le stage, donc échantillons appariés) ou même l’élaboration de courbes d’apprentissage peuvent être conduits.
Une courbe d’apprentissage est réalisable d’une part pour les « formés » et d’autre part pour ceux qui ne l’ont pas été. Les courbes qui résument cette comparaison sont variées : Gompertz, logistiques, exponentielles modifiées, parfois même décroissantes au début.
http://www.kimind.fr/2008/07/01/entreprise-20-et-courbe-dapprentissage/#.Y9g27q2ZOUk
Niveau 4 : les résultats
On mesure cette fois-ci les impacts sur l’entreprise : diminution du turnover, qualité de service, accroissement des ventes ou du taux de marge… La difficulté est ici d’imputer les effets à une cause (la formation). Les outils statistiques existent bien sûr pour valider ceci, à condition d’être certain d’avoir éliminé les autres causes possibles du bénéfice… On se dirige vers une régression multiple ou une régression logistique selon que les variables explicatives sont toutes quantitatives ou non.
Niveau 5 : le ROI (Return On Investment)
C’est le niveau ajouté par Phillips. Si l’on considère que la formation est un investissement, il convient de s’assurer que son coût est bien inférieur aux bénéfices attendus (augmentation des produits et / ou diminution des coûts visibles et cachés).
