La validité de contenu est différente de la validité apparente, qui fait référence non pas à ce que le test mesure réellement, mais à ce qu’il semble superficiellement mesurer. La validité apparente évalue si le test » semble valide » aux yeux des candidats qui le passent, du personnel administratif qui décide de son utilisation et d’autres observateurs non formés techniquement. La validité de contenu nécessite le recours à des experts reconnus en la matière pour évaluer si les éléments du test évaluent un contenu défini et des tests statistiques plus rigoureux que l’évaluation de la validité apparente. La validité du contenu est le plus souvent abordée dans les tests académiques et professionnels, où les éléments du test doivent refléter les connaissances réellement requises pour un sujet donné (par exemple, l’histoire) ou une compétence professionnelle (par exemple, la comptabilité). Dans les contextes cliniques, la validité de contenu fait référence à la correspondance entre les items du test et le contenu des symptômes d’un syndrome.
Une méthode largement utilisée pour mesurer la validité de contenu a été développée par C. H. Lawshe. Il s’agit essentiellement d’une méthode permettant d’évaluer l’accord entre les évaluateurs ou les juges concernant le caractère essentiel d’un élément particulier. Dans un article sur les tests d’embauche, Lawshe (1975) a proposé que chacun des évaluateurs experts en la matière (EM) du jury réponde à la question suivante pour chaque élément : « La compétence ou la connaissance mesurée par cet item est-elle ‘essentielle’, ‘utile, mais non essentielle’ ou ‘non nécessaire’ à l’exécution du travail ? » Selon Lawshe, si plus de la moitié des panélistes indiquent qu’un élément est essentiel, cet élément a au moins une certaine validité de contenu. Le niveau de validité du contenu est d’autant plus élevé qu’un grand nombre de panélistes conviennent qu’un élément particulier est essentiel. À partir de ces hypothèses, Lawshe a développé une formule appelée le ratio de validité de contenu : C V R = ( n e – N / 2 ) / ( N / 2 ) {\displaystyle CVR=(n_{e}-N/2)/(N/2)}
où C V R = {\displaystyle CVR=}
rapport de validité du contenu, n e = {\displaystyle n_{e}=}
nombre de panélistes des PME indiquant « essentiel », N = {\displaystyle N=}
nombre total de panélistes PME. Cette formule donne des valeurs qui vont de +1 à -1 ; les valeurs positives indiquent qu’au moins la moitié des PME ont jugé l’élément essentiel. Le CVR moyen entre les items peut être utilisé comme un indicateur de la validité globale du contenu du test.
Lawshe (1975) a fourni un tableau de valeurs critiques pour le CVR grâce auquel un évaluateur de test pouvait déterminer, pour un pool de PME d’une taille donnée, la taille d’un CVR calculé nécessaire pour dépasser l’espérance du hasard. Ce tableau avait été calculé pour Lawshe par son ami Lowell Schipper. Un examen attentif de ce tableau publié a révélé une anomalie. Dans le tableau de Schipper, la valeur critique du CVR augmente de façon monotone du cas de 40 PME (valeur minimale = 0,29) au cas de 9 PME (valeur minimale = 0,78) pour chuter de façon inattendue au cas de 8 PME (valeur minimale = 0,75) avant d’atteindre sa valeur plafond au cas de 7 PME (valeur minimale = 0,99). Cependant, lorsqu’on applique la formule à 8 évaluateurs, le résultat de 7 évaluations essentielles et d’une autre évaluation donne un CVR de 0,75. Si 0,75 n’était pas la valeur critique, il faudrait alors 8 évaluateurs de Essential sur 8 pour obtenir un CVR de 1,00. Dans ce cas, pour être cohérent avec l’ordre croissant des CVR, la valeur pour 8 évaluateurs devrait être de 1,00. Cela violerait le même principe car vous auriez la valeur « parfaite » requise pour 8 évaluateurs, mais pas pour les évaluations pour d’autres nombres d’évaluateurs, qu’ils soient supérieurs ou inférieurs à 8 évaluateurs. Il n’est pas clair si cet écart par rapport à la progression monotone du tableau était dû à une erreur de calcul de la part de Schipper ou à une erreur de frappe ou de réglage des caractères. Wilson, Pan et Schumsky (2012), cherchant à corriger l’erreur, n’ont trouvé aucune explication dans les écrits de Lawshe ni aucune publication de Schipper décrivant comment le tableau des valeurs critiques a été calculé. Wilson et ses collègues ont déterminé que les valeurs de Schipper étaient des approximations proches de l’approximation normale de la distribution binomiale. En comparant les valeurs de Schipper aux valeurs binomiales nouvellement calculées, ils ont également découvert que Lawshe et Schipper avaient erronément étiqueté leur tableau publié comme représentant un test unilatéral alors qu’en fait les valeurs reflétaient les valeurs binomiales pour un test bilatéral. Wilson et ses collègues ont publié un nouveau calcul des valeurs critiques pour le ratio de validité de contenu fournissant des valeurs critiques par étapes unitaires à plusieurs niveaux alpha.
Le tableau des valeurs est le suivant :
N° de panélistes Min. Valeur
5 .99 6 .99 7 .99 8 .75 9 .78 10 .62 11 .59 12 .56 20 .42 30 .33 40 .29 From:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.460.9380&rep=rep1&type=pdf
.