Die Inhaltsvalidität unterscheidet sich von der Gesichtsvalidität, die sich nicht auf das bezieht, was der Test tatsächlich misst, sondern auf das, was er oberflächlich betrachtet zu messen scheint. Gesichtsvalidität beurteilt, ob der Test für die Prüflinge, die ihn ablegen, das Verwaltungspersonal, das über seine Verwendung entscheidet, und andere fachlich ungeschulte Beobachter „gültig aussieht“. Die Inhaltsvalidität erfordert den Einsatz von anerkannten Fachexperten, um zu beurteilen, ob die Testaufgaben definierte Inhalte bewerten, sowie strengere statistische Tests als die Beurteilung der Augenscheinvalidität. Die Inhaltsvalidität wird am häufigsten bei akademischen und beruflichen Tests angesprochen, wo die Testaufgaben das Wissen widerspiegeln müssen, das für ein bestimmtes Themengebiet (z. B. Geschichte) oder eine berufliche Fähigkeit (z. B. Buchhaltung) tatsächlich erforderlich ist. Im klinischen Bereich bezieht sich die Inhaltsvalidität auf die Übereinstimmung zwischen Testaufgaben und dem Symptomgehalt eines Syndroms.
Eine weit verbreitete Methode zur Messung der Inhaltsvalidität wurde von C. H. Lawshe entwickelt. Es ist im Wesentlichen eine Methode zur Messung der Übereinstimmung zwischen Ratern oder Richtern bezüglich der Wesentlichkeit eines bestimmten Items. In einem Artikel über Tests vor der Einstellung schlug Lawshe (1975) vor, dass jeder der fachlich kompetenten Bewerter (SMEs) im Beurteilungsgremium die folgende Frage für jedes Item beantworten sollte: „Ist die Fähigkeit oder das Wissen, das durch dieses Item gemessen wird, ‚wesentlich‘, ’nützlich, aber nicht wesentlich‘ oder ’nicht notwendig‘ für die Ausführung der Arbeit?“ Wenn mehr als die Hälfte der Diskussionsteilnehmer angibt, dass ein Item wesentlich ist, hat dieses Item laut Lawshe zumindest eine gewisse Inhaltsvalidität. Ein höheres Maß an Inhaltsvalidität liegt vor, wenn eine größere Anzahl von Panelteilnehmern zustimmt, dass ein bestimmtes Item wesentlich ist. Unter Verwendung dieser Annahmen entwickelte Lawshe eine Formel, die als Inhaltsvaliditätsverhältnis bezeichnet wird: C V R = ( n e – N / 2 ) / ( N / 2 ) {\displaystyle CVR=(n_{e}-N/2)/(N/2)}
wobei C V R = {\displaystyle CVR=}
inhaltliches Gültigkeitsverhältnis, n e = {\displaystyle n_{e}=}
Anzahl der SME-Panelisten, die „wesentlich“ angeben, N = {\displaystyle N=}
Gesamtzahl der SME-Panelisten. Diese Formel ergibt Werte, die von +1 bis -1 reichen; positive Werte zeigen an, dass mindestens die Hälfte der KMU das Item als wesentlich bewertet hat. Der mittlere CVR-Wert über die Items kann als Indikator für die gesamte Testinhaltsvalidität verwendet werden.
Lawshe (1975) stellte eine Tabelle mit kritischen Werten für die CVR zur Verfügung, anhand derer ein Testauswerter für einen Pool von KMUs einer bestimmten Größe die Größe einer berechneten CVR bestimmen kann, die notwendig ist, um die Zufallserwartung zu übertreffen. Diese Tabelle war von seinem Freund Lowell Schipper für Lawshe berechnet worden. Eine genaue Untersuchung dieser veröffentlichten Tabelle enthüllte eine Anomalie. In Schippers Tabelle steigt der kritische Wert für die CVR monoton vom Fall von 40 KMUs (Mindestwert = .29) bis zum Fall von 9 KMUs (Mindestwert = .78) an, um dann bei 8 KMUs (Mindestwert = .75) unerwartet abzufallen, bevor er bei 7 KMUs (Mindestwert = .99) seinen Höchstwert erreicht. Wendet man die Formel jedoch auf 8 Bewerter an, so ergibt das Ergebnis von 7 Essentials und 1 weiteren Bewertung einen CVR von .75. Wenn .75 nicht der kritische Wert wäre, dann würde man 8 von 8 Bewertern von Essential benötigen, die einen CVR von 1,00 ergeben würden. In diesem Fall müsste der Wert für 8 Bewerter 1,00 sein, um mit der aufsteigenden Reihenfolge der CVRs übereinzustimmen. Das würde das gleiche Prinzip verletzen, weil man den „perfekten“ Wert für 8 Bewerter hätte, aber nicht für Bewertungen bei anderen Zahlen von Bewertern, die entweder höher oder niedriger als 8 Bewerter sind. Ob diese Abweichung vom ansonsten monotonen Verlauf der Tabelle auf einen Rechenfehler von Schipper oder auf einen Schreib- oder Setzfehler zurückzuführen ist, ist unklar. Wilson, Pan und Schumsky (2012) versuchten, den Fehler zu korrigieren, fanden aber weder in den Schriften von Lawshe noch in Veröffentlichungen von Schipper eine Erklärung, wie die Tabelle der kritischen Werte berechnet wurde. Wilson und Kollegen stellten fest, dass die Schipper-Werte eine gute Annäherung an die Normalannäherung an die Binomialverteilung darstellen. Durch den Vergleich von Schippers Werten mit den neu berechneten Binomialwerten fanden sie außerdem heraus, dass Lawshe und Schipper ihre veröffentlichte Tabelle fälschlicherweise als einen einseitigen Test bezeichnet hatten, obwohl die Werte in Wirklichkeit die Binomialwerte für einen zweiseitigen Test widerspiegelten. Wilson und Kollegen veröffentlichten eine Neuberechnung der kritischen Werte für das Inhaltsvaliditätsverhältnis, die kritische Werte in Einheitsschritten bei mehreren Alpha-Niveaus liefert.
Die Tabelle mit den Werten ist die folgende:
N° of panelists Min. Wert
5 .99 6 .99 7 .99 8 .75 9 .78 10 .62 11 .59 12 .56 20 .42 30 .33 40 .29 From:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.460.9380&rep=rep1&type=pdf