Nahezu alle Bewilligungsbehörden verlangen eine Schätzung des angemessenen Stichprobenumfangs, um die in der Studie angenommenen Effekte nachzuweisen. Aber alle Studien sind mit einer Schätzung des Stichprobenumfangs gut bedient, da sie eine Menge Ressourcen einsparen kann.
Warum? Unterdimensionierte Studien können keine echten Ergebnisse finden, und überdimensionierte Studien finden sogar unbedeutende Ergebnisse. Sowohl unterdimensionierte als auch überdimensionierte Studien verschwenden Zeit, Energie und Geld; erstere, indem sie Ressourcen einsetzen, ohne Ergebnisse zu finden, und letztere, indem sie mehr Ressourcen als nötig einsetzen. Beide setzen eine unnötige Anzahl von Teilnehmern experimentellen Risiken aus.
Der Trick ist, eine Studie so zu dimensionieren, dass sie gerade groß genug ist, um einen Effekt von wissenschaftlicher Bedeutung zu entdecken. Wenn sich herausstellt, dass der Effekt größer ist, ist das umso besser. Aber zuerst müssen Sie einige Informationen sammeln, auf denen die Schätzungen basieren.
Sobald Sie diese Informationen gesammelt haben, können Sie von Hand mit einer Formel rechnen, die in vielen Lehrbüchern zu finden ist, eines der vielen spezialisierten Softwarepakete verwenden oder es einem Statistiker überlassen, abhängig von der Komplexität der Analyse. Aber unabhängig davon, wie Sie oder Ihr Statistiker es berechnen, müssen Sie zuerst die folgenden 5 Schritte durchführen:
Schritt 1. Legen Sie einen Hypothesentest fest.
Die meisten Studien haben viele Hypothesen, aber für die Berechnung des Stichprobenumfangs wählen Sie eine bis drei Haupthypothesen. Legen Sie diese in Form einer Null- und einer Alternativhypothese fest.
Schritt 2. Legen Sie das Signifikanzniveau des Tests fest.
Gewöhnlich ist es alpha = .05, aber es muss nicht sein.
Schritt 3. Geben Sie die kleinste Effektgröße an, die von wissenschaftlichem Interesse ist.
Dies ist oft der schwierigste Schritt. Es geht hier nicht darum, die Effektgröße anzugeben, die Sie zu finden erwarten oder die andere gefunden haben, sondern die kleinste Effektgröße, die von wissenschaftlichem Interesse ist.
Was bedeutet das? Jede Effektgröße kann bei einer ausreichend großen Stichprobe statistisch signifikant sein. Ihre Aufgabe ist es, herauszufinden, an welchem Punkt Ihre Kollegen sagen werden: „Na und, wenn es signifikant ist? Es beeinflusst nichts!“
Für einige Ergebnisvariablen ist der richtige Wert offensichtlich; für andere überhaupt nicht.
Ein paar Beispiele:
- Wenn Ihre Therapie die Angst um 3 % senken würde, würde das tatsächlich das Leben eines Patienten verbessern? Wie groß müsste der Rückgang sein?
- Wenn die Reaktionszeiten auf den Stimulus in der experimentellen Bedingung 40 ms schneller wären als in der Kontrollbedingung, bedeutet das etwas? Ist ein Unterschied von 40 ms sinnvoll? Sind 20? 100?
- Wenn bei der Behandlung 4 Käfer weniger pro Pflanze gefunden wurden als bei der Kontrolle, würde das die Pflanze wirklich beeinflussen? Können 4 Käfer mehr eine Pflanze zerstören oder gar verkümmern, oder braucht es 10? 20?
Schritt 4. Schätzen Sie die Werte anderer Parameter, die zur Berechnung der Potenzfunktion notwendig sind.
Die meisten statistischen Tests haben das Format von Effekt/Standardfehler. Wir haben in Schritt 3 einen Wert für den Effekt gewählt. Der Standardfehler ist im Allgemeinen die Standardabweichung/n. Um für n zu lösen, worum es hier geht, brauchen wir einen Wert für die Standardabweichung. Es gibt nur zwei Möglichkeiten, ihn zu erhalten.
1. Der beste Weg ist, Daten aus einer Pilotstudie zu verwenden, um die Standardabweichung zu berechnen.
2. Der andere Weg ist, historische Daten zu verwenden – eine andere Studie, die die gleiche abhängige Variable verwendet hat. Wenn Sie mehr als eine Studie haben, ist das sogar noch besser. Mitteln Sie deren Standardabweichungen, um eine zuverlässigere Schätzung zu erhalten.
Manchmal sind beide Informationsquellen schwer zu bekommen, aber wenn Sie Stichprobengrößen wollen, die auch nur annähernd genau sind, brauchen Sie die eine oder die andere.
Schritt 5. Bestimmen Sie die beabsichtigte Aussagekraft des Tests.
Die Aussagekraft eines Tests ist die Wahrscheinlichkeit, Signifikanz zu finden, wenn die Alternativhypothese wahr ist.
Eine Aussagekraft von .8 ist das Minimum. Wenn es schwierig sein wird, die Studie zu wiederholen oder ein paar weitere Teilnehmer hinzuzufügen, ist eine Potenz von .9 besser. Wenn Sie sich um einen Zuschuss bewerben, ist eine Potenz von .9 immer besser.
Nun rechnen Sie.
