Bijna alle subsidieverstrekkers eisen een schatting van een adequate steekproefgrootte om de in het onderzoek veronderstelde effecten op te sporen. Maar alle studies zijn gebaat bij schattingen van de steekproefgrootte, omdat dit veel middelen kan besparen.
Waarom? Te kleine studies kunnen geen echte resultaten vinden, en te grote studies vinden zelfs niet-substantiële resultaten. Zowel te kleine als te grote studies verspillen tijd, energie en geld; de eerste door middelen te gebruiken zonder resultaten te vinden, en de tweede door meer middelen te gebruiken dan nodig is. Beide stellen een onnodig aantal deelnemers bloot aan experimentele risico’s.
De truc is om een onderzoek zo groot te maken dat het net groot genoeg is om een effect van wetenschappelijk belang op te sporen. Als het effect groter blijkt te zijn, des te beter. Maar eerst moet je informatie verzamelen waarop je de schattingen kunt baseren.
Als je die informatie eenmaal hebt verzameld, kun je het met de hand berekenen met behulp van een formule die in veel handboeken te vinden is, een van de vele gespecialiseerde softwarepakketten gebruiken, of het overlaten aan een statisticus, afhankelijk van de complexiteit van de analyse. Maar ongeacht de manier waarop u of uw statisticus het berekent, moet u eerst de volgende 5 stappen uitvoeren:
Stap 1. Specificeer een hypothesetoets.
De meeste studies hebben veel hypothesen, maar voor berekeningen van de steekproefomvang kiest u één tot drie hoofdhypothesen. Maak ze expliciet in termen van een nulhypothese en een alternatieve hypothese.
Step 2. Specificeer het significantieniveau van de test.
Het is meestal alpha = .05, maar dat hoeft niet.
Step 3. Geef de kleinste effectgrootte aan die van wetenschappelijk belang is.
Dit is vaak de moeilijkste stap. Het gaat er hier niet om de effectgrootte te specificeren die u verwacht te vinden of die anderen hebben gevonden, maar de kleinste effectgrootte die van wetenschappelijk belang is.
Wat houdt dat in? Elke effectgrootte kan statistisch significant zijn bij een steekproef die groot genoeg is. Het is uw taak uit te vinden op welk punt uw collega’s zullen zeggen: “En wat dan nog, als het significant is? Het heeft toch geen effect!”
Voor sommige uitkomstvariabelen is de juiste waarde duidelijk; voor andere helemaal niet.
Een paar voorbeelden:
- Als uw therapie de angst met 3% vermindert, zou dat het leven van een patiënt werkelijk verbeteren? Hoe groot moet de daling zijn?
- Als de reactietijd op de stimulus in de experimentele conditie 40 ms sneller is dan in de controleconditie, zegt dat dan iets? Is een verschil van 40 ms zinvol? Is 20? 100?
- Als er bij de behandeling 4 kevers per plant minder worden gevonden dan bij de controle, heeft dat dan echt invloed op de plant? Kunnen 4 kevers meer een plant vernietigen of zelfs verdoven, of moeten het er 10 zijn? 20?
Stap 4. Maak een schatting van de waarden van andere parameters die nodig zijn om de machtsfunctie te berekenen.
De meeste statistische tests hebben het formaat effect/standaardafwijking. We hebben in stap 3 een waarde voor het effect gekozen. De standaardfout is meestal de standaardafwijking/n. Om n op te kunnen lossen, waar het hier allemaal om gaat, hebben we een waarde voor de standaardafwijking nodig. Er zijn slechts twee manieren om die te krijgen.
1. De beste manier is om gegevens uit een pilotstudie te gebruiken om de standaardafwijking te berekenen.
2. De andere manier is om historische gegevens te gebruiken – een andere studie waarin dezelfde afhankelijke variabele is gebruikt. Als u meer dan één onderzoek hebt, nog beter. Bereken het gemiddelde van hun standaardafwijkingen voor een betrouwbaardere schatting.
Soms is het moeilijk om aan beide informatiebronnen te komen, maar als je steekproefgroottes wilt die ook maar enigszins accuraat zijn, heb je de een of de ander nodig.
Step 5. Specificeer de beoogde power van de test.
De power van een test is de kans dat significantie wordt gevonden als de alternatieve hypothese waar is.
Een power van .8 is het minimum. Als het moeilijk zal zijn om het onderzoek over te doen of een paar deelnemers toe te voegen, is een power van .9 beter. Als je een subsidie aanvraagt, is een power van .9 altijd beter.
Nu uitrekenen.
