Medicine
In de medische praktijk zijn de verschillen tussen de toepassingen van screening en tests aanzienlijk.
Medical screening
Screening omvat relatief goedkope tests die worden gegeven aan grote populaties, van wie niemand klinische aanwijzingen van ziekte vertoont (bijv,
Tests zijn veel duurdere, vaak invasieve procedures die alleen worden uitgevoerd bij mensen die een klinische indicatie van een ziekte vertonen, en die meestal worden toegepast om een vermoedelijke diagnose te bevestigen.
In de meeste staten van de VS moeten pasgeborenen bijvoorbeeld worden gescreend op fenylketonurie en hypothyreoïdie, naast andere aangeboren aandoeningen.
Hypothese: “De pasgeborenen hebben fenylketonurie en hypothyreoïdie”
Nulhypothese (H0): “De pasgeborenen hebben geen fenylketonurie en hypothyreoïdie.”
Type I-fout (vals-positief): Het ware feit is dat de pasgeborenen geen fenylketonurie en hypothyreoïdie hebben, maar we gaan ervan uit dat ze de aandoeningen volgens de gegevens hebben.
Type II-fout (vals-negatief): Het ware feit is dat de pasgeborenen fenylketonurie en hypothyreoïdie hebben, maar we gaan ervan uit dat ze de aandoeningen volgens de gegevens niet hebben.
Hoewel ze een hoog percentage vals-positieven vertonen, worden de screeningstests als waardevol beschouwd omdat ze de kans dat deze aandoeningen in een veel vroeger stadium worden opgespoord, sterk vergroten.
De eenvoudige bloedtests die worden gebruikt om mogelijke bloeddonors te screenen op HIV en hepatitis hebben een aanzienlijk percentage fout-positieven; artsen gebruiken echter veel duurdere en veel preciezere tests om vast te stellen of iemand daadwerkelijk met een van deze virussen is besmet.
De meest besproken fout-positieven bij medische screening komen misschien van de mammografie voor het screenen op borstkanker. In de VS bedraagt het percentage vals-positieve mammografieën tot 15%, het hoogste ter wereld. Een gevolg van het hoge percentage vals-positieve mammografieën in de VS is dat over een periode van 10 jaar de helft van de gescreende Amerikaanse vrouwen een vals-positieve mammografie krijgt. Vals-positieve mammografieën zijn kostbaar: in de VS wordt jaarlijks meer dan 100 miljoen dollar uitgegeven aan vervolgonderzoek en -behandeling. Ze veroorzaken ook onnodige ongerustheid bij vrouwen. Als gevolg van het hoge percentage vals-positieve mammografieën in de VS heeft maar liefst 90-95% van de vrouwen die een positieve mammografie krijgen, de aandoening niet. Het laagste percentage ter wereld is in Nederland, 1%. De laagste percentages worden over het algemeen aangetroffen in Noord-Europa, waar mammografieën tweemaal worden gelezen en een hoge drempel voor aanvullend onderzoek wordt vastgesteld (de hoge drempel vermindert de kracht van de test).
De ideale bevolkingsonderzoekstest zou goedkoop en gemakkelijk toe te passen moeten zijn en zo mogelijk nul vals-negatieven moeten opleveren. Dergelijke tests leveren gewoonlijk meer vals-positieven op, die vervolgens door meer verfijnde (en dure) tests kunnen worden weggenomen.
Medische tests
Vals-negatieven en vals-positieven zijn belangrijke problemen bij medische tests.
Hypothese: “De patiënten hebben de specifieke ziekte.”
Nulhypothese (H0): “De patiënten hebben de specifieke ziekte niet.”
Type I-fout (fout-positief): “Het ware feit is dat de patiënten geen specifieke ziekte hebben, maar de artsen oordelen dat de patiënten ziek waren volgens de testrapporten.”
Vals-positieven kunnen ook ernstige en contra-intuïtieve problemen opleveren als de aandoening waarnaar wordt gezocht zeldzaam is, zoals bij screening. Als een test een fout-positief percentage heeft van één op tienduizend, maar slechts één op een miljoen monsters (of mensen) is echt positief, dan zal het merendeel van de door die test gedetecteerde positieven vals zijn. De kans dat een waargenomen positief resultaat vals-positief is, kan worden berekend met de stelling van Bayes.
Type II-fout (vals-negatief): “Het ware feit is dat de ziekte feitelijk aanwezig is, maar de testrapporten geven een ten onrechte geruststellende boodschap aan patiënten en artsen dat de ziekte afwezig is.”
Vals-negatieven leveren ernstige en contra-intuïtieve problemen op, vooral wanneer de aandoening waarnaar wordt gezocht veel voorkomt. Als een test met een vals-negatief percentage van slechts 10% wordt gebruikt om een populatie te testen die 70% werkelijk voorkomt, zullen veel van de door de test gedetecteerde negatieven vals zijn.
Dit leidt soms tot een ongepaste of inadequate behandeling van zowel de patiënt als zijn ziekte. Een veelvoorkomend voorbeeld is het vertrouwen op cardiale stresstests om coronaire atherosclerose op te sporen, ook al is bekend dat cardiale stresstests alleen beperkingen van de bloedstroom in de kransslagaders als gevolg van vergevorderde stenose detecteren.
Biometrie
Biometrische matching, zoals voor vingerafdrukherkenning, gezichtsherkenning of irisherkenning, is vatbaar voor type I en type II fouten.
Hypothese: “De invoer identificeert niet iemand in de gezochte lijst met personen”
Nulhypothese: “De invoer identificeert wel iemand in de gezochte lijst met personen”
Type I-fout (percentage onterechte afwijzingen): “Het ware feit is dat de persoon iemand uit de gezochte lijst is, maar het systeem concludeert dat de persoon dat niet is volgens de gegevens.”
Type II fout (vals match percentage): “Het ware feit is dat de persoon niet iemand is in de gezochte lijst, maar het systeem concludeert dat de persoon iemand is die we volgens de gegevens zoeken.”
De kans op fouten van type I wordt de “false reject rate” (FRR) of false non-match rate (FNMR) genoemd, terwijl de kans op fouten van type II de “false accept rate” (FAR) of false match rate (FMR) wordt genoemd.
Als het systeem is ontworpen om zelden verdachten te matchen, dan kan de kans op fouten van type II de “false alarm rate” worden genoemd. Wordt het systeem daarentegen gebruikt voor validatie (en is acceptatie de norm), dan is de FAR een maatstaf voor de veiligheid van het systeem, terwijl de FRR de mate van ongemak voor de gebruiker meet.
Veiligheidsscreening
Hoofdartikelen: explosievendetectie en metaaldetector
Vals-positieven worden dagelijks routinematig aangetroffen bij de veiligheidsscreening op luchthavens, die uiteindelijk visuele inspectiesystemen zijn. De geïnstalleerde veiligheidsalarmen zijn bedoeld om te voorkomen dat wapens aan boord van vliegtuigen worden gebracht; toch zijn ze vaak op zo’n hoge gevoeligheid ingesteld dat ze vele malen per dag alarm slaan voor onbeduidende voorwerpen, zoals sleutels, riemgespen, los kleingeld, mobiele telefoons, en spijkers in schoenen.
Hier is de hypothese: “Het voorwerp is een wapen.”
De nulhypothese: “Het voorwerp is geen wapen.”
Type I fout (vals-positief): “Het ware feit is dat het voorwerp geen wapen is, maar het systeem zwijgt op dit moment.”
Type II-fout (vals negatief) “Het ware feit is dat het voorwerp een wapen is, maar het systeem zwijgt op dit moment.”
De verhouding tussen vals-positieven (een onschuldige reiziger wordt als terrorist geïdentificeerd) en vals-positieven (een terrorist in spe wordt ontdekt) is dus zeer hoog; en omdat bijna elk alarm vals-positief is, is de positief voorspellende waarde van deze screeningtests zeer laag.
De relatieve kosten van vals-resultaten bepalen hoe waarschijnlijk het is dat de makers van de tests deze gebeurtenissen toestaan. Aangezien de kosten van een fout-negatieve uitslag in dit scenario extreem hoog zijn (het niet detecteren van een bom die aan boord van een vliegtuig wordt gebracht kan honderden doden tot gevolg hebben), terwijl de kosten van een fout-positieve uitslag relatief laag zijn (een redelijk eenvoudige nadere inspectie), is de meest geschikte test er een met een lage statistische specificiteit maar een hoge statistische gevoeligheid (een test die een hoog percentage fout-positieven toestaat in ruil voor een minimum aan fout-negatieven).
Computers
De begrippen vals-positieven en vals-negatieven zijn wijdverbreid in het rijk van computers en computertoepassingen, waaronder computerbeveiliging, spamfiltering, malware, optische karakterherkenning en vele andere.
Bij het filteren van spam bijvoorbeeld is de hypothese hier dat het bericht spam is.
Dus, nulhypothese: “Het bericht is geen spam.”
Type I-fout (vals-positief): “Spamfilter- of spamblokkeringstechnieken classificeren een legitiem e-mailbericht ten onrechte als spam en belemmeren als gevolg daarvan de aflevering ervan.”
Hoewel de meeste anti-spamtactieken een hoog percentage ongewenste e-mails kunnen blokkeren of filteren, is dit doen zonder significante vals-positieve resultaten te creëren een veel veeleisender taak.
Type II-fout (vals-negatief): “Spam e-mail wordt niet gedetecteerd als spam, maar wordt geclassificeerd als niet-spam.” Een laag aantal vals-negatieven is een indicator voor de efficiëntie van spamfiltering.