Detta är en fundamental feltolkning av studieresultaten, och P-värden generellt. P-värden testar inte sannolikheten för hypoteser, utan i antagandena som görs för att räkna fram P-värdet utgår man från att en hypotes (ofta nollhypotes) är sann. P-värdet anger endast hur avvikande datan är jämfört med testhypotesen. P=0.197 innebär att det är ca. 20% sannolikhet att en lika stor effekt eller större skulle inträffa endast om slumpen verkade (och alla andra antaganden i den statiska modellen är korrekta och följs), om det INTE fanns någon skillnad mellan grupperna, d.v.s. om nollhypotesen gäller i populationen. Det är INTE samma sak som att påstå att det är 80% sannolikhet att det finns en lika stor effekt eller större i populationen. Den sannolikheten är antingen 100% eller 0%. P-värdet testar INTE sannolikheten för att testhypotesen gäller.
Ett enkelt tankeexperiment förtydligar saken. Tänk dig en studie där patienter randomiseras till en av två grupper, A eller B, utan deras vetskap. Båda grupperna får exakt samma behandling, det enda som skiljer dem åt är att patienterna tillhör grupp A eller grupp B. Även om det är osannolikt, kan en skillnad i effektstorlek med P-värde <0.05 uppstå. Är det nu 95% sannolikhet att det är en skillnad i behandlingseffekt på minst denna effektstorlek? Nej! Sannolikheten är 0%!
Att bedöma sannolikheten för att den alternativa hypotesen gäller måste göras som en syntes av flera faktorer, där P-värdet är en av dem, men knappast något man isolerat direkt kan översätta till en sannolikhet som P-värdet definitionsmässigt inte beskriver.
