Diskusjon Triggere Porteføljer Aksjonærlister

Ultimovacs (ULTI) småprat 2

Nå har vel ketilaaj på Fundamenttråden beregnet at sannsynlighet for signifikant resultat ligger mellom ca 80% (CM511) og ca 60%(CM067) pr dato for Initium, dvs 41 i kontrollarmen. Det stemmer med Polygon sin analyse fra oktober i fjor som har primary endpoint med 41 i kontrollarmen den 30 jan 23.

Ketilaaj sin beregning gir da en HR på 0.6 ved 41 events i kontrollarmen.

Er det ikke da litt defensivt å by opp til diskusjon om hva skjer med HR på 0,80??:blush:

3 Likes

Tenker det er greit å ha et forhold til det.

Det har blitt gjort oppkjøp med HR 0,8 i fase 2 og når vi med stor sannsynlighet vet at bivirknings profilen vil være svært bra, samt at UV1 er billig å produsere, enkel å injisere - kanskje vil man se at man får god virkning på de pasientene som vanligvis ikke får effekt av CPI, er ikke da HR 0,8 da bra?

Det at vaksiner er svært hot om dagen, er nok også en fordel.

4 Likes

Det snakkes om HR 0,6
Hva med HR 0,4 - Helt usannsynlig?

Det relevante er egentlig ikke HR, men hvor lav p-verdi man får. Selv en HR=0.80 er godt innenfor hva som er meningsfull klinisk nytte, men fordi n er forholdsvis lav i INITIUM, så vil ikke dette gi en lav nok p-verdi til at man kan være veldig sikker på at resultatet ikke var tilfeldig. Får man en HR som er lavere enn 0.60, så synker p-verdien veldig fort til noe som gjør det tilnærmet komplett usannsynlig at effekten man viste var tilfeldig - og det er mer enn nok. En HR så lav som 0.40 tror jeg er ikke er sannsynlig, da det er en del pasienter som UV1 ikke rekker å hjelpe - uansett hvor effektiv den er.

20 Likes

Takk for svar…
Hilsen veldig amatør :sweat_smile:

1 Like

Greit å se på alle mulige utfall, men kanskje greit å ta med det mest sannsynlige ut ifra det vi vet og ikke bare glansbildeutliggerene :wink:

P går nok under 0,05 i løpet av et par dager etter denne beregningen

5 Likes

Boblegutten fulgte opp 22 oktober med et langt innlegg med mange senario, her er hans beregning med populasjon som er forutsatt like frisk som i CM067, samme mPFS:

Nedenfor er en figur for en normal populasjon, der mPFS i utgangspunktet er 11.5 mnd.

image

Det kan også nevnes at når jeg tas median av alle simuleringene som gir 41/29 fordeling av events, gir det avlesning 9.januar 2022. Det er en uke før @Polygon sitt estimat. Jeg synes det er en fin validering av hverandres modeller at de kommer så nærme hverandre for dette estimatet.

Så både HR og P verdien skulle etter denne også ligge svært lavt nå

10 Likes

Ingen tvil, @Birgitte ; både @Boblegutten , @polygon og @ketilaaj har vist og lært de fleste av oss andre mye om kvalitetsvurdering av kliniske data, altså hva som skal til (i hvert fall medisinskfaglig) for at en legemiddelkandidat skal kunne nå markedet.

I min begrepsverden liker jeg å knytte HR-verdien til styrke / overlegenhet i en sammenlikning med et konkurrerende produkt / behandlingsløsning (ofte “Standard of Care”).

For å bevise denne overlegenheten må imidlertid resultatet måles etter pålitelighet / troverdighet - desto mer krevende jo lavere pasienttallet i studien er, dvs. p-verdien.

Og så ser vi av flere av de beregningene som de tre ovennevnte forumvennene har delt at disse verdiene står i et forhold til hverandre (slik også i tabellen du gjengir).

Om p-verdien er en artikkel i "Tidsskriftet* (Legeforeningens sjåvinistiske navn på eget fagtidsskrift) vel verdt å lese:

14 Likes

Bare for å fortsette der du slapp @abacus og enda mer forenkle hvordan man kan forholde seg til Hazard Ratio og Confidence Interval:

La oss si at du har en evendrevet studie hvor du måler endepunktet død og du får følgende resultat: HR 0.7, 95% CL på 0.36-0.89 og P < 0.004

Dette kan oversette til:

Pasientene i intervensjonsgruppen hadde, ila av studietiden, 30% mindre sannsynlighet for å få et endepunkt (død) enn kontrollgruppen og man kan si med 95% confidence/presisjon at den sanne verdien ligger mellom 64%-11% og resultater er statistisk signifikant.

Eller mao: dette er behandlingen som er bedre enn det man tester opp mot (hvis bivirkningsprofilen også akseptabel vel å merke).

10 Likes

Hvordan får du 56% i det eksempelet?

4 Likes

Fordi jeg er dårlig i matte…vet ikke hva jeg tenkte. Har rettet opp :blush:

3 Likes

64% @Roc :sweat_smile:

Og så tror jeg det er et viktig poeng når man snakker om Hazard Ratio at er det er den enkelte pasients sannsynlighet, og ikke gruppen som helhet gjennom hele studien - for det ville bare blitt det samme som eventfordelingen.

De p-verdiene som @Birgitte siterer meg på over her er p-verdier på denne rene eventfordelingen. De er en god indikator på p-verdi av resulterende HR, men denne vil variere med fasongen på PFS-plottene. Vi kan f.eks få et signifikant svar med 40/30, og vi kan få et ikke-signifikant svar med 42/28 - det er bare (vesentlig) mindre sannsynlig.

5 Likes

Definitivt et amatør-spørsmål, men hvordan vurderer dere HR og P-verdi opp mot hverandre? @roc @polygon

Altså, vil dere heller ha stor effekt, med litt «feil» sannsynlighet eller litt «feil» effekt med stor sannsynlighet?

F.eks HR 0,50 og P<0,10 eller HR 0,75 og P<0,001? (Tar forbehold om at disse eksemplene ikke gir mening, bare prøver meg litt frem her) :sweat_smile:

Var så helvetes mye mas da folkens!!!

Sorry, skrev opprinnelig innlegg rett før jeg måtte hente på trening. Ble forsinket, når jeg så hentet ham, stod han og ventet ute, men jeg måtte jo bare sjekke TI og rette opp feilen mens han satte på setebeltet. Sitter nå alene i garasjen og svarer.

Godt det som regel bare er en fasit på slik enkel matematikk, for ellers hadde jeg uansett argumentert og kranglet på at jeg hadde rett :sweat_smile:

15 Likes

Enig. Men tingen er den at vi vet veldig godt hvordan fasongen på det PFS-plottet vil se ut (fordi den er så lik i alle andre studier), og da vet vi også at vi MÅ vise sterk (og ikke moderat) effekt for å få et signifikant svar.

Dine eksempler der @anon50125742 er jeg ganske sikker på ikke er teoretisk mulige ytterpunkter en gang.

Men dette er mye mer @Boblegutten sitt domene egentlig.

6 Likes

Ikke dumt spørsmål det @anon50125742.

Med forbehold, og dette er mer et personlig svar. Det er flere parametre som kan være med på å vurdere hvordan ser på dette slik som hvor stor studien er/power/fase/type endepunkt/SoC etc. For Ulti sitt vedkommende så vil jeg si 0,75 og P<0,001. Men det er også tilfeller hvor man har sett deals hvor fase 2 har vist numerisk stor effekt, men det ikke har vært statistisk signifikant eller at man har misset på endepunktet. Og for interne farma assets, er det ikke uvanlig at man kan gå videre med en ny studie eller til neste fase selv med et statistisk ikke signifikant resultat. Man må se på data, signalene, biologien og det hele bilde av hva studien viser opp mot risiko og unmet need. Er legemidler som har blitt godkjent også hvor man ikke har klart å vise noe signifikant på primærendepunktet

3 Likes

Enig i det du skriver der @Roc , men det eksempelet der tror jeg altså ikke er mulig i INITIUM. Jeg tror det som er mer realistisk er f.eks en HR=0.70 og en (to-sidig) p-verdi på 0.15. Det ville gitt et signal om sterk effekt, men en partner vil måtte regne med såpass høy sannsynlighet som 7,5% for at UV1 ikke har effekt, eller har negativ effekt. Men på den annen side altså 92,5% sannsynlighet for en revolusjon i kreftbehandling. Jeg tror mao det vil være godt nok for en lukrativ deal, men ingen umiddelbar revolusjon.

Jeg tror det realistiske ytterpunktet for signifikant, men høy HR er i størrelsesorden HR=0.65 (og altså p<0.05), men dette er jeg sikker på at @Boblegutten kan gi et definitivt svar på.

4 Likes

Ja, de to eksemplene var veldig tilfeldig valgt, for å prøve å forklare hvordan jeg tenkte. Tror til og med jeg skjønner hva du mener nå, med at kombinasjonene ikke er mulige å oppnå :ok_hand::sweat_smile:

Takk for svar til dere begge :+1:

5 Likes

Stoler på deg, det har nok dere som har modellert mer snøring på.

Personlig hadde definitivt tatt dette videre med HR=0.70 og en (to-sidig) p-verdi på 0.15. Dette er fase 2, ikke stor studie, med flere fase 1 signaler i samme retning i et felt med stort behov og potensiell revolusjonerende behandling….ingen grunn til å sette dette på hylla basert på statistikk. Drug development er så mye mer enn statistikk :smiling_imp:

7 Likes

Jim Allison er enig med deg i et nytt intervju :sweat_smile:

«First of all, look at your data very closely. Learn it. Don’t just say, “Oh, I made a hypothesis. Here’s the data that supported or didn’t support my hypothesis.”

That’s a very short-sighted way of doing it. Look at your data closely, because it may tell you something that had nothing to do with your hypothesis at all.

It’s very seldom that you get an answer that’s a crisp yes or no—particularly an important one—where there isn’t already a lot of knowledge. You get something that’s close, but not quite there.»

4 Likes