Verdt også å merke seg at studien «kun» går i Tyskland og til tross for dette ble rekruttert (svært) radig.
18 Likes
Utsettelsen av INITUM åpner opp for vurderinger om når signifikans er oppnådd for selve gull-standarden for evaluering av denne type studier: Overall Survival (OS), da OS-dataene ikke gir rom for subjektiv tolkning.
De Individuelle Pasient Dataene (IPD) som @boblegutten har beregnet gjør det mulig å studere dette nærmere. Som vi ser av den forrige posten (se lenke under) så vil OS eventene skje under hele studiet:
Ved å bruke samme metode som tidligere er det mulig å estimere antall OS-eventer ved forskjellige datoer. Input er som før rekrutteringskurven, men nå brukes Kaplan-Meier(KM)-plottet for OS fra CheckMate-067 (istedenfor PFS dataene(Progression Free Survival)). Basert på 10.000 simuleringer får jeg plottet under. Som en ser, er det ganske sannsynlig med ca 30 OS-eventer ved 18mnd cut-off for studiet (15.01.2024).
Det som er interessant nå er å få en vurdering på hvor signifikante disse utfallene kan være, og for å få til det trenger vi antakelser og analyser om hvordan den eksperimentelle armen kan tenkes å ha utviklet seg ved forskjellige HR nivåer. Kanskje vi kan få litt hjelp av @boblegutten for å belyse dette?
(Note: tittelen på plottet angir hvilken kurve som har blitt brukt i analysen. Som en ser er median=nan; dette betyr at medianen enda ikke var nådd i KM-plottet som ble brukt som input.)
54 Likes
Det skal jeg selvfølgelig gjøre. Der @Ketilaaj har vist sannsynlighetskurver for fordeling av events i kontrollarmen, er hensikten med dette innlegget å vise hvilken hazard ratio og p-verdi ulike eventfordelinger kan gi. Det er viktig å påpeke at jeg ikke forteller noe om hvor sannsynlig ulike event-fordelinger er, eller hvor sannsynlig ulik HR og p-verdier er. Jeg prøver kun å beskrive forholdet mellom disse variablene. Så kan man trekke disse mot @Ketilaaj sine kurver, og vurdere hvorvidt man tror det er mulig med modne nok data til at det potensielt kan være signifikante data ved database lock. For PFS kan man si noe om sannsynligheten for ulike utfall, siden vi vet at det ikke er oppnådd 70 events. For OS har vi ikke denne informasjonen, men det er nok godt under 70, siden det som regel tar lengre tid å få et OS event.
Jeg har i to tidligere innlegg skrevet detaljert om metode og teori, som ligger her:
Ultimovacs (ULTI) Fundamentale forhold - Biotek - TekInvestor - Norges Beste Aksjeforum
Ultimovacs (ULTI) Fundamentale forhold - Biotek - TekInvestor - Norges Beste Aksjeforum
Som nevnt har jeg og @Ketilaaj brukt det samme datasettet for våre simuleringer. Dette er basert på Kaplan Meier plottet for Overall survival (OS) til Checkmate 067. Det ser slik ut, og det er den grønne kurven øverst som er benchmark for kontrollarmen i INITIUM:
Five-Year Survival with Combined Nivolumab and Ipilimumab in Advanced Melanoma | NEJM
Plottet rekonstrueres ved å markere punkter på den grønne kurven ovenfor, og mate de inn i en algoritme kalt Guyot-metoden sammen med risk-tabellen under. Det som er viktig å understreke er at etter plottet blir rekonstruert, lager vi en ren event-kurve basert på dette. Jeg har gjort det slik at de pasientene som sensureres med mindre enn 60 måneder, endres til 60 måneder. Da endres fasongen på KM-plottet noe, ved at den heves. Som man kan se på figuren er det veldig liten sensurering for OS i Checkmate 067. For PFS er det imidlertid en del, men det er ikke i fokus her. Her det det rekonstruerte plottet:
«Ipi + Nivo» står da for «Ipilimumab + Nivolumab», som er sjekkpunkthemmerene i kontrollarmen, som UV1 kombineres med i den eksperimentelle armen. Også nevnt i tidligere innlegg er metodene våre litt forskjellig i forhold til hvordan vi simulerer overlevelsesdataene. Det kan demonstreres av de to plottene under:
For å simulere OS eller PFS for hver enkelt pasient har @Ketilaaj en interpoleringsmetode der han trekker et tall mellom 0 og 1 for hver enkelt pasient fra den grønne kurven, som da tilsvarer verdien langs y-aksen (Overall Survival). Deretter leses av hvor dette punktet på grafen er for x-aksen. Dette tilsvarer dermed den ene pasientens OS.
Jeg bruker en litt annen metode, der jeg bruker en regresjonsmetode for å tilpasse en jevn funksjon som simulerer OS for hver enkelt pasient. Dette er den blå grafen. Selve simuleringen fungerer på samme måte. Det trekkes et tall mellom 0 og 1, men det leses av hvilken verdi langs x-aksen det blir for den blå grafen.
For å simulere events direkte fra en referansestudie slik som her er derfor @Ketilaaj sin metode den mest presise, siden den bruker referansedataene direkte. Samtidig er metoden jeg bruker praksis for kliniske studier ved at man har en overlevelsesfunksjon, og man mater da inn hazard rater når studiene designes. Alle modeller for studiedesign jeg kjenner til krever hazard rater, som da er praksis når man bruker sample size software som nQuery, noe jeg har vist utdrag fra på forumet tidligere. I tillegg er det lettere å simulere en eksperimentell arm, som er noe av grunnen til at metodene er noe forskjellig. Forskjellen for kontrollarmen burde bli minimal. Som man ser ovenfor, ligger kurvene veldig tett på hverandre.
Figuren nedenfor viser en annen forskjell, nemlig at jeg som nevnt ovenfor simulerer utfall for den eksperimentelle armen. Dette for å kunne danne et datasett som gjør det mulig å beregne HR og p-verdier. Ved HR=0.60 ser den slik ut:
Som den oppmerksomme leser vil se går det en liten stund før armene skiller seg fra hverandre. Jeg har antatt at det tar noen få måneder før UV1 begynner å virke, og forhåndsspesifisert at armene ikke skal skille lag før etter 3 måneder. Simuleringer viste faktisk HR=0.68 i dette tilfellet, som gir mening grunnet antagelsen om forsinket effekt. Fra tre måneder var forskjellen mellom armene stilt inn på HR=0.60.
Disse funksjonene er da basert på delvis eksponentialfordeling. I innlegget om INITIUM jeg lenket til gikk jeg i dypden på matematikken rundt dette. For å være transparent legger jeg ved breakpointsene og hazard ratene i tabellen nedenfor. lambda_c er hazard rate for kontrollarmen, lambda_e for eksperimentell arm. Breakpointsene markerer dermed hvor punktene grafene i figuren ovenfor endrer hazard rate, altså vekstkoeffisient.
Andre detaljer som kan være greit å få med seg er at det er benyttet blokkrandomisering, med seks syntetiske pasienter i hver blokk. Det gir 26 blokker til sammen. Rekrutteringstidspunktene har jeg fått av @Polygon, slik at våre data er identiske der. Som nevnt er det benyttet en event-kurve, men jeg har dessuten lagt på en sensureringsfunksjon. Dette gjør at noen av pasientene som egentlig ville blitt langtidsoverlevere, dropper ut på et tidligere tidspunkt, for å gjøre dataene mer realistiske og likere det originale KM plottet. Her har jeg brukt en årlig dropoutrate på 0.02, som da er hazard raten for dropout. Når jeg tilpasset hazard raten ved brukt av regresjon ble denne 0.008, som til dels illustrerer hvor lav dropout det faktisk er for OS. Jeg har dermed antatt noe høyere enn det jeg fikk ved regresjon. Videre er en viktig detalj at simuleringene ble låst for 15.01.2024, som da betyr at de syntetiske pasientene som er i live på dette tidspunktet høyre-sensureres. Det er gjort 50000 simuleringer totalt der jeg stiller inn på ulik HR, for å få et robust datasett.
Nedenfor presenteres det noen tabeller for sammenhengen mellom eventfordeling, HR med tilhørende 80% og 95% konfidensintervall, samt p-verdi. Jeg har brukt lignende ordforklaringer tidligere, men tenker det er greit med en gjennomgang:
Events_C: Antall OS events i kontrollarmen.
Events_E: Antall OS events i eksperimentell arm
HR: Hazard ratio. Beskriver effektforskjellen mellom armene. HR=0.60 betyr at pasientene i eksperimentell arm har 40% lavere sjanse for å dø enn pasientene i kontrollarmen.
95% CI_u: Øvre 95% konfidensintervall
80% CI_u: Øvre 80% konfidensintervall
95% CI_l: Nedre 95% konfidensintervall
80% CI_l: Nedre 80% konfidensintervall
p-verdi: Tosidig p-verdi beregnet med log-rank test. Beskriver sannsynligheten for at det ikke er en effektforskjell mellom armene.
Som nevnt mange ganger på forumet, er INITUM designet med en en-sidig alpha på 0.10. Primærpunktet som er PFS, blir nådd den ensidige p-verdien er under 0.1. Siden jeg benytter tosidig p-verdi, så må verdiene jeg viser i tabellene dermed deles på to for å sammenlignes. Det er vanlig i fase 3 studier at sekundærendepunktene rapporteres som oppnådd om den tosidige p-verdien er under 0.05 for hvert enkelt sekundærendepunkt. Selskapet rapporterte OS som signifikant når den ble ensidig 0.0985, så det tenker jeg er tilfellet her også. Altså at sekundærendepunktene følger samme alpha som primærendepunktet. Om de rapporterer det som en del av topplinje resultatene for INITUM er imidlertid noe usikkert. Nedenfor er resultatene fra simuleringene. Jeg har tatt utgangspunkt i 28, 30 og 32 events. Sjekk @Ketilaaj sitt innlegg ovenfor som referanse for sannsynligheter ved de gitte eventfordelingene. Først med 32 events i kontrollarmen:
Relevante nivåer er som nevnt at p-verdien er under 0.20, og deretter 0.05. Samtidig vil man gjerne ha øvre CI under 1.00. Om man er pirkete da, så er det 32/23 og 32/19 som gjelder i dette tilfellet, men da har man også god margin. Det er imidlertid viktig å påpeke at dette er dette er basert på gjennomsnittlige KM-plot, og like event-fordelinger gir ulik HR og p-verdi, avhengig av når eventene inntreffer. F.eks 32/20 fordeling kan derfor gi både over og under 0.0495 i p-verdi. Metode for beregning av gjennomsnittlige KM-plot er grundig beskrevet i innlegget om NIPU jeg lenket til i starten.
Her er tabellen for 30 events:
Så her det det relevante 30/22, eventuelt 30/21 om man absolutt vil ha grensen under 0.20 sammen med CI under 1.00. Sammen med 30/18 for det absolutte bullscenarioet.
Her er tabellen for 28 events i kontrollarmen:
Videre over til noen KM-plot. Som man ser i tabellene ovenfor krever det en stor effektforskjell, noe man også kan se for plottene. Som man ser er det lite sensurering før 18 måneder, pga den lave sensureringsraten. Etter dette er det veldig mye sensurering, som skyldes at det er mange langtidsoverlevere. Dette er naturligvis veldig positivt, og den første figuren jeg viste øverst i innlegget viser hvor effektiv eksisterende behandling med komboen Ipilimumab+Nivolumab faktisk er. Likevel er det dessverre slik at mange dør fremdeles, som man også ser i plottene. Om UV1 kan føre til at kurvene heves slik som vist nedenfor er det fantastisk for pasientene.
Dette plottet gir en p-verdi under 0.20. Mer presist, HR=0.66 og tosidig p-verdi på 0.146. Ref tabellen for 30 events i kontrollarmen. Nå går vi over til plottet med 30/18 fordeling:
Noe slikt som dette tenker jeg er mulig, og som vil ha en p-verdi under 0.05, ref tabellen over. Noe bedre enn dette har jeg imidlertid veldig liten tro på.
Ved 30/15 fordeling ser man at det ikke er noen forsinket effekt. Jeg tror det rett og slett skyldes at det er veldig få simuleringer inneholder forsinket effekt med den forsinkelsen, fordi det flater ut allerede ved rundt 0.83. Så dette holder jeg som helt usannsynlig. For å konkludere, så mener det basert på tallene jeg har presentert ovenfor det absolutt er en mulighet for signifikante OS data allerede nå, kombinert med plottene til @Ketilaaj. Hvor sannsynlig det er får imidlertid bli opp til hver enkelt å vurdere.
65 Likes
Hei
Tror ikke helt jeg forstår tabellene. Du regner hele tiden med flere OS i kontroll armen enn i eksperimentell armen ( inch UV1).
Kan du hjælpe mig her?
OS-eventer. Altså døde
Ok, forstår. Tak
Selvsagt, da er det sikkert flere som også lurer på det. Det jeg rett og slett har gjort, er at jeg filtrert ut tabeller med 28, 30 og 32 OS events i kontrollarmen, da jeg tenkte dette er blant de mest sannsynlige eventfordelingene basert på @Ketilaaj sin figur. Som nevnt har jeg kjørt 50000 simuleringer. En simulering inneholder overlevelsesdata for de 156 pasientene som er med i studien. Så hver simulering representerer egentlig et simulert KM-plot.
Det jeg har gjort ovenfor er at jeg velger ut bestemte event-fordelinger. Jeg starter litt over terskelen for statistisk signifikans, og går nedover, f.eks 30/23, som da gir en to-sidig p-verdi over 0.20 og dermed fail. Når jeg filterer ut for en bestemt event fordeling, f.eks 30/23, får jeg et datasett på 150-200 simuleringer med denne event-fordelingen. Det var rundt der de fleste lå, gidder ikke sjekke nøyaktig for 30/23. Videre sorteres overlevelsen, og gjennomsnittet beregnes. Det vil si at jeg trekker ut den syntetiske pasienten som først får et event i hver simulering, beregner gjennomsnittet, og går videre til neste. Når jeg har beregnet de gjennomsnittlige pasientdataene for en bestemt event-fordeling, regner jeg ut de tilhørende effektparameterene som er i tabellen. Dataene for KM-plottene som ligger nederst kan dermed leses i tabellene for de bestemte event-fordelingene.
Jeg har beskrevet dette grundigere i innlegget om NIPU jeg linket til. Jeg begynte på 30/23 rett og slett for å begrense størrelsen på tabellen, da 23 OS events og oppover ved 30 i kontroll ikke var særlig interessant. Det betyr failet sekundærendepunkt, så jeg gadd ikke bruke noe mer tid på det. Hjalp dette? Innser at forklaringen potensielt kan bidra til mer forvirring enn oppklaring, så det er bare å spørre om det er ytterligere spørsmål
32 Likes
Supert, tak.
Det giver fin mening nu, og takk for godt arbejde.
2 Likes
En veldig enkel betraktning av noe av det mest basic dere beskriver her:
Basert på CM67-tall så er det per 15.01, ved NULL effekt av UV1, 57% sjanse for at det er 60 OS-events i INITIUM.
Og så er situasjonen den at det trolig er max 65 PFS-eventer. 
Slår vel inn noen åpne dører her, men det skal veldig godt gjøres å argumentere for at UV1 ikke har ønsket effekt…
14 Likes
Denne bør friskes opp. Herre jemini så godt håndverk dette er 
#En god jobb som har blitt gjort av @h3nk1 med flere.
«Selv uten de sinnsyke simuleringene til @Boblegutten og @ketilaaj som er lenger opp i tråden her - er det mulig å forstå at INITIUM ligger an til positive resultater. Vi vet at pasientene i CheckMate-067 hadde en median progresjonsfri overlevelse på 11,7 måneder. Idag er det til sammenligning 28 måneder siden pasient nr. 78 ble innrullert i INITIUM (median oppfølgingstid) Gjennomsnittlig oppfølgingstid for samtlige 156 pasienter er 27.5 måneder.»
*PDF er ca. 6 måneder gammel så har tatt meg friheten til å endre datoer fra PDF.
36 Likes
Er det noe nytt her?
Er dette posteren fra ESMO?
Kan ikke huske det - men er der nogen der har kigget på hvor meget det forventede tidspunkt for 35 events i kontrol armen (og eksperiment armen) kan flytte sig, hvis man fx tager den mest friske halvdel af patienterne fra CM067…?
1 Like
Jeg ser ikke hvordan dette spørsmålet kan defineres konkret på noen meningsfull måte. “Sensitiviteten” for forskjellige PFS-plot andre enn CM-067 er behandlet i mange av @ketilaaj sine innlegg i denne tråden.
2 Likes
En måte å belyse problemstillingen du beskriver er å se hva som skjer hvis studiet følger øvre konfidensintervall i referansestudiet CM-067. Dette har tidligere blitt belyst her:
Under følger oppdatert plott for tilfelle der pasientene i kontrollarmen utvikler sykdommen vedlig tregt. Som en ser er det gode muligheter for en positiv avlesning med de beregnede dataene for januar 2024, selv om pasientene viser seg å følge øvre konfidensintervall (mPFS=18.7mnd) i stedet for mPFS=11.7mnd:
36 Likes
Og dette er altså utenfor et (to-sidig) 95% konfidensintervall for PFS, ikke sant? Altså veldig usannsynlig i utgangspunktet.
5 Likes
Ja det er riktig, dette er tall direkte fra CM-067 med 95% CI.
9 Likes
Så “in simple words”: Selv om pasientene rekruttert til INITUM er usannsynlig friske, så er det fortsatt overveiende sannsynlig at ikke bare primærendepunktet blir møtt, men at man også får et resultat som gir signifikans på fase 3-nivå.
42 Likes