Ta denne praten videre i småprat please 
1 Like
Konklusjonen man må komme til av den rapporterte HR=0.95 er at UV1 har null effekt. Det som ikke ble rapportert i børsmeldingen er konfidensintervallet for denne HR. Sånn intuitivt tenkte jeg at dette ikke var så bredt at det inkluderte klinisk relevant HR i særlig grad, men der kan det være at jeg tok feil. Hvis man ser på den HR som ble rapportert for 69 eventer og null forskjell fra BICR i NIPU for PFS, så er det HR=1.01 (80% CI 0.75-1.36). Det blir selvfølgelig ikke helt riktig å bare flytte dette intervallet ned til de 0.95 med 0.06, men det blir neppe så veldig feil heller. I så fall får man altså for INITIUM HR=0.95 (80% CI 0.69-1.30). Og i så fall er både klinisk relevant HR=0.80 og PE met HR=0.73 innenfor dette 80% intervallet. Et 95% konfidensintervall er naturligvis enda bredere, kanskje helt ned til HR=0.60
HR og dens konfidensintervall regnes ut fra en såkalt ‘cox proportional hazards assumption’ som betyr at man har som premiss at risikoforskjellen (effekten av medisinen) er konstant fra dag 1. Det vet vi at ikke er tilfellet for UV1 dersom den fungerer. Selv om UV1 har effekt, så ville de to armene følge hverandre de første tre månedene. Og det vil si omtrent halvparten av eventene. Om man tenker at det er rett over 30 eventer i hver arm i INITIUM, så betyr det at kun de siste 15-16 har mulighet til å definere en forskjell. Det er altså bare 15-16 eventer man skal ha hatt “uflaks” med, mens alle 30 definerer HR og konfidensintervall. Dette mener jeg vil bidra til å underdrive muligheten for en type 2.
Summen av dette blir at sannsynligheten for at man feilaktig har konkludert med at UV1 ikke har effekt er godt over 10%. Da er det med ett mer sannsynlig at NIPU ikke var flaks og INITIUM var uflaks enn det motsatte. Jeg tror og håper det også er konklusjonen Bjørheim et. al. vil komme til, og også våger å formidle, når de kommer tilbake til markedet med sin grundigere tolkning av data.
Det som kanskje er uklart for en del er hvordan en type 2 sånn grunnleggende kan forklares. Det er altså at man tilfeldigvis har hatt “friskere” pasienter i kontrollarmen en eksperimentell på en måte som IKKE fanges opp av baseline-karakteristikkene, alder, ECOG-status, staging, PDL1-status osv. Det er ting i biologien til den enkelte pasient som man bare ikke kan måle ved baseline, men som gjør at noen pasienter responderer på ipi+nivo, mens andre ikke gjør det. Og så har man tilfeldigvis hatt veldig mange som har gjort det i kontrollarmen.
Det som også kan være en del av hva selskapet har sett på, er data fra tilleggsstudien. Og at de klarer å koble responsdata til immundata med en statistisk analyse. Dette vil også eventuelt bidra til å underbygge en sannsynlighet for at man har begått en type 2.
34 Likes
Jeg avfeide dette som alternativ all den tid børsmeldingen sa at sekundærendepunktet som OS og ORR også ikke viste nevneverdig forskjell. Blir det feil å tenke slikt?
6 Likes
Hvordan blir dette for feks 65 eller 60 eventer og ikke 69?
Jo færre events, jo mer usikkert blir resultatet, og større blir sjansen for en type II feil.
4 Likes
ORR og PFS er jo surrogatendepunkter for OS, så tanken er at disse korrelerer sterkt (etter en stund). Så om man tilfeldigvis har fått friskere/lettere responderende pasienter i kontrollarmen enn i eksperimentell arm, så påvirker det alle endepunktene ganske likt.
8 Likes
Jeg har sett det har vært etterspurt kommentarer fra meg og @ketilaaj her etter at INITUM feilet, så jeg skal komme med noen betraktninger som en oppfølgning av @Polygon sitt innlegg. @Laaarsas sin kommentar om frekventisk vs bayesiansk statistikk får bli en annen gang, innlegget blir langt nok allerede. Jeg skal vise noen grafer med KM-plots og litt annet, men det er nødvending med litt oppbygning av metoden, selv om den er gjennomgått i andre innlegg. Jeg hadde et innlegg i oktober 2022 der simulerte rett ut fra Checkmate-067 og filtrerte ut KM-plot basert på dette, mens jeg nå har endret metode litt, med å beregne en ren event-kurve ut fra CM-067 sammen med en sensureringskurve, og deretter slå disse sammen for å lage gjennomsnittlige KM-plot. Detaljer om dette kan finnes i innlegget jeg hadde om OS for INITIUM.
Her er plottet for CM067:
Jeg benytter Guyot metoden til å rekonstruere en IPD (Individual Pasient Data). Da har man informasjon om PFS på pasientnivå, og eventuelt når de er sensurert. Dette kan splittes opp i en event-kurve og sensureringskurve. Her er event-kurven med rekonstruerte armer i tillegg basert på trekkefunksjonene:
Her har jeg antatt at armene skiller lag etter to måneder, med en HR på 0.50 etter dette. Reelt skal UV1 i teorien være nærmere tre måneder, mens man så i NIPU for LA at PFS skilte seg ved 1.5 mnd. Merk at jeg gjorde disse simuleringene før INITIUM leste av negativt, siden det oppriktig var noe slik jeg trodde på basert på den kraftige forsinkelsen. Faktisk HR ble i snitt nærmere 0.60 (0.585), siden det er en forsinkelse i starten. Her vil den oppmerksomme leser se at kurven ligger noe høyere enn kurven for CM067 over. Det er fordi dette er en ren event-kurve, der sensurerte pasienter er fjernet for å danne et bilde av den reelle event-raten. Her ser man sensureringskurven som er beregnet fra CM067 og koblet på:
Mange sensureres i starten fordi de ikke tåler bivirkningene, deretter flater det ut. Som man ser er kurven jeg har tatt utgangspunkt i noe optimistisk, men i realiteten brukte jeg faktisk en modifisert kurve som lå enda lavere, der kurven over er det som er output med regresjonsmetoden som brukes. Det er mest for å illustrere hva jeg tenker er den reelle trenden. Oppfølgning av pasientene er noe som påvirker. Jeg tror droppene på slutten skyldes at en del pasienter rett og slett ikke gadd å bli fulgt opp lenger, da de trolig var blitt kreftfrie.
Nå er jeg ferdig med introduksjonen og går videre med resultatene. Her er event-kurven med datalock 15.01.2024, basert på input som vist ovenfor:
Dette viser ca 50% sannsynlighet for minst 43 events i kontrollarmen. Med flere simuleringer hadde kurven blitt enda jevnere, men fikk bare kjørt 20000 før INITUM leste av. Nå har jeg ikke motivasjon til å kjøre flere. Det er venstresiden som nå er viktig, for den viser at det er ca 8% sannsynlig at det er 35 events eller færre, gitt at den rekonstruerte eventkurven basert på CM067 er den sanne fordelingen. 30 events eller lavere er 0.8%, som trolig er i nærheten av der vi har havnet. Når vi visste at INITUM lå under 70 events, og kanskje nærmere 60, ga dette grunn til å være veldig optimistisk.
Så skal jeg over til hvordan KM-plottene kanskje ser ut. Som kjent ble HR=0.95, som er hinsides elendig. En klarere fail enn det får man nesten ikke, og var langt utenfor mitt bear-case. Noe sånt som 0.80 var jeg fullt innforstått med kunne skje, som egentlig var mitt absolutte bear-case. Med HR på 0.95 er det kanskje kun ett eller to events forskjell, det kan også være helt likt. Jeg tenker det er sannsynlig med at det er på 60-65 events. Her er et eksempel med 61 events totalt:
Her er HR 0.97. Det skyldes at jeg lager gjennomsnittlige KM-plot med en bestemt event-fordeling, og da får jeg ikke filtert på en nøyaktig HR. Da må jeg i så fall filtere på 0.95 først, og så lete etter event-fordelinger etter det og deretter beregne snitt. Det gidder jeg ikke bruke tid på her. P-verdien er fullstendig uinteressant gitt veldig høy HR, men konfidensintervallene er interessante sett opp mot diskusjonen om type-2 feil. Nedre konfidensintervall går under 0.60, og ville holdt til statistisk signifikans med p-verdi under 1. Konfidensintervallet viser i dette tilfellet at det er 2.5% sannsynlighet at HR er under 0.587.
Her er et nytt plot:
Kryssingen i starten skyldes tilfeldigheter der få plots er slått sammen, men her ser man at armene skiller etter 2-3 måneder ørlite grann. Dette er uansett et elendig resultat, men det er for å illustrere hvordan konfidensintervallene kan være rundt 0.95. Trolig er konfidensintervallet i INITUM rett under 0.60, avhengig av hvordan eventene inntreffer i forhold til hverandre.
Sånn i forhold til type-2 feil diskusjonen kan det også være interessant med hvor mange prosent av simuleringene HR ender på 0.95 eller lavere, forutsatt at den sanne HR er rundt 0.60, med utgangspunkt i trekkefunksjonen ovenfor. Det ble ganske grisete når jeg plottet det pga dårlig formatering jeg ikke gidder å rette opp, så her er et utdrag av tabellen:
Ca 5% sjanse for at HR er 0.95 eller høyere, ref CDF kolonnen, forutsatt at den sanne HR er rundt 0.60 (0.585). Det er 20000 simuleringer til grunn, og som mange ser er det jo faktisk en del simuleringer som ender opp med veldig høy HR, selv om man i utgangspunktet har antatt god effekt.
Det er altså en mulighet for type-2 feil, men sjansen er veldig lav. Det hadde vært veldig gledelig om UV1 viser effekt i de andre studiene, og at OS i NIPU bedrer seg slik at armene ikke krysser ved 16-17 måneder. FOCUS har jeg alltid vært litt skeptisk til, pga veldig aggresiv kreftform som NIPU, samt få pasienter med det jeg synes er et merkelig valg av primærendepunkt. Jeg tror de også innså dette da de endret å rapportere FOCUS sammen 12 mnd OS, som er et mye mer naturlig primærendepunkt i en så aggresiv kreftform. Vi får se hvordan det blir, det hadde vært utrolig gledelig om UV1 faktisk får et comeback. Det ser dessverre ikke særlig lovende ut etter INITIUM failure
63 Likes
Jeg opererte nok med en litt lemfeldig definisjon av type 2 i innlegget over; som klinisk relevant effekt eller effekt lik PE met. Den strenge/riktige definisjonen er som du skriver at HR=0.60. Men det er jo også en veldig lav HR. 5% sannsynlighet for denne er mer enn jeg trodde.
6 Likes
Vært interessant å få prosentsatser for type II på HR 0,73 og 0,8 også.
Siden jeg ikke kan regne eksakt så tipper jeg 15% og 25% ?
4 Likes
Kan det tenkes at denne sannsynligheten kan trekkes i positiv retning, gitt at all tidligere forskning på UV1 peker i positiv retning?
Kunne du utdypt litt rundt dette? Tenker du at det er mer sannsynlig (>50%) at UV1 virker i NIPU og at INITIUM da sannsynligvis var «uflaks» pga den universelle virkningen til UV1?
Hiding in plain sight
Som så ofta är det in the fine details som svaren ligger… och hur kunde jag missa detta? Dock är det alltid så himla mycket lättare att vara efterklok.
Det fanns aldrig belägg för att immunresponser föregick kliniska responser. Tvärtom fanns det indicier på det motsatta.
IPI4 UV1 arm
Nedan är grafer från artikeln om detta (1) samt sammanfattning av fas I-studierna (2):
Nedan är en tabell med de fyra respondersarna, med info om när de nådde radiologisk PR och när de fick uppmätt immunrespons.
Responders
Pat PR timepoint IR timepoint
N01 ca. 35m 8 veckor svag, faller sedan under signifikans flera år
N04 ca. 5m 12 veckor svag, stark vid ca. 22 veckor, icke-signifikant vid ca. 45v
N07 ca. 5m Hade preexisterande vid baseline. Vid ca. 8 veckor stark, icke-signifikant vid ca. 38v.
N09 ca. 2m Vid ca. 4 veckor, faller sedan under signifikans
Som man kan se föregicks radiologisk respons av beständig IR endast i ett fall (N04), utöver det fall då det fanns en preexisterande immunrespons (N07)
UV-103
Nedan motsvarande grafer från UV-103 (3):
Endast 10 av 30 patienter analyserade för immunrespons förvisso, men alla dessa förutom en fick immunrespons efter vecka 14, medan det av de 17 som fick radiologisk respons endast var 5 pat som fick respons efter ca. 12 veckor.
Sammanfattningvis har man inte kunnat visa att immunrepons mot UV1 föregår radiologisk respons, utan snarare det motsatta!
Och så kommer vi återigen till det helt helt centrala resonemanget om bayesiansk inferens. Om experimentarmen endast fått vatten i tillägg till ipi+nivo i INITIUM, så hade vi förväntat oss en eventfördelning i stil med 30/30 eller 35/35, trots att de historiska refereserna visade en mycket kortare mPFS. Då blir frågan hur mycket mer effektivt än vatten UV1 kunde tänkas vara. Utifrån ovanstånde, inte alls så mycket mer. Och därför blir även modellerna som gjordes helt olämpliga att bruka som stöd för sannolikhet att uppnå PE!
Källor:
1: Combining a Universal Telomerase Based Cancer Vaccine With Ipilimumab in Patients With Metastatic Melanoma - Five-Year Follow Up of a Phase I/IIa Trial - PubMed
2: Durable and dynamic hTERT immune responses following vaccination with the long-peptide cancer vaccine UV1: long-term follow-up of three phase I clinical trials - PubMed
3: Clinical Activity of Combined Telomerase Vaccination and Pembrolizumab in Advanced Melanoma: Results from a Phase I Trial - PubMed
6 Likes
Det scenarioet hadde jo vært plausibelt, Lars. Men så er jo dette med at kontrollarmen har overprestert i Initium mot tidligere studier. Hadde kontrollarmen vært mer i samsvar med f.eks CM-067, så kunne man lettere ha konkludert at UV1 ikke har effekt.
Mulig jeg er ute på jordet her med mine dårlige kunnskaper, men jeg får bare ikke det til å stemme i hodet mitt.
5 Likes
Typ hela caset gick ut på att förseningen berodde på UV1. Ser inte att risken för typ 2-fel är större bara pga att båda armarna överpresterade. Det som skulle stärka misstanken om typ 2-fel skulle vara en stark pre-study probability. Och den var nog inte så jättestark, trots allt.
2 Likes
Bare sånn at jeg forstår dere rett. Dere mener at kontroll armen presterer som normalt man kan forvente og uv-1 derfor ikke har noen effekt?
Eller tror dere at uv-1 presterte litt dårligere enn forventet og kontroll armen presterte litt bedre enn forventet. Dvs møttes på midten?
Feil tråd folkens 
1 Like
Hvordan kan man da tross alt, får HR=0,95?
Inlägget ovan syftar till att visa att de effektsignaler man sett i tidigfasstudierna sannolikt beror på CPI och inte UV1
Synes ikke du skal klandre deg selv for det @Laaarsas . Men det er klart; om du mener din lille analyse her har større tyngde enn en håndfull fagfellevurderte artikler og en doktorgrad som kommer til en annen konklusjon, så må du vel det.
2 Likes
Folkens, dette er ikke småprat 