Da har jeg fått svar fra selskapet om hva de 24 månedene i meldingen betyr.
Median observasjonstid er tid fra randomisering til siste datapunkt, altså siste undersøkelse eller død. Men det viktige poenget er at dette tallet er et helt teoretisk estimat fra statistikeren i studien og ikke er hentet ut fra faktiske data. Det var greit å få klarhet i.
Kanskje de kan oppklare det i en ny børsmelding i dag, hvor de samtidig varsler EGF i morgen hvor de skal stemme om ny bonusmodell som gir alle ansatte 7 millioner i bonus til sankthans?
Dette innlegget ble rapportert og er midlertidig skjult.
Jeg har problemer med å forstå at medianen - 24 mnd er fremkommet uten at man har benyttet data fra den aktuelle bestanden. Utsagnet blir da uten relevans og er derfor meningsløs. Er tankegangen bare at personene følges i inntil 24 mnd, og at erfaringsmessig havner minst halvparten av bestanden der, slik at medianen også lander der?
Om litt kommer det en ‘trial in progress’-artikkel fra forskerne bak FOCUS-studien i Tyskland:
Det ble litt oppstandelse i chatten i går kveld fordi tittelen impliserer at den inneholder data, men det er kun tittelen på studien og dermed ikke tilfellet.
Artikkelen ble forøvrig nok en gang funnet av Ti sin egen internettmark @theroger
Det er tidligere vist analyser hvor det har vært benyttet individuelle pasient data (IPD). Disse dataene er fremskaffet av @boblegutten og gjør det mulig å få en praktisk innsikt i hvordan kontrollarmen til INITIUM utviklet seg i historiske studier.
Dataene kommer både fra PFS og OS kurvene i CM-067 og CM-511 (NIVO3+IPI1 armen); totalt 314+180=494 datapunkter. Som en sjekk av dataene er det beregnet en KM-kurve fra det samlede datasettet. Den gir veldig god match med kurvene som finnes i litteraturen, tidligere referert til som «Ossato».
Figuren under viser en sammenstilling av utviklingen for det samlede datasettet. Legg merke til at dette ikke er normaliserte data. Her ser en for eksempel hvor raskt pasientene får respons og hvor mange som er sensurert. Dataene som er kjent fra IPD analysen er markert med *, mens de resterende kan regnes ut. Begrepene i plottet er: de som ikke har fått forverret tilstand (Stabile), de som har fått forverret tilstand (Progressed), død (Death) og sensurerte fra PFS analysen (Censored(PFS)). For eksempel er totalt antall sensurerte ved 18mnd ca 13% og ved 24mnd ca 14%. I den grå boksen til høyre er det mye høyresensurert data, så her er ikke plot’et modent nok til å gi meningsfull informasjon.
Dataene kan også brukes til å regne ut median observasjonstid fra CM-067 og CM-511:
CM-067: 26.5mnd
CM-511: 21.9mnd
Aritmetisk snitt av disse to tallene: 24.2mnd (<---- antakelig dette tallet selskapet tidligere har referert til)
Sammensatt datasett av CM-067 og CM-511: 25.3mnd.
https://twitter.com/ultimovacs/status/1754434952320454668
Nå som FDA har tildelt Fast Track til begge de to lengst framskredne fase 2-studiene, kan det være grunn til å minne om hva dette regulatoriske privilegiet faktisk betyr:
"To get FDA approval, drug manufacturers must conduct lab, animal, and human clinical testing and submit their data to FDA.
FDA will then review the data and may approve the drug if the agency determines that the benefits of the drug outweigh the risks for the intended use"
Ref. https://www.registrarcorp.com/resources/guides/how-to-get-fda-approval/
Ultimovacs ble tildelt Fast Track for INITIUM allerede 21. oktober 2021 - og nå altså forleden for NIPU.
FOKUS studiet er faktisk ganske interessant og og nogle få udklip herfra syntes jeg er været at legge mærke til.
Først og fremmest er denne artikel jo bare en beskrivelse av studiet opsettet, men følgende lægger jeg mærke til.
“The FOCUS study aims to optimize treatment of R/M HNSCC patients with this promising new treatment approach.”
Man kan jo spørge seg selv om hvorfor de vet at dette er en lovende ny behandling, nu hvor studiet ikke er færdig. Selvfølgelig kan de ha egne erfaringer i forbindelse med studiet hvor de oplever forbedringer, de kan ha fulgt med på mesoteliom studiet og på fase I studiet i melanom.
De skitserer et ganske stort marked.
“Worldwide, head and neck squamous cell carcinoma (HNSCC) is the seventh most common malignancy with more than 660,000 new cases and 350,000 deaths per year”
Og jeg vet av egen erfaring at hode-hals kræft har ganske dårlige behandlings resultater og er vanskelig å behandle.
Så en succes på et såpas stort og vanskelig område vil ha en stor værdimæssig betydning for Ultimovacs.
Det siste jeg lægger mærke til er studie investigators. Disse er særdeles velrenommeret, de sitter som rådgivere og i advicery board for Big Pharma og store Biotec selskaper.
Det man skal forstå med BP er at de har mange inflecktions points. Altså mange rådgivere indenfor mange forskellige områder.
Så når de hører fra ønh lægerne, fra melanom lægerne og mesoteliom advicers samt selskapet selv at Uv1 virker, så lytter de.
Se selv hvilke selskaper disse læger er advicers for.
Author AH:
was employed by the company Clinical Cancer Research Consulting CCRC. AS received research funding from MSD and serves as an advisory board member for MSD.
UM-R:
serves as a consultant or advisor and/or received honoraria from AstraZeneca, BioNTech, BMS, KuraOncology, Merck, MSD, Novartis, and Sanofi.
JA:
serves as an advisor for AstraZeneca, MSD, Novartis, Roche, BMS, Janssen, and Merck and received honoraria from AstraZeneca, BMS, Roche, and Boehringer Ingelheim.
KK:
serves as a consultant or advisor and/or received honoraria from MSD, Merck, BMS, Roche, Novartis, Sanofi, Bayer, BioNTech, Boehringer Ingelheim, and onkowissen
Tænker at BP er veldig godt informeret om hvad UV1 kan bidrage med. Og yderligere info og bevis komme nu i marts.
Verdt også å merke seg at studien «kun» går i Tyskland og til tross for dette ble rekruttert (svært) radig.
Utsettelsen av INITUM åpner opp for vurderinger om når signifikans er oppnådd for selve gull-standarden for evaluering av denne type studier: Overall Survival (OS), da OS-dataene ikke gir rom for subjektiv tolkning.
De Individuelle Pasient Dataene (IPD) som @boblegutten har beregnet gjør det mulig å studere dette nærmere. Som vi ser av den forrige posten (se lenke under) så vil OS eventene skje under hele studiet:
Ved å bruke samme metode som tidligere er det mulig å estimere antall OS-eventer ved forskjellige datoer. Input er som før rekrutteringskurven, men nå brukes Kaplan-Meier(KM)-plottet for OS fra CheckMate-067 (istedenfor PFS dataene(Progression Free Survival)). Basert på 10.000 simuleringer får jeg plottet under. Som en ser, er det ganske sannsynlig med ca 30 OS-eventer ved 18mnd cut-off for studiet (15.01.2024).
Det som er interessant nå er å få en vurdering på hvor signifikante disse utfallene kan være, og for å få til det trenger vi antakelser og analyser om hvordan den eksperimentelle armen kan tenkes å ha utviklet seg ved forskjellige HR nivåer. Kanskje vi kan få litt hjelp av @boblegutten for å belyse dette?
(Note: tittelen på plottet angir hvilken kurve som har blitt brukt i analysen. Som en ser er median=nan; dette betyr at medianen enda ikke var nådd i KM-plottet som ble brukt som input.)
Det skal jeg selvfølgelig gjøre. Der @Ketilaaj har vist sannsynlighetskurver for fordeling av events i kontrollarmen, er hensikten med dette innlegget å vise hvilken hazard ratio og p-verdi ulike eventfordelinger kan gi. Det er viktig å påpeke at jeg ikke forteller noe om hvor sannsynlig ulike event-fordelinger er, eller hvor sannsynlig ulik HR og p-verdier er. Jeg prøver kun å beskrive forholdet mellom disse variablene. Så kan man trekke disse mot @Ketilaaj sine kurver, og vurdere hvorvidt man tror det er mulig med modne nok data til at det potensielt kan være signifikante data ved database lock. For PFS kan man si noe om sannsynligheten for ulike utfall, siden vi vet at det ikke er oppnådd 70 events. For OS har vi ikke denne informasjonen, men det er nok godt under 70, siden det som regel tar lengre tid å få et OS event.
Jeg har i to tidligere innlegg skrevet detaljert om metode og teori, som ligger her:
Ultimovacs (ULTI) Fundamentale forhold - Biotek - TekInvestor - Norges Beste Aksjeforum
Ultimovacs (ULTI) Fundamentale forhold - Biotek - TekInvestor - Norges Beste Aksjeforum
Som nevnt har jeg og @Ketilaaj brukt det samme datasettet for våre simuleringer. Dette er basert på Kaplan Meier plottet for Overall survival (OS) til Checkmate 067. Det ser slik ut, og det er den grønne kurven øverst som er benchmark for kontrollarmen i INITIUM:
Five-Year Survival with Combined Nivolumab and Ipilimumab in Advanced Melanoma | NEJM
Plottet rekonstrueres ved å markere punkter på den grønne kurven ovenfor, og mate de inn i en algoritme kalt Guyot-metoden sammen med risk-tabellen under. Det som er viktig å understreke er at etter plottet blir rekonstruert, lager vi en ren event-kurve basert på dette. Jeg har gjort det slik at de pasientene som sensureres med mindre enn 60 måneder, endres til 60 måneder. Da endres fasongen på KM-plottet noe, ved at den heves. Som man kan se på figuren er det veldig liten sensurering for OS i Checkmate 067. For PFS er det imidlertid en del, men det er ikke i fokus her. Her det det rekonstruerte plottet:
«Ipi + Nivo» står da for «Ipilimumab + Nivolumab», som er sjekkpunkthemmerene i kontrollarmen, som UV1 kombineres med i den eksperimentelle armen. Også nevnt i tidligere innlegg er metodene våre litt forskjellig i forhold til hvordan vi simulerer overlevelsesdataene. Det kan demonstreres av de to plottene under:
For å simulere OS eller PFS for hver enkelt pasient har @Ketilaaj en interpoleringsmetode der han trekker et tall mellom 0 og 1 for hver enkelt pasient fra den grønne kurven, som da tilsvarer verdien langs y-aksen (Overall Survival). Deretter leses av hvor dette punktet på grafen er for x-aksen. Dette tilsvarer dermed den ene pasientens OS.
Jeg bruker en litt annen metode, der jeg bruker en regresjonsmetode for å tilpasse en jevn funksjon som simulerer OS for hver enkelt pasient. Dette er den blå grafen. Selve simuleringen fungerer på samme måte. Det trekkes et tall mellom 0 og 1, men det leses av hvilken verdi langs x-aksen det blir for den blå grafen.
For å simulere events direkte fra en referansestudie slik som her er derfor @Ketilaaj sin metode den mest presise, siden den bruker referansedataene direkte. Samtidig er metoden jeg bruker praksis for kliniske studier ved at man har en overlevelsesfunksjon, og man mater da inn hazard rater når studiene designes. Alle modeller for studiedesign jeg kjenner til krever hazard rater, som da er praksis når man bruker sample size software som nQuery, noe jeg har vist utdrag fra på forumet tidligere. I tillegg er det lettere å simulere en eksperimentell arm, som er noe av grunnen til at metodene er noe forskjellig. Forskjellen for kontrollarmen burde bli minimal. Som man ser ovenfor, ligger kurvene veldig tett på hverandre.
Figuren nedenfor viser en annen forskjell, nemlig at jeg som nevnt ovenfor simulerer utfall for den eksperimentelle armen. Dette for å kunne danne et datasett som gjør det mulig å beregne HR og p-verdier. Ved HR=0.60 ser den slik ut:
Som den oppmerksomme leser vil se går det en liten stund før armene skiller seg fra hverandre. Jeg har antatt at det tar noen få måneder før UV1 begynner å virke, og forhåndsspesifisert at armene ikke skal skille lag før etter 3 måneder. Simuleringer viste faktisk HR=0.68 i dette tilfellet, som gir mening grunnet antagelsen om forsinket effekt. Fra tre måneder var forskjellen mellom armene stilt inn på HR=0.60.
Disse funksjonene er da basert på delvis eksponentialfordeling. I innlegget om INITIUM jeg lenket til gikk jeg i dypden på matematikken rundt dette. For å være transparent legger jeg ved breakpointsene og hazard ratene i tabellen nedenfor. lambda_c er hazard rate for kontrollarmen, lambda_e for eksperimentell arm. Breakpointsene markerer dermed hvor punktene grafene i figuren ovenfor endrer hazard rate, altså vekstkoeffisient.
Andre detaljer som kan være greit å få med seg er at det er benyttet blokkrandomisering, med seks syntetiske pasienter i hver blokk. Det gir 26 blokker til sammen. Rekrutteringstidspunktene har jeg fått av @Polygon, slik at våre data er identiske der. Som nevnt er det benyttet en event-kurve, men jeg har dessuten lagt på en sensureringsfunksjon. Dette gjør at noen av pasientene som egentlig ville blitt langtidsoverlevere, dropper ut på et tidligere tidspunkt, for å gjøre dataene mer realistiske og likere det originale KM plottet. Her har jeg brukt en årlig dropoutrate på 0.02, som da er hazard raten for dropout. Når jeg tilpasset hazard raten ved brukt av regresjon ble denne 0.008, som til dels illustrerer hvor lav dropout det faktisk er for OS. Jeg har dermed antatt noe høyere enn det jeg fikk ved regresjon. Videre er en viktig detalj at simuleringene ble låst for 15.01.2024, som da betyr at de syntetiske pasientene som er i live på dette tidspunktet høyre-sensureres. Det er gjort 50000 simuleringer totalt der jeg stiller inn på ulik HR, for å få et robust datasett.
Nedenfor presenteres det noen tabeller for sammenhengen mellom eventfordeling, HR med tilhørende 80% og 95% konfidensintervall, samt p-verdi. Jeg har brukt lignende ordforklaringer tidligere, men tenker det er greit med en gjennomgang:
Events_C: Antall OS events i kontrollarmen.
Events_E: Antall OS events i eksperimentell arm
HR: Hazard ratio. Beskriver effektforskjellen mellom armene. HR=0.60 betyr at pasientene i eksperimentell arm har 40% lavere sjanse for å dø enn pasientene i kontrollarmen.
95% CI_u: Øvre 95% konfidensintervall
80% CI_u: Øvre 80% konfidensintervall
95% CI_l: Nedre 95% konfidensintervall
80% CI_l: Nedre 80% konfidensintervall
p-verdi: Tosidig p-verdi beregnet med log-rank test. Beskriver sannsynligheten for at det ikke er en effektforskjell mellom armene.
Som nevnt mange ganger på forumet, er INITUM designet med en en-sidig alpha på 0.10. Primærpunktet som er PFS, blir nådd den ensidige p-verdien er under 0.1. Siden jeg benytter tosidig p-verdi, så må verdiene jeg viser i tabellene dermed deles på to for å sammenlignes. Det er vanlig i fase 3 studier at sekundærendepunktene rapporteres som oppnådd om den tosidige p-verdien er under 0.05 for hvert enkelt sekundærendepunkt. Selskapet rapporterte OS som signifikant når den ble ensidig 0.0985, så det tenker jeg er tilfellet her også. Altså at sekundærendepunktene følger samme alpha som primærendepunktet. Om de rapporterer det som en del av topplinje resultatene for INITUM er imidlertid noe usikkert. Nedenfor er resultatene fra simuleringene. Jeg har tatt utgangspunkt i 28, 30 og 32 events. Sjekk @Ketilaaj sitt innlegg ovenfor som referanse for sannsynligheter ved de gitte eventfordelingene. Først med 32 events i kontrollarmen:
Relevante nivåer er som nevnt at p-verdien er under 0.20, og deretter 0.05. Samtidig vil man gjerne ha øvre CI under 1.00. Om man er pirkete da, så er det 32/23 og 32/19 som gjelder i dette tilfellet, men da har man også god margin. Det er imidlertid viktig å påpeke at dette er dette er basert på gjennomsnittlige KM-plot, og like event-fordelinger gir ulik HR og p-verdi, avhengig av når eventene inntreffer. F.eks 32/20 fordeling kan derfor gi både over og under 0.0495 i p-verdi. Metode for beregning av gjennomsnittlige KM-plot er grundig beskrevet i innlegget om NIPU jeg lenket til i starten.
Her er tabellen for 30 events:
Så her det det relevante 30/22, eventuelt 30/21 om man absolutt vil ha grensen under 0.20 sammen med CI under 1.00. Sammen med 30/18 for det absolutte bullscenarioet.
Her er tabellen for 28 events i kontrollarmen:
Videre over til noen KM-plot. Som man ser i tabellene ovenfor krever det en stor effektforskjell, noe man også kan se for plottene. Som man ser er det lite sensurering før 18 måneder, pga den lave sensureringsraten. Etter dette er det veldig mye sensurering, som skyldes at det er mange langtidsoverlevere. Dette er naturligvis veldig positivt, og den første figuren jeg viste øverst i innlegget viser hvor effektiv eksisterende behandling med komboen Ipilimumab+Nivolumab faktisk er. Likevel er det dessverre slik at mange dør fremdeles, som man også ser i plottene. Om UV1 kan føre til at kurvene heves slik som vist nedenfor er det fantastisk for pasientene.
Dette plottet gir en p-verdi under 0.20. Mer presist, HR=0.66 og tosidig p-verdi på 0.146. Ref tabellen for 30 events i kontrollarmen. Nå går vi over til plottet med 30/18 fordeling:
Noe slikt som dette tenker jeg er mulig, og som vil ha en p-verdi under 0.05, ref tabellen over. Noe bedre enn dette har jeg imidlertid veldig liten tro på.
Ved 30/15 fordeling ser man at det ikke er noen forsinket effekt. Jeg tror det rett og slett skyldes at det er veldig få simuleringer inneholder forsinket effekt med den forsinkelsen, fordi det flater ut allerede ved rundt 0.83. Så dette holder jeg som helt usannsynlig. For å konkludere, så mener det basert på tallene jeg har presentert ovenfor det absolutt er en mulighet for signifikante OS data allerede nå, kombinert med plottene til @Ketilaaj. Hvor sannsynlig det er får imidlertid bli opp til hver enkelt å vurdere.
Hei
Tror ikke helt jeg forstår tabellene. Du regner hele tiden med flere OS i kontroll armen enn i eksperimentell armen ( inch UV1).
Kan du hjælpe mig her?
OS-eventer. Altså døde
Ok, forstår. Tak
Selvsagt, da er det sikkert flere som også lurer på det. Det jeg rett og slett har gjort, er at jeg filtrert ut tabeller med 28, 30 og 32 OS events i kontrollarmen, da jeg tenkte dette er blant de mest sannsynlige eventfordelingene basert på @Ketilaaj sin figur. Som nevnt har jeg kjørt 50000 simuleringer. En simulering inneholder overlevelsesdata for de 156 pasientene som er med i studien. Så hver simulering representerer egentlig et simulert KM-plot.
Det jeg har gjort ovenfor er at jeg velger ut bestemte event-fordelinger. Jeg starter litt over terskelen for statistisk signifikans, og går nedover, f.eks 30/23, som da gir en to-sidig p-verdi over 0.20 og dermed fail. Når jeg filterer ut for en bestemt event fordeling, f.eks 30/23, får jeg et datasett på 150-200 simuleringer med denne event-fordelingen. Det var rundt der de fleste lå, gidder ikke sjekke nøyaktig for 30/23. Videre sorteres overlevelsen, og gjennomsnittet beregnes. Det vil si at jeg trekker ut den syntetiske pasienten som først får et event i hver simulering, beregner gjennomsnittet, og går videre til neste. Når jeg har beregnet de gjennomsnittlige pasientdataene for en bestemt event-fordeling, regner jeg ut de tilhørende effektparameterene som er i tabellen. Dataene for KM-plottene som ligger nederst kan dermed leses i tabellene for de bestemte event-fordelingene.
Jeg har beskrevet dette grundigere i innlegget om NIPU jeg linket til. Jeg begynte på 30/23 rett og slett for å begrense størrelsen på tabellen, da 23 OS events og oppover ved 30 i kontroll ikke var særlig interessant. Det betyr failet sekundærendepunkt, så jeg gadd ikke bruke noe mer tid på det. Hjalp dette? Innser at forklaringen potensielt kan bidra til mer forvirring enn oppklaring, så det er bare å spørre om det er ytterligere spørsmål
Supert, tak.
Det giver fin mening nu, og takk for godt arbejde.
En veldig enkel betraktning av noe av det mest basic dere beskriver her:
Basert på CM67-tall så er det per 15.01, ved NULL effekt av UV1, 57% sjanse for at det er 60 OS-events i INITIUM.
Og så er situasjonen den at det trolig er max 65 PFS-eventer. 
Slår vel inn noen åpne dører her, men det skal veldig godt gjøres å argumentere for at UV1 ikke har ønsket effekt…
