Diskusjon Triggere Porteføljer Aksjonærlister

Ultimovacs (ULTI) småprat 2

@ketilaaj Fantastisk arbeid du og andre har lagt ned i modellering av dette, og hvem vet kanskje noen med nye penger har begynt å kjøpe seg inn i caset i dag basert på dette.

Jeg kjøpte meg selv inn i ULTI før disse modellene kom på banen, men fint å ha dem som støtte for at man fortsatt skal sitte med posisjonen man allerede har.

Men det som jeg bekymrer meg for er om denne typen modeller gir oss en tro på at noe som iboende er usikkert, ettersom det tross alt er snakk om enkeltpersoner med hver sin “unike” biologi, kan modelleres så presist. Det er tross alt snakk om relativt få personer, og “Murphy’s Law” eller på norsk “ren uflaks”, kan gjøre at vi har mange i kontrollarmen som får lang tid til PFS av de tidlig rekrutterte og tilsvarende dårlige utfall for de første med UV1 behandling. Så min magefølelse er at 70 pasienter kan være litt for få events, og at ULTI ved å ha 80 eller 90 eventer som cut-off hadde gitt oss aksjonærer større sikkerhet for at resultatet er mer robust, i den forstand at vi er sikker på at vi ser et virkelig representativt resultat for forsøket når det rapporteres. Ville jo vært kjedelig å få et litt svakt resultat nå, som kunne gjøre at momentet i aksjen ikke blir så bra som det kunne blitt.
Har du, eller andre, noen tanker om dette?

PS
Som en anekdote over min skepsis kan jeg kort fortelle om et fond jeg jobbet med for lenge siden som skulle innføre en Value-at-Risk modell for aksjeporteføljen. Den var utviklet av noen med matte og statistikk på PhD nivå og prøvekjørt i flere måneder på en relativt bred portefølje, og andre fond i flere år. Så når den gikk “live” møtte vi på dag 2 en event markedet som modellen anså som 1 av 20.000, og fondet gikk på en smell vi trodde ikke var mulig. Dette var for øvrig etter Long Term Capital kollapsen og vi trodde modellen hadde tatt “lærdom” av de feilene de gjorde der

12 Likes

Om man hadde cutoff ved 90 eventer, så hadde det gitt et mer signifikant resultat på samme HR / en høyere HR som også er signifikant. Det hadde altså som du skriver vært “bedre” om cutoff var på 90 eventer enn dagens 70 fordi man kunne lagt lista lavere for hvilken klinisk nytte man må vise. Problemet er at man da også måtte ha inkludert mellom 40 og 50 pasienter til i studien - ellers ville man aldri oppnådd dette antallet eventer innen rimelig tid. Med over 200 pasienter, så ville det kostet mer, man ville brukt lenger tid på inkluderingen, og man ville rett og slett nærmet seg et fase 3-design.

Når Ultimovacs har designet INITIUM som de har gjort, så er det en nøye faglig avveining mellom hvilken statistisk styrke man vil ha i studien (hvor gode resultatene må være for å bli signifikante, eller om du vil, veie opp for biologi/Murphys lov/uflaks) og hvor mye studien koster og tiden den tar. En fase 3 er typisk designet for at HR=0.80 blir signifikant. I INITIUM må man ned på 0.60 for at det skal bli signifikant. Med ditt forslag ville man kanskje måttet til 0.67 eller så. Om INITIUM når HR=0.6 med signifikans, så er det et akkurat like overbevisende resultat som HR=0.67 med signifikans.

17 Likes

Nå svarte jo @polygon utførlig, men med én setning: de veier opp for en noe lavere N med å legge lista for oppnådd primærendepunktet høyere - resultatet vil være like robust som et studie med høyere N (som kunne lagt lista lavere).

1 Like

Ketilaaj, ok skjønner, igjen takk, denne figuren synes jeg er den beste her inne ved at den kvantifisere en betinget sannsynlighet for når en signifikant avlesning vil foreligge. Jeg har som sagt mest tro på et snitt for INITIUM, som du har lagt inn i din figur.

2 Likes

Hr verdi kontra antall pasienter og signifikans finner man vel ut av formlen for beregning av confidensintervall.

95% konfidensintervall = (2×standardavvik )/(kvadratrota av n-1), der n = antall pasienter.

I en perfekt normalfordeling ville vel det vært tilfellet. Det har man ikke her.

For lang tid må det ta før studien brytes, dvs at teoretisk at ingen av de 70 pasienter vi venter på har fått tilbakeslag/utvikling i sykdommen.
At alle som har fått UV1 holder stand, så tar det evighet til avlesning…

Er jeg helt på "vidda " ? :sweat_smile:

Får å illustrere det @Polygon nevner ovenfor, kan man gjøre noen regneøvelser med nQuery. Jeg har ikke lyktes tilstrekkelig med å ettergå designet i INITUM, da jeg er usikker på hvilken statistisk fordeling de har tatt utgangspunkt i for å ta hensyn til utflatingen rundt der mPFS nås. Eksponetialfordeling er en ganske dårlig antagelse grunnet dette. Jeg mistenker imidlertid at de har antatt at PFS følger en eksponetialfordeling for NIPU, skjønt de ikke har villet bekrefte eller avkrefte dette. NIPU er derfor bedre egnet for å illustrere hvordan parameterne påvirker hverandre. I den første tabellen har jeg lagt inn parameterne som er beskrevet i artikkelen som omtaler designet til NIPU. Det gir følgende resultat:

Merk: Events er et resultat av input man gir til tabellen, og det stemmer nøyaktig! Man kan ikke gi et antall events som input, det er kun output. Så i forhold til det du nevner, må man justere input parameterne for å få ulike events som output. Group 1 og 2 exponential parameters er hazard ratene for kontroll arm og eksperimentell arm. Beregningen av disse er beskrevet i innlegget mitt om INITIUM, som også omtaler NIPU til en viss grad.
Alpha, power og Hazard ratio kan dermed justeres for å få ulike design. La oss først teste med power=0.90. For fase 3 er dette typisk 0.90 – 0.95:

N=170, events=101.
Så videre med opprinnelig power, men med tosidig alpha, tilsvarende ensidig alpha på 0.05:

N=160, events=95.
Tester til slutt med HR=0.67 som Polygon nevner, selv om eksempelet ikke blir helt likt:

Faktorene du nevner kan selvsagt slå inn og at man rett og slett er uheldig siden det er såpass få pasienter. Uansett har INITUM og NIPU har et robust design for å nettopp kunne gi gode signaler, selv om slike tilfeldigheter som du nevner kan slå inn.

12 Likes

Supert, takk til deg og @polygon m.fl. for svar!

Får se om jeg ikke må finne frem statistikkboken fra universitet i løpet av helgen.

Og i mellomtiden kan vi forhåpentligvis ta helg etter en uke med god kursoppgang i Ulti og et par andre norske biotechs!

2 Likes

Det der blir dessverre for enkelt, siden ingen av armene følger en normalfordeling. Særlig for CM-067 flater det jo veldig ut rundt mPFS, som bryter den antagelsen. Ved beregning av konfidensintervallene kan man f.eks bruke Greenwoods exponential formula, og det er denne som ligger til grunn når jeg beregnet konfidensintervallene for HR i simuleringene mine. Om du er interessert, kan man lese om det her, dette er veldig teknisk: https://www.math.wustl.edu/~sawyer/handouts/greenwood.pdf

Av den grunn er det å foretrekke å bruke funksjoner som er innebygd i bibliotekene til det verktøyet man bruker. Konfiensintervallene for mPFS og HR er innebygd i lifelines biblioteket i Python, slik at man relativt enkelt kan beregne disse. Du hadde et spørsmål om konfidensintervaller for kontrollarmen ovenfor ved 42/28 fordeling, og det nedre konfidensintervallet lå gjerne i intervallet 5-7 mnd for de få simuleringene jeg sjekket. Øvre konfidensintervall gir “NA”, altså at det ikke nås. Jeg la det ikke inn i den opprinnelige koden jeg kjørte simuleringer på, derfor er det knotete å gjøre en større analyse på det. Skal legge det inn før jeg setter i gang med NIPU.

2 Likes

Ok, men det er vel n som blir vaiablen som påvirker konfidensintervallet ved ikke normalfordeling også, bare at det blir en mere komplisert formel.
Tenker på Polygon sitt svar hvor han antyder at hr 0.67 ved 90 pasienter vil tilsvare hr 0.6 ved 70 pasienter mhp signifikans som skylles at konfidensintervall reduseres ved økende n. Standardavviket vil jo stort sett være uavhengig av n
Ellers tusen takk for ytterligere kommentarer til mine spørsmål.

Skjønner at det blir en mere komplisert formel, ref. Boblegutten sin kommentar til det samme, men antall pasienter blir vel den avgjørende parametren likevel, tenker på ditt svar til Boms med HR 0.67 osv

Nå blander du (i hvert fall i det du skriver) pasienter og eventer. Det eneste som påvirker konfidensintervallet er antall eventer. Antall pasienter påvirker bare hvor lenge man må vente på eventene. At HR=0.67 (mest sannsynlig) vil være signifikant ved 90 eventer (altså at konfidensintervallet er under HR=1.00) var min gjetning, men jeg tror ikke det bommer så mye.

Hva betyr egentlig at hazard ratio er 0.67?

Mente eventer, eller helt klart definert, antallet som inngår i beregningen av et konfidensintervall.

At det for den enkelte pasient er 33% mindre sjanse for å ha fått progresjon i sykdommen eller gått bort på et gitt tidspunkt i studieperioden dersom denne pasienten var i den eksperimentelle armen.

Dette er målet på klinisk nytte. 20%, eller altså HR=0.80 er gjerne grensen for hva man kaller relevant klinisk nytte. Får man dette tallet i INITIUM vil det ikke være signifikant - man vil altså ikke kunne utelukke at det bare var flaks.

7 Likes

Dette innlegget ble rapportert og er midlertidig skjult.

1 Like

Anbefaler ikke å sjekke kursen til Ulti på ukesbasis. Legg aksjene i safen, vent til safen sprenges av oppsvulmet aksjekurs en gang om …XX måneder

Men denne tråden burde følges daglig, rett og slett fordi det er så mye å lære om både fag og børs her inne.

Ultimovacs småprat + insidermedlemskap = level opp som biotekinvestor. :slightly_smiling_face:

8 Likes

Dette innlegget ble rapportert og er midlertidig skjult.

1 Like