Hej gott folk.
Beklagar verkligen tappet och INI fail. Jag vill återigen säga att jag hoppas att jag inte påverkat folk alltför mycket att sitta kvar på aktier de egentligen ville sälja. I tider som dessa är det bra att komma ihåg att det viktigaste man kan ha här i livet är hälsa, familj och vänner, vilket jag hoppas ni alla har.
En hel del frågor och tankar väcks. Jag vill direkt börja med att göra en disclaimer att detta inte är menat som ett ”I told you so”-inlägg (jag satt själv över readout med en för mig ansenlig summa), utan att försök att mentalt bearbeta det som hänt, och att det kanske även kan vara till nytta för andra.
Vilka röda flaggor fanns det att se?
Vi på TI såg nog generellt inga direkta röda flaggor, men såhär i efterhand (även om jag tänkte på det mesta av detta även före readout), kan man tänka sig att shortarna resonerat (och generellt hur man kan se på saken i efterhand):
Tes 1 : Jag som lång investerare är inte överdrivet positiv, kommer inte drista mig för att kolla upp relevanta problemfrågeställningar, och kommer inte vara biased i vilken information jag tar till mig.
Antites 1 : Långa investerare kommer att selektivt välja ut och eftersöka information som stödjer deras investeringstes.
Kommentar 1 : Jag försökte verkligen att inte begå detta misstag, men i efterhand investerade jag lite mer än jag hade önskat, samt att jag inte kollade upp vissa av nedanstående saker så ordentligt som jag önskat. Men ens tid, om man jobbar heltid och dessutom studerar vid sidan om, är begränsad.
Tes 2 : Shortarna har algoritmiskt bettat mot Ultimovacs utan en efterforskning och insats som är likvärdig den som TI gjort.
Antites 2 : Shortarna är professionella investerare med medicin- och forskningsbakgrund och lång erfarenhet. De jobbar heltid (minst, säkert upp mot 100h/vecka) med att analysera saker som vi ”hobbymässigt” gör på TI. De har stora nätverk, många kontakter, och många studier/data som de får hjälp att ta del av för att göra sina bedömningar.
Tes 3 : Även företaget, liksom aktieägarna, är förbluffade av resultatet i INI.
Antites 3 : Båda ovannämnda är starkt biased och hoppfulla. Reaktionen behöver inte återspegla de verkliga förhållandena och sannolikheten för framgång.
Tes 4 : Telomeras är tillräckligt kraftigt presenterat på cancerceller (ffa melanom), och tillräckligt tydligt presenterat för immunförsvaret för igenkänning av primade T-celler.
Antites 4 : Telomeras är presenterat i låg grad på cancerceller, och är ganska gömt för immunförsvaret.
Kommentar 4 : Detta är ett problem som lyftes upp som en fråga av auditoriet när UV-103 presenterades på en konferens. Något jag borde kollat upp närmre…
Tes 5 : Telomeras är inte föremål för central tolerans, och en tillräckligt kraftig immunrespons kan uppnås.
Antites 5 : Telomeras är föremål för central tolerans och känns igen som ”self”, och man kommer aldrig att kunna uppnå en tillräckligt stark immunrespons.
Kommentar 5: Jag såg alltid detta som ett problem, men tänkt att med hjälp av (dubbel) CPI, eftersom man då även ofta får autoimmuna symtom, så kan det fungera även om antigener är ”lite” self. Men jag kollade inte upp saken närmre, t.ex. hur många som faktiskt fick de facto autoimmuna biverknignar av ipi+nivo, snarare än bara generella biverkningar. Jag kollade inte heller närmre upp till vilken grad telomeras kan räknas till ett tumörspecifikt antigen.
Tes 6 : I UV-103 (1) såg man ingen skillnad avseende biologiska markörer för respons på CPI, hos de patienter som svarade på behandling jämfört med de som inte svarade.
Antites 6 : Många samples hanterades felaktigt och kunde tyvärr inte analyseras. Det var endast ett begränsat antal samples med mycket låg statistisk relevans.
Kommentar 6 : Avseende IFN-gammaprofilen hörde jag av mig flera gånger till Espen och frågade hur man kunde dra slutsatsen att det inte var någon skillnad mellan grupperna, då det inte fanns någon formell statistisk analys, och skillnaderna för att definiera responder och non-responder är mycket små i referensmaterialet (2). Jag fick aldrig något svar.
Tes 7 : Man har sett en korrelation mellan immunrespons och tumörrespons, vilket tyder på att UV1 har effekt.
Antites 7 : Immunrespons är en värdelös proxy för tumörrespons. En koppling mellan immunrespons och tumörrespons är snarare ett uttryck för generell immunokompetens, än ett bevis på att immunisering mot just ett antigen leder till respons som beror på att T-cellerna känner igen just det antigenet och utövar cytotoxisk effekt.
Tes 8 : Det fanns tecken på ett dos-respons-förhållande i fas I-studierna (3, 4).
Antites 8 : Det gjordes ingen formell statistisk analys av detta. Om något var det på dosen 700 ug man såg en effekt, men den dosen var inte väl tolererad.
Tes 9 : Resultaten i NIPU var lovande (5).
Antites 9 : Ett tvåsidigt P-värde på 0.197 är mycket svagt. Detta, i kombination med korsande OS-kurvor, gör att resultaten är ganska intetsägande. Det som ligger närmst till hands är att UV1 inte har någon effekt, och att det är slumpen som orsakat skillnaderna.
Tes 10 : Det var utifrån historiska data en stor sannolikhet för framgång i INITIUM.
Antites 10 : Sannolikheten för framgång beror pre-study probabilityn (6, 7).
Kommentar 10 : Hur fina modellerna än var som gjordes på forumet, så missade de ett helt centralt resonemang som borde förts i direkt anslutning: ett bayesianskt resonemang om sannolikheten för positivt utfall. Detta är något jag vidrörde lite grann, men nog borde pushat mer för. Det fanns två huvudsakliga förklaringar till förseningen i INI: effekt av UV1 och att SoC presterade bättre än väntat. Som jag var inne på flera gånger fanns det skäl för att anta att SoC skulle överprestera. Detta var bland annat en generellt s.k. patient temporal drift effect, att de PFS-events som definierades av OS-events skulle ske senare pga bättre generell diagnostik och behandling i vården, samt att det framkom belägg för att man blivit bättre på att hantera biverkningar av ipi+nivo. Det sistnämnda borde leda till bättre PFS, eftersom det finns ett tydligt samband mellan biverkningar och effekt av behandling (9). Färre skulle dock censureras, men nettoeffekt verkar ha blivit förlängd PFS och färre event.
Inom statistik brukar man prata frekventisk vs. bayesiansk approach. Den frekventistiska är den som är gängse, det är hela faderullan med P-värden, konfidensintervall etc. Problemet med det är att man kan dra felaktiga slutsatser. En feltolkning som florerade t.ex. efter NIPU var att det var 90% sannolikhet att UV1 hade effekt på OS. Frekventistisk analys ger aldrig en sannolikhetsskattning för att en hypotes föreligger; den ger endast en uppfattning om hur ”avvikande” data är från testhypotesen, oftast nollhypotesen (8). För att försöka dra slutsatser om sannolikheter för en viss hypotes måste man använda en bayesiansk approach. Där försöker man göra en uppskattning av pre-study sannolikheten, som tillsammans med det observerade resultatet ger en post-study sannolikhet för en hypotes.
Som sagt saknades detta resonemang fullständigt i förhållande till modellerna. När man då får procentsatser med 90%+ kan det bli väldigt missvisande. Det enda modellerna egentligen visade var hur avvikande PFS var jämfört med CM67, men utan en bayesiansk ansats säger det föga om sannolikheten att UV1 står för skillnaden. Rättare sagt säger det nästintill ingenting om den saken. Med det sagt tyckte jag modellerna var intressanta trots det, eftersom jag utifrån tillgänglig data ändå trodde att pre-studysannolikheten för effekt var ganska god, även om jag aldrig någonsin trodde på 90%+ sannolikhet. Att använda modellerna i sig själva utan kontext blir därför ett kardinalfel. Återigen övergår det mitt förstånd att dessa diskussioner inte fick mer plats (och jag kan inte förstå varför jag själv inte drev dem mer). Svagheten med den bayesianska approachen är förstås att det är en subjektiv bedömning av pre-study sannolikheten, men det är det bästa vi har. Och det verkar som Janus var bättre på att bedöma pre-study sannolikheten. Att därför säga att Janus antog att SoC-armen skulle överprestera helt galet blir fel sätt att se på saken; det var snarare så att de antog att pre-study sannolikheten för att UV1 skulle fungera var så pass låg, att det var den enda rimliga förklaringen. Detta, samt att PFS-kurvan följde CM67 till punkt och pricka vad gäller formen. Som jag förutspådde strax före resultatet kom: antigen ser vi en absurt bra effekt av UV1, eller så är det helt enkelt en dopad kurva av CM67 till punkt och pricka. Och det var just precis vad det var. Kanske det var den informationen som delades till insiders, att det inte skett ett enda event på 10 månader, som fick Janus att öka shorten ännu mer på slutet.
Tes 11 : Formen på KM-kurvan är inte ett problem. Att det finns en platånivå innebär inte ett riskmoment.
Antites 11 : Formen innebär ett problem, eftersom en förbättring av HR PFS med t.ex. ca 20% (HR 0.8 jämfört med historisk kontroll) får kurvan att plana av på en helt annan nivå (kanske är ungefär den skillnad i behandlingseffekt vi ser nu).
Kommentar 11 : Detta faktum i kombination med att det finns hållpunkter för att PFS borde vara bättre än CM67 innebar ett stort riskmoment inför INI readout. När folk pratar om att SoC presterat 3-4x bättre förstår jag inte vad som menas - bara för att mPFS kan bli bra mycket längre, innebär det inte att prestationen är “3-4 gånger bättre” - HR är ett bättre mått för att uppskatta skillnaden.
Tes 12 : Fas I-studierna i melanom indikerar effekt.
Antites 12 : Det finns en uppsjö av biotechbolag med en viss preklinisk och kanske även klinisk rational, lik den som fanns för GV1001/UV1. En del av dessa sållas bort direkt efter failure i fas I pga intetsägande effekt. De som ändå går vidare från fas I kan lika väl ha fått resultat av slumpen, inte minst när det gäller kombinationsbehandling med CPI som är en potent behandling, där ganska små slumpmässiga avvikelser i patientselektion kan leda till stora skillnader i effektmått. Fas I-data, utan starka pre-study odds, farmakologisk data eller tydligt statistiskt signifikant dos-responsförhållande är i princip intetsägande.
Kommentar 12 : UV1 verkar ha så gott som noll effekt i melanom efter resultaten vi har fått i INITIUM. Detta innebär att det facto i fas I-studierna just var slumpen som gav utslag.
Frågor som jag önskar jag hade svaret på:
- Hur många samlade timmar per vecka jobbar JHI:s biotechteam?
- Hur många timmar har de lagt på caset Ultimovacs?
- Tänkte JHI något likt ovanstånde? Hade de en Bayesiansk approach till sitt bet? Tog de några av ovan immunologiska resonemang i beaktning? Hade de andra väldigt centrala resonemang som jag helt förbisett? Eller var det endast en mycket enklare ansats, typ på generell statistik för sektorn?
Jag hade förväntat mig att SoC-armen skulle prestera bättre än CM67, men aldrig trott att den skulle överprestera så mycket, och att vaccinet skulle ha så gott som noll effekt.
Mina tankar framgent, är att utifrån den begränsade immunologiska kunskap jag har, att vaccin med ett relevant antigen, d.v.s., som är ordentligt immunogent (här klassar kanske endast äkta tumörspecifika antigen och neoantigen in), och som är uppvisat tillräckligt mycket på cancerceller , och är tillräckligt tillgängligt för immunförsvaret, borde vara valida targets för cancerbehandling. Personanpassade vaccin borde därför vara en rimlig väg framåt, där Moderna visat tecken på effekt i randomiserad setting, och även Tedopi.
Caset för UV1 verkar i princip helt dött. NIPU:s kan dock fortfarande anses vara ganska intressant. När jag snabbt kollade på det för ett tag sedan, verkar telomeras vara väldigt högt uttryckt i mesoteliom, minst lika högt eller högre än i melanom (10). Neoantigenbördan är inte lika hög i mesoteliom som i melanom (11). Kan det vara så att tilläggseffekten av UV1 är mindre i tumörer som har hög TMB? Att endast lägga till ett antigen där det finns massvis med potenta neoantigen att konkurrera med, kanske inte ger lika mycket som att lägga till det i en tumör där det endast finns ett fåtal neoantigen? Detta var en teori jag framförde för ett tag sedan, som inte fick särskilt mycket gehör. Om det stämmer, kanske det även finns en chans FOCUS, och NIPU framgent. Men egentligen ser jag inte hur man ska ha en chans att konkurrera mot sannolikt mer potenta personanpassade vaccin. Detta innebär även att den enda kliniska data som stödjer en effekt i FOCUS och NIPU är fas I-studien i prostatacancer och NIPU-resultaten, eftersom fas I-studierna i melanom sannolikt endast är ett typ 1-fel.
Det var en himla otur för aktieägarna att NIPU-resultatet kom före INITIUM. Jag tror, mig själv inkluderat, att många hade satsat betydligt mindre pengar om det inte varit så. Det var lätt att tänka, att med statistisk signifikant ökad ORR och så även precis gränsvärde för OS, så var det mycket sannolikt att förseningen i iNITIUM berodde på UV1.
Jag kommer nog aldrig ha möjlighet att sätta mig in i ett case lika mycket som jag gjort i detta fall, vilket är synd. Jag har dock lärt mig mycket, även om det absolut inte var värt förlusten. Forumet håller förhållandevis hög kvalitet, sannolikt ett av de bästa på internet. Men i slutändan är vi på det stora hela inte mer än en random bunch of outsiders som inte är professionella investerare eller disputerade eller har medicinsk bakgrund. Och då blir det kanske inte mer än en kvalificerad lekstuga i slutändan, trots allt. Jag är dock tacksam för alla kunniga skribenter som bidragit och som jag lärt mig mycket av, tack!
Försökte hålla samman tankarna så gott jag kunde men det är så mycket jag funderar på nu, detta var ett axplock av det.
Det hade för övrigt varit fruktansvärt intressant att få höra vad @Boblegutten och @ketilaaj tänker om det hela.
Källor:
(1) Länk till artikel om UV-103: Clinical Activity of Combined Telomerase Vaccination and Pembrolizumab in Advanced Melanoma: Results from a Phase I Trial - PubMed
(2) Studie om IFN-gamma genexpressionsprofil: IFN-γ-related mRNA profile predicts clinical response to PD-1 blockade - PubMed
(3) Fas I studie i lungcancer: Long-Term Outcomes of a Phase I Study With UV1, a Second Generation Telomerase Based Vaccine, in Patients With Advanced Non-Small Cell Lung Cancer - PubMed
(4) Fas I studie i prostatacancer: Phase I/IIa clinical trial of a novel hTERT peptide vaccine in men with metastatic hormone-naive prostate cancer - PubMed
(5) Artikel om NIPU: UV1 telomerase vaccine with ipilimumab and nivolumab as second line treatment for pleural mesothelioma - A phase II randomised trial - PubMed
(6) ”Why most published research findings are false”: Why most published research findings are false - PubMed
(7) Artikel om bayesiansk vs frekventistisk approach: https://towardsdatascience.com/frequentist-and-bayesian-inference-83af2595f172
(8) Artikel om P value fallacies: https://pubmed.ncbi.nlm.nih.gov/27209009/
(9) Artikel om biverkningar och korrelation till PFS för CPI: Association between immune-related side effects and efficacy and benefit of immune checkpoint inhibitors - A systematic review and meta-analysis - PubMed
(10) Länk till Pathology outlines om telomerasuttryck: Pathology Outlines - TERT
(11) Neoantigenbörda i mesoteliom: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6959430/