Skjønner at myndighetene prioriterer bygging av kraftkrevende datasentere
Blir bare mer og mer Big Brother verden ja.
Siden Deepseek er så i skuddet, og jeg ikke er noen ekspert, så fant jeg denne forklaringen på internettet, som jeg synes var interessant, kanskje noe andre, som heller ikke er up to speed, ennå, vil finne det interessant?
En slags Deepseek AI Explainer
Når man leser det virker jo ideene rundt ikke akkurat totalt umulig å komme på?
Innovativt, smart, fiffig, og til og med brilliant, ja! Men at ingen i Silicon Valley, Open AI, bransjen generelt lurte på om man kunne spare litt på energikost?
Det var derfor jeg postet dette bildet på meme-tråden, kun bildet uten forklaring, og satser på at noen “tar han /get it” siden det er så mange biotek-ivestorer på TI.
Forklaring på Meme, if needed
Deeepseek er free of charge, og open source
Deepseek eller deepfake?
Time will show. Her ligger det nok detaljer langt nede i materien som få forstår, men som vil komme frem før eller siden.
Mange som prøver seg på en forklaring. OpenAI mener deepseek har benyttes deres data, andre mener Kina har “bypasset” båndbredderestriksjoner på GPU kortene med å kode direkte på maskinkode nivå - noe som i seg selv ville vært en gigantisk prestasjon.
Uansett, så fremstår prisingen av Nvidia helt idiotisk, selv etter siste dagers korreksjon. Om deekseek er det som kommer til å endre prisingen gjenstår å se.
Kom på et bra navn til en Grinder-konkurent - DickSeek… 
Det gir ingen mening med dagens kompilatorer. Om du skriver i C eller Assembly, så får du ofte samme kode. I hvert fall hvis du spesifiser CPU.
Det er jeg ganske så sikker på at du ikke gjør nei. Du får selvsagt maskinkode som et resultat av kompileringen siden det er det prosessoren forstår. Men skriver du maskinkoden direkte selv så blir resultatet som helhet noe annet enn hva en kompilatoren skriver ut.
Spør alle som kodet demoer back in the days direkte som maskinkode. Ingen " high level language" som C++, C, C# eller whatever kommer i nærheten av optimaliseringen du får av å skrive direkte maskinkode. Når du skal få maks ut av GPU’ene gir det sånnsett mening med maskinkode, men vil vøre en svært krevende operasjon.
Edit: En annen ting er også hvordan eventuelt disse båndbreddebegrensingene er/var implementert. Mest sannsynlig er det med en eller annen form for kode og ikke med faktiske fysiske begrensninger (som stort sett alt av elektronikk produkter er implementert i dag ). Da gir det også mening med maskinkode siden du da bypasser alle slike sw begrensninger).
Der har du hintet ditt. Det har skjedd mye med kompilatorer siden da.
Her kan du se en fyr som viser hva resultatet av forskjellige kompilatorer og optimaliseringer blir. Har hoppet til der han begynner å snakke om innstillingene til kompilatoren osv.
Du missforstår poenget.
High level language (som den i vidoen) er et pre definert sett av funksjoner/klasser/datatyper etc,
Som regel dekker jo det det meste. Men med maskinkode programmerer du direkte mot HW og har dermed en annen type kontroll over flyten.
Når har du behov for det? Tja si det. Kanskje hvis du vil adressere HW på en måte som high level språk ikke kan.
Jeg er ganske sikker på at maskinkode kan ha sin funksjon. Er det det som er greia med at deepseek har kommet seg rundt eksport begrensningene på bl.a. minne båndbredde på GPU’ene?
Kanskje, kanskje ikke. Kanskje er det en del av et større bilde.
Jeg tror det er for tidlig å si noe sikkert nå uansett.
Det er ikke maskinkode men PTX: DeepSeek's AI breakthrough bypasses industry-standard CUDA for some functions, uses Nvidia's assembly-like PTX programming instead | Tom's Hardware
PTX sits between higher-level GPU programming languages (like CUDA C/C++ or other language frontends) and the low-level machine code (streaming assembly, or SASS). PTX is a close-to-metal ISA that exposes the GPU as a data-parallel computing device and, therefore, allows fine-grained optimizations, such as register allocation and thread/warp-level adjustments, something that CUDA C/C++ and other languages cannot enable.
De optimeringene vil sikkert bli tilgjengelig i CUDA om det stemmer
Nettopp.
Dette var hele poenget mitt–>
(Min utheving)
PTX is a close-to-metal ISA that exposes the GPU as a data-parallel computing device and, therefore, allows fine-grained optimizations, such as register allocation and thread/warp-level adjustments, something that CUDA C/C++ and other languages cannot enable
Poenget med maskinkode isteden for “high lever languge” står!
Det kan godt hende dette er optimalisering som kan komme fremover i CUDA ja. Men de er ikke der nå. Og uansett - gitt at dette stemmer, så er det et slag til nvidia og prisingen av selskapet.
Ja men dette er ikke maskinkode
Med innstillinger til CUDA kompilatoren om hvilken maskinvare den kjører på, så tenker jeg også du da vil svært nærme PTX uten å gjøre det manuelt.
Tenker jeg hadde litt feil og litt rett her, er vel CUDA kompilatoren som ikke er helt moden enda, sammenlignet med f.eks. C/C++ kompilatoren, men samtidig, det ble ikke skrevet assembly.
Edit, høres veldig ut som PTX er basically assembly.
https://docs.scale-lang.com/examples/ptx/
PTX er nok brukt sammen med CUDA og det hadde overrasket meg stort hvis ikke alle de andre AI-aktørene gjorde det på samme måte.
Det er en grunn til at PTX er laget og finnes tilgjengelig for de som ønsker mer kontroll
Fra Jeffery Emmanuels raport:
Får meg til å tenke hvordan man lærer på skolen; er det viktige å finne rette svar, eller er det ressonnementet og tankeprosessen?
Skjønner jo at det er fett å bare få servert poenget, eller et svar med 2 streker under, fasiten, men læringen ligger jo i tankerekken.
