Også videre, så var problemet innen IT hvertfall SVÆRT sjeldent selve kodeverket og hastigheten på kode som ble produsert (før LLM gjorde en inntreden) - men selve tenkingen. Nå virker det som at folk tenker mindre, og AI-slop’er seg frem til et sånn ca. riktig svar i stedet. Ser det på jobb også, en inder som til stadig skal imponere med å trekke frem “kule scripts han har laget” for å sjekke datakvalitet, osv.
Så viser det seg at han ved å spørre AI’en direkte har hoppet bukk over helt basale og innlysende restriksjoner på et gitt problem, og hele poenget med visse oppgaver har gått over hodet på han. Der han burde brukt kritisk tenking for å avdekke at oppgaven burde løses på en helt annen måte (litt manuelt arbeid i excel f.eks), så har han i stedet endt opp med å bruke 2 uker på en oppgave som burde maks tatt 3 dager uten AI.
Noen andre brukte en AI for å migrere fra ett kodebibliotek til et annet for dataprosessering. AI’en får tilgang til repoet, gode instruksjoner, osv. og går til verks med å oversette/refactore de delene av koden som brukte det gamle biblioteket. Koden ser ut til å funke bra, passerer alle daværende tester, og kjøres rimelig kjapt i produksjon. Ei uke senere er det noen som sjekker throughput på applikasjonen, og merker at det er vesentlig færre rader som prosesseres. Det viser seg at visse linjer der den har wrappa et felt fra en tabell med en funksjon før den gjør en boolsk sammenligning fører til at feltet får NULL-verdi, som håndteres forskjellig mellom bibliotekene. Den gamle koden evaluerte sammenligningen til False, som deretter satt en viss verdi - men i den nye så DROPPES raden. Viser seg at man da har omtrent en uke med tap av data, som nå må manuelt kjøres opp fra mainframe-systemet sin database til flere lag av kafka-køer, for at teamet kan hente inn igjen data tapet, som så må rekjøres til mål-tabellene. Dette skulle ha vært en enkel og “perfekt” oppgave til AI for å spare tid - refaktorere kodeverk. Som sådan i stedet medførte enormt mye unødvendig ekstraarbeid, og potensielt finansiell risiko i form av bøter fra myndighetene om ikke disse tallene er på plass innen månedsslutt.
Dette er bare to eksempler av flere som har gjort at jeg og mange andre kollegaer er skeptiske som f*** til LLMs. ALLE har tilgang og bruker det, så det er ikke slik at næringslivet sover på det.
Tror denne perioden kommer til å kalles “the great shitification” om noen år når vi ser tilbake på dette spetakkelet.