Diskusjon Triggere Porteføljer Aksjonærlister

Hvordan henter (scraper) dere data om selskaper på Oslo Børs fra nettet?

Tagger du meg om dette dukker opp?

1 Like

Dette er jeg også interessert i å bli oppdatert på. Som den største internett megleren burde de ha dette på stell. Det er trolig bra om flere av dere sier i fra til kundesupport hos Nordnet - de ber om konstruktive innspill, sier de.

1 Like

Jeg har et veldig enkelt program som henter siste aksjekurs som er tilgjengelig fra Oslo Børs sine nettsider for et utvalg aksjer, og skriver det til en fil jeg så importerer i et regneark jeg har for å holde oversikt.

Etter litt inspeksjon av nettsidene til Oslo Børs, fant jeg noen webrequester som returnerer de dataene jeg var interessert i som json-data, så jeg kaller bare de url-ene fra programmet mitt og parser json-dataene jeg får tilbake.

Eksempel-url for DNB:
https://www.oslobors.no/ob/servlets/components?type=quote&source=feed.ob.quotes.INSTRUMENTS&leftjoin=&tradesSource=feed.ob.trades.INSTRUMENTS&columns=ITEM%2C+ITEM_SECTOR%2C+SECTOR%2C+BID%2C+ASK%2C+LASTNZ_DIV%2C+TIME%2C+TRADE_TIME%2C+CLOSE_LAST_TRADED%2C+HIGH%2C+LOW%2C+CHANGE_PCT_SLACK%2C+MARKET_CAP%2C+PERIOD%2C+TURNOVER_TOTAL&filter=ITEM_SECTOR%3D%3DsDNB.OSE&channel=751b9f7ba25a33b57e2ada4f2adddb32

For min del holdt det med informasjonen jeg får fra denne requesten, men det kan godt være du må gjøre flere requester for å få den informasjonen du er ute etter.

5 Likes

Dere som driver og laster ned data fra selskaper på Oslo Børs, laster dere ned data til ett og ett selskap i gangen? Hvis ja, hvor lang tid tar det å laste ned data for alle selskapene på OSE?

Selv bruker jeg et program som heter Amibroker, som er et selvstendig program for TA, grafer og backtesting ol, og laster ned EOD kurser for selskapene på OSE fra finance.yahoo (gratis).
Det tar ca 1 minutt å laste quotes (open, high, low, close, volume), for alle selskapene etter børsslutt.

Jeg brukte også sidene til Netfonds av og til hvis jeg var nødt til å korrigere enkelte data som ikke stemte fra finance.yahoo.
Så Netfonds sine API er dypt savnet.

Jobber litt med JSON filer for tiden og fant nylig cli verktøyet jq -utolrig kjekt hvis du skal hente bestemt info ut av en eller flere json filer.
jq link https://stedolan.github.io/jq/

2 Likes

Jeg laster ned et og et selskap, men i mitt tilfelle så er det kun snakk om 11 selskaper jeg er interessert i, så det er ikke mange sekundene det er snakk om.

Jeg har ikke målt tiden det tar å gjøre bare dette, da dette er en av flere operasjoner programmet mitt gjør i paralell. Programmet mitt gjør seg ferdig med alt den skal på under 10 sekunder, så jeg har ikke brydd meg om å gå mer i detaljer på det.

Spørsmålet ditt gjorde meg nysgjerrig, så jeg tok en rask runde på Oslo Børs sine nettsider. Hvis dataene på https://www.oslobors.no/markedsaktivitet/#/list/shares/quotelist/ose/all/all/false er noe du kan bruke, så kan du få tak i json-dataene (selskapene er ikke sortert alfabetisk i json-responsen) fra denne lenken:

https://www.oslobors.no/ob/servlets/components?type=table&generators[0][source]=feed.ose.quotes.EQUITIES%2BPCC&filter=&view=DELAYED&columns=PERIOD%2C+INSTRUMENT_TYPE%2C+TRADE_TIME%2C+ITEM_SECTOR%2C+ITEM%2C+LONG_NAME%2C+BID%2C+ASK%2C+LASTNZ_DIV%2C+CLOSE_LAST_TRADED%2C+CHANGE_PCT_SLACK%2C+TURNOVER_TOTAL%2C+TRADES_COUNT_TOTAL%2C+MARKET_CAP%2C+HAS_LIQUIDITY_PROVIDER%2C+PERIOD%2C+MIC%2C+GICS_CODE_LEVEL_1%2C+TIME%2C+VOLUME_TOTAL&channel=3900cb856640fe3e69a6c0a49d07765c

Brukte Netfonds sitt API til å hente data, og hadde også laget en enkel tradingrobot. Nordnet skulle ha nytt API “klart i juni”. Spurte for en uke siden om status på dette - og fikk svar i dag:

Det arbeides med utviklingen av en API-løsning, men utover det foreligger det per nå dessverre ikke noe mer informasjon.

Håpløst…

2 Likes

Hvordan klarte du å finne denne url-en? Jeg trenger noe tilsvarende, men for fond. Ser at Oslo børs har kurs-info om dette, f.eks. her:
www.oslobors.no/markedsaktivitet/#/details/DK-GLBIX.OSE/overview
Men jeg trenger å hente ned historikk…

@vfdsvbafsdaf Jeg brukte Developer tools i Google Chrome til å se på de forskjellige web-requestene som gjøres når man laster siden. (Du finner tilsvarende developer tools i de fleste browsere nå for tiden.)
Developer tools åpnes med F12 eller Ctrl + Shift + i. Last siden på nytt, og gå til Network-fliken. Der kan du trykke på requestene og få opp detaljer om hver enkelt. Jeg valgte å filtrere på bare XHS-requester for å gjøre listen mer overkommelig. Inne på hver request så er det Response-fliken som viser dataene du får fra serveren.
På denne måten fant jeg den requesten som ga meg de dataene jeg ville ha, og dermed trengte jeg bare å kalle akkurat den url-en i stedet for å laste hele siden. :slight_smile:

1 Like

Om man ønsker å hente kurser fra Yahoo Finance for Oslo Børs (med Java) så kan det gjøres her med --> https://github.com/sstrickx/yahoofinance-api

3 Likes

Du kan også gjøre det i R med Quandl-pakken, men det er nok litt tynt med data for Oslo Børs. Du får det grunnleggende men ikke noe særlig utover det.

1 Like

har ikke nordnet egen api allerede da? trodde den var populær hos svenskene.

Stemmer, og de arbeider visstnok med en norsk versjon… I noen år nå…

Om nordnet har noe api så er det ikke tilgjengelig for allmenheten. Forhørte meg med dem for 1 uke siden og virket ikke som at det var på plass i nær fremtid :frowning:

Jeg prøver å få tak i informasjon fra Nordnet vedrørende deres eksterne API- løsning, men det ser ikke ut som de er veldig interesserte i å svare. Med forbehold om at jeg tar feil eller noe nytt har skjedd, så er det slik. Jeg lastet ned hele kursliste for Oslo børs( m/historikk(daily)), før Netfonds- løsningen forsvant. Jeg må altså sitte og mekke en løsning for å sy sammen de .csv- filene med siste tids prisdata, for deretter å kunne gjøre daglige requests til Yahoo eller lignende. Dette er noe jeg egentlig ikke har tid til, men det ser altså ut til at det blir løsningen. Å programmere en løsning for å få 1 nedlasting til oppdatering av filene synes dog veldig unødvendig. Hvis jeg bare skulle oppdatert filene hver dag, så hadde det vært greit nok. Mye av historikken fra Netfonds hadde relativt mange års dekning, så jeg kan ikke godta å bli avspist med noen få år som ofte blir alternativet andre steder.

Mja dette er litt håpløst. Har kontaktet Nordnet flere ganger nå. I fjor mente de at API skulle være på plass for oss nordmenn ila 2018. Skjedde jo ikke. Sist nå fikk jeg samme svar; jobbes med og skal være på plass ila 2019. De sier også at svenske kunder allerede har tilgang til API…

Håper vi får noe å leke med snart!

Jeg har brukt Alpha Vantage API nå noen dager, men det er ikke pålitelig. Man vet aldri hva man får når tilbyderen er relativt ukjent og man ikke har noe kundeforhold som sådan. Historisk data er ufullstendig, og tydeligvis er Oslo børs bare delvis dekket. YAR.OSL fungerer og gir relativt gode data(Like langt tilbake som Netfonds, men med noen dager i historikken som ikke er oppdaterte/er oppdaterte med 0 - verdier). FRO.OSL fungerer f.eks ikke i noen som helst konfigurasjon av akronym/børs, og gir bare error- melding. Uten å vite hvem som tilbyr stabile tjenester på dette området, så er det utrolig vanskelig å orientere seg akkurat nå.

Men hva bruker dere dataene for selskapene på Oslo børs til da?
Er det daytrading basert på tekniske signaler kan jeg forstå at det er viktig med korrekte data.
Hvis det bare er for å se på grafer for å danne dere et bilde av kursutviklingen er det vel ikke nødvendig med helt korrekte data, eller?

Selv bruker jeg et program som heter Amibroker (koster vel ca kr 3000,-) til grafer og teknisk analyse. I Amibroker følger det med et downloader program som heter AmiQuote. Med AmiQuote laster jeg ned EOD data fra finance.yahoo.com.
Tar ca 1-2 minutter å laste ned dagens kurser O,H,L,C og volum for alle selskapene på Oslo Børs.

Har brukt Amibroker i ca 12 år nå, et fantastisk program til TA, backtesting osv.

4 Likes

:+1: for Amibroker - veldig bra program :slight_smile: Ble rik på papiret i mange av tradesystemene jeg lagde i det :slight_smile:

2 Likes

Skal undersøke Amibroker! Bruker selv Python og Qlik hovedsakelig til diverse modeller. Dersom jeg kan overføre det til en broker som kan til en viss grad automatisere tradingen basert på de modellene, blir jeg veldig fornøyd :slight_smile:

3 Likes