Diskusjon Triggere Porteføljer Aksjonærlister

Hvordan henter (scraper) dere data om selskaper på Oslo Børs fra nettet?

Spørsmål & Svar
#75

Noen som har en god måte å hente oversikt over alle tickets på f.eks. oslo børs? Jeg har testet ut marketstack sitt API, men det har både feil registreringer og lite informasjon. Yahoo (yfinance) har ingen måte å gi en oversikt over alle tickets som tilhører en børs så vidt jeg kan se.

Lastningen er å laste ned en csv dump fra euronext, men ønsker å fullautomatisere dette. Jeg antar det er mulig å fake cookie autentiseringen deres for å gjøre kallet via python/curl, men ikke brukt så mye tid på det.

Noen som har noen gode forslag til nettside hvor man kan hente ned oversikt eller API mottas med takk!

#76

Hva er du ute etter av data?

#77

Det spørs vel på hva du faktisk ønsker da.

Hvis du kun er ute etter tickers, så vil curl + jq gi deg det via det gamle oslobors.no-APIet:

curl https://www.oslobors.no/ob/servlets/components\?type\=table\&generators%5B0%5D%5Bsource%5D\=feed.ose.quotes.EQUITIES%2BPCC\&view\=DELAYED\&filter\=\&columns\=INSTRUMENT_TYPE%2C+ITEM_SECTOR \
  | jq -r '.rows | .[] | .values | select(.INSTRUMENT_TYPE == "SHARES") | .ITEM_SECTOR'

Tross for at Euronext har tatt over Oslo Børs, og alle lenkene på oslobors.no videresender deg til de nye sidene, fungerer dette fremdeles helt fint av en eller annen grunn. Om du ikke har jq kan du jo bruke python og pandas til å hente de verdiene ut.

Euronext trenger ikke cookies for å scrape (i alle fall sist jeg sjekket), men CSV-filene de tilbyr må masseres litt for å kunne brukes. Det har jeg ikke tatt meg bryet til å se på, så jeg seiler videre på oslobors sine gamle sider inntil jeg får tid til å migrere mine egne greier over.

#78

Takk, det kan fungere som en oversikt cronjob. Ideelt så skulle jeg gjerne fått ut siste end-of-day verdiene også. Vet du hvilke kolonner som støttes der?

Ideelt så skulle jeg hentet inn alle tickers for de største børsene, både oversikt og end-of-day. Noen som vet om et API for dette?

Bruker dette for backtesting av strategi for alle ticker på oslo børs, men ønsker å utvide. API landskapet der ute er et kaos, og spesielt hvis man ønsker mer enn US.

#79

Jeg fant noen gamle script jeg hadde (og forkastet) som gir flere kolonner og blant annet pris. Poster de her itilfelle flere er interessert: columns=PERIOD,INSTRUMENT_TYPE,TRADE_TIME,ITEM_SECTOR,ITEM,LONG_NAME,BID,ASK,LASTNZ_DIV,CLOSE_LAST_TRADED,CHANGE_PCT_SLACK,TURNOVER_TOTAL,TRADES_COUNT_TOTAL,MARKET_CAP,HAS_LIQUIDITY_PROVIDER,PERIOD,MIC,GICS_CODE_LEVEL_1,TIME,VOLUME_TOTAL
Det er ikke spesielt brukervennlig format eller naming, men det fungerer.

Hvis noen har oversikt over en eller flere API som tilbyr dette, så setter jeg pris på alt av info. Det er helt ok å betale for tilgang også, men da må det være muligheter for å hente ut end-of-day oversikt for en hel børs uten å betale per ticker (ellers blir det umulig å håndtere større mengder enn oslo børs)

#80

interessant?

link 1:
QuickFS: https://quickfs.net/

link 2:
HyperCharts: HyperCharts 📊

link 3:
Phil Town’s Toolbox: Toolbox for Investment Research | Rule One Investing

link 4:
Dataroma: DATAROMA Invest Alongside Superinvestors

link 5:

TIKR.com: TIKR Terminal

#81

Fant en link med masse andre linker til bøker innen finans,-HELT GRATIS! :smiley:

1 Like
#82

Gasspriser osv…

EDIT.

1 Like
#83

fant en annen alternativ nyhetsnettside…

#84

Ser f.eks. Rana Gruber trekker nedover pga lavere jernmalm priser…
https://markets.ft.com/data/commodities/tearsheet/summary?c=Iron+ore

#85

“ny” nettside :smiley:

#86

For de som trenger EOD data mm.
Har laget et lite python script for å hente ticker data for alle ~15K Aksjer som kan handles via Nordnet(Ikke historikk).
Output i flatform struktur(html tabell) som gjør import/sync med Excel enkelt.
Er totalt 28 datapunkter ink ticket, isin, Last|Open|Close|Volume, pe|ps|eps|pb, avkastning 1d|1w|1m|.|…, antall eiere, rapporteringsdato ++

Kjøres per marked, bare endre parameter:
country = "NO" # Velg mellom NO, SE, DK, FI, DE, US, CA
Kjøres på ca 2 sek for de 340 norske tickerne og ca 30 sek for de nesten 10k tickerne for US

Kode vedlagt for de som eventuelt ønsker.
Kan gjøres penere, but it works :slight_smile:
get_borsdata.txt (6,8 KB)

9 Likes
#87

Jeg hadde behov for å hente ut oppdaterte porteføljedata fra Nordnet. Skrev et script som står og går i Google Cloud med NodeJS, som bruker puppeteer. Dette er egentlig en headless browser som er programmerbar. Denne åpner Nordnet sine sider, logger på, og henter ut data fra nettsidene. Skulle tro det var ustabilt, men har stått og gått stabilt i 1 år nå.

5 Likes
#88

Knallbra! Hva betaler du for å kjøre det i skyen?

#89

Noen som har erfaring med å hente ut sanntids - ordrebok og historikk? Kan man kjøre webscraper på nordnet? Det blir vel mye trafikk?

#90

Viss man bare er interessert i open og close pr dag så kan man hente dette ut fra yahoo finance i python med biblioteket yfinance. F.eks:
bgbio_df = yf.Ticker(“BGBIO.ol”)
bg_bio_ticker_df = bgbio_df.history(period=“7y”)

Som henter ut siste 7 år med open/close

1 Like
#91

@Endrem @Border333 Kan jeg spørre hvor dere har lært dere disse metodene/teknikkene? Har lyst å begynne selv, går på et IT-studie ved siden av jobb men føler det går treigt og har mye fokus på HTML, Java, SQL og andre «eldre» språk/teknikker…

1 Like
#92

Fokuser på ett språk i starten er min anbefaling. Java er et godt språk som dekker en rekke metoder, siden du går på studier som går innpå dette så hvorfor ikke bruke det som inngangsdop(rettelse språk). SQL er jo også en fin basic. høres ut som en god miks å få en systemforståelse på det der i grunn. Keep on working😎 gresset er ikke grønnere på den andre siden alltid.

Jeg startet selv med Python, matlab, C++(IEC), SQL. Nå er jeg sendt på kurs i Java gjennom jobben, så det at noe er så «gammelt» er bare litt klisje.

2 Likes
#93

Takker, kan jeg spørre hvilken utdanning du har tatt og hvilken type stilling/rolle du har? :slight_smile:

#94

Elkraft-bachelor med Skipselektriske anlegg og kybernetikk og MS.c i Automasjon og industriell IT, jobber som automasjonsingeniør i maritim næring.

Bedriften jeg jobber i har lite Java-kompetanse, så da må man lære seg «nye» triks :sweat_smile:

1 Like