Datahotellet ustabilt mars 2022

[livar.bergheim]

I dei siste vekene har Digdir sitt Datahotell (hotell.difi.no) vore ustabilt grunna svært høg trafikk — på det meste over 1000 forespørslar i sekundet. Dette har ført til at datahotellet blir overbelasta og må restartast.

Kva er Datahotellet?
Datahotellet er ei teneste frå Digdir der verksemder i offentleg sektor kan publisere datasett, og konsumentar kan hente ut data, enten ved å laste ned heile datasettet eller gjere oppslag via eit API.

Datahotellet er over 10 år gammalt, og i dag er det i utgangspunktet ikkje ope for å legge ut nye datasett eller sleppe til nye verksemder som vil publisere data. Den tekniske løysinga er gammal, og skal ikkje vidareutviklast.

I prosjektet Datafabrikken jobbar ein med å lage ei ny løysing som på sikt skal erstatte dagens datahotell.

Rate limiting vert snart skrudd på
Vi innfører rate-limit på datahotellet — ei grense på tal på forespørslar pr. sekund pr. IP-adresse.
Dersom ein kjem over grensa, vil ein få HTTP-feilkode 429 («Too Many Requests»).

Nøyaktig kvar grensa går vil vi prøve oss fram på. Vi begynner med ei grense på 10 forespørslar pr. sekund pr. IP-adresse.

Vi ser på å skru på dette allereie i dag, fredag 25. mars. Det er kort varsel, men alternativet er at datahotellet vert utilgjengeleg for alle. Forrige helg gjekk datahotellet ned 7 ganger.

Sperre IP-adresser
Ved svært høg bruk kan vi komme til å sperre IP-adresser. Vi vil helst unngå dette, men det kan vere aktuelt for å hindre at datahotellet vert utilgjengeleg for alle.

Korleis kan eg bidra til eit stabilt datahotell?

Unngå for mykje trafikk på kort tid
Begrens kor mange forespørslar du gjer samtidig, eller vent med å gjere eit nytt kall til datahotellet før du har fått tilbake svar på forrige API-kall.

Last ned heile datasettet
Vi ser at det er mange som lastar ned heile datasett via API-et ved å hente ut ei side om gangen. (?page=1, ?page=2 osv.)
Ei side (page) gir 100 rader. For store datasett vert dette svært mange API-kall.

Eksempel: For datasettet «brreg/enhetsregisteret» med over 1 million rader vert dette 10 000 API-kall.

Du bør heller laste ned heile datasettet som CSV og konvertere til ønskt format.

Driftsmeldingar via @datahotellet på Twitter
Vi postar driftsmeldingar via eigen Twitter-konto.
Vi anbefaler også å sjå på dokumentasjon på hotell.difi.no