Crawler
MaalfridBot
MaalfridBot henter offentlige nettsider for Målfrid, for eksempel møtebøker og planer fra kommunale nettsteder, eller en side en bruker ber assistenten lese.
Kort fortalt
- Navn
- MaalfridBot
- User-Agent
- MaalfridBot/0.1 (+https://malfrid.eu/crawler)
- Eier
- Schoolhub, som leverandør av Målfrid
- Kontakt
- crawler@malfrid.eu
- Hva den henter
- Offentlig tilgjengelige sider og dokumenter
- robots.txt
- Følges, også Crawl-delay
Hvorfor den finnes
Ansatte i kommuner som bruker Målfrid, kan søke i offentlige møtebøker og saksframlegg og be assistenten lese en bestemt nettside. Da er det MaalfridBot som henter sidene. Den oppgir alltid hvem den er, slik at den som eier nettstedet kan se hvem som henter hva.
Bare det som er åpent
MaalfridBot henter bare sider og dokumenter som alle kan se uten å logge inn. Den logger aldri inn, fyller ikke ut skjemaer og prøver aldri å komme forbi sperrer på nettstedet.
robots.txt og hensynsfull henting
MaalfridBot leser og følger robots.txt, og tar hensyn til Crawl-delay. Den henter sider rolig og stopper hvis nettstedet svarer med feil eller ber den slutte.
Vil du stenge den ute, kan du legge dette i robots.txt:
User-agent: MaalfridBot
Disallow: /Noe galt, eller spørsmål?
Ser du trafikk fra MaalfridBot du ikke venter, eller vil du at den skal stoppe, skriv til crawler@malfrid.eu. Oppgi nettstedet og gjerne et utdrag fra serverloggen. Vi stopper hentingen fra nettstedet så snart vi har fått meldingen.