Crawler
MaalfridBot
MaalfridBot hentar offentlege nettsider for Målfrid, til dømes møtebøker og planar frå kommunale nettstader, eller ei side ein brukar ber assistenten lese.
Kort fortalt
- Namn
- MaalfridBot
- User-Agent
- MaalfridBot/0.1 (+https://malfrid.eu/crawler)
- Eigar
- Schoolhub, som leverandør av Målfrid
- Kontakt
- crawler@malfrid.eu
- Kva han hentar
- Offentleg tilgjengelege sider og dokument
- robots.txt
- Blir følgd, også Crawl-delay
Kvifor han finst
Tilsette i kommunar som brukar Målfrid, kan søkje i offentlege møtebøker og saksframlegg og be assistenten lese ei bestemd nettside. Då er det MaalfridBot som hentar sidene. Han seier alltid kven han er, slik at eigaren av nettstaden kan sjå kven som hentar kva.
Berre det som er ope
MaalfridBot hentar berre sider og dokument som alle kan sjå utan å logge inn. Han loggar aldri inn, fyller ikkje ut skjema og prøver aldri å kome forbi sperrer på nettstaden.
robots.txt og omsynsfull henting
MaalfridBot les og følgjer robots.txt, og tek omsyn til Crawl-delay. Han ventar mellom kvar førespurnad til same nettstad, og sider som svarar med feil, hoppar han over.
Vil du stengje han ute, kan du leggje dette i robots.txt:
User-agent: MaalfridBot
Disallow: /Noko gale, eller spørsmål?
Ser du trafikk frå MaalfridBot du ikkje ventar, eller vil du at han skal stoppe, skriv til crawler@malfrid.eu. Oppgi nettstaden og gjerne eit utdrag frå tenarloggen. Vi stoppar hentinga frå nettstaden så snart vi har fått meldinga.