De crawl- en publicatieketen van NuttigWerk wordt steeds autonomer

Een belangrijk ontwikkeldoel van NuttigWerk is het verkorten van de tijd tussen bronpublicatie en zichtbaarheid op het platform. Daarom wordt gewerkt aan een productie- en beheerlaag waarin crawlen, classificeren, publiceren en verversen steeds autonomer verlopen.

Een onderdeel daarvan is een private beheer-API waarmee nieuwe data incrementeel naar de live omgeving kan worden gepubliceerd. Daardoor hoeft de publicatie van verse records minder afhankelijk te zijn van handmatige SSH-routines en volledige databasekopieën, wat de kans op fouten verkleint en de updatesnelheid verhoogt.

Ook de kwaliteitscontroles worden verder geautomatiseerd. Deploys krijgen strengere smokechecks, verlopen content kan automatisch worden opgeschoond en indexatie-updates worden sneller verwerkt. Dat is niet alleen technisch relevant, maar ook belangrijk voor betrouwbaarheid richting bezoekers en zoekmachines.

De visie achter deze infrastructuur is helder: NuttigWerk moet uitgroeien tot een actuele en stabiele laag bovenop een versnipperd maatschappelijk web. Dat vraagt om automatisering, monitoring en een publicatieketen die voortdurend blijft draaien.