Python in de praktijk

Wij zetten het in waar het om volume gaat. Voor het Alles Over-netwerk verzamelt, controleert en verrijkt het de gegevens achter 1.425.432 bedrijfsvermeldingen, verdeeld over 49 regio's. Bij webshopwerk zet het leveranciersbestanden om naar bruikbare productgegevens en haalt het dubbelingen eruit. Verder gebruiken we het voor eenmalige klussen: een migratie, een controle over een hele database, een analyse waar een spreadsheet op vastloopt.

Je neemt een nieuwe leverancier of een nieuw gebied erbij. De ruwe gegevens komen binnen zoals ze zijn: afwijkende kolomnamen, ontbrekende velden, dubbele regels, prijzen in de verkeerde notatie. Die stroom gaat door een vaste bewerking die opschoont, samenvoegt en controleert, en alles wat verdacht is apart zet. Een medewerker beoordeelt alleen die twijfelgevallen, meestal een klein deel, en de rest staat klaar om te publiceren. Aan het eind heb je één bruikbare lijst in plaats van tien bestanden, en herhaal je dezelfde klus volgende maand met één opdracht.

• Leveranciers- en brondata omgezet naar één bruikbare set
• Dubbelingen en fouten eruit voordat ze op je site staan
• Klussen die een spreadsheet niet aankan, in minuten
• Eenmalige migraties en controles zonder handwerk
• Herhaalbaar: dezelfde klus volgende maand met één opdracht

Python is traag vergeleken met andere talen; voor werk dat live op elke bezoeker moet reageren, kiezen we iets anders. Het is ook geen product: iemand moet het onderhouden zodra een leverancier zijn bestandsformaat wijzigt, en dat gebeurt. Reken dus op periodiek onderhoud in plaats van eenmalig bouwen. Voor één handmatig lijstje per jaar is het te veel gedoe.