Automatisierung mittels Web-Crawler
Referenzen und Use-Cases.
geschrieben von Thomas am
Täglich eine größere Anzahl an Daten von einer Webseite auslesen und in das hauseigene Programm einspielen - dies begleitete die Firma INKO Inkasso GmbH aus Linz täglich. Mit einem Web-Crawler soll das lästige, zeitaufwendige und fehleranfällige Abtippen der Vergangenheit angehören.
Anstatt die einzelnen Zeilen täglich von einer bestimmten Webseite abzutippen, wurde jetzt ein eigener Web-Crawler implementiert. Dieser liest die Daten einer Webseite täglich automatisch aus, übersetzt diese in ein vordefiniertes, strukturiertes Format und legt die Daten schlussendlich auf einem Server als CSV-Datei ab. Von hier werden die Daten dann automatisch in ein hauseigenes Programm importiert und weiterverarbeitet.
Der gezielte Einsatz von solchen Automatisierungen kann nicht nur Zeit und Geld sparen, auch potentielle Fehler können dadurch verringert/vermindert werden.
Technische Details
Der Web-Crawler wurde in Python entwickelt und auf AWS Lambda als Serverless Applikation bereitgestellt. Der Web-Crawler wird dabei automatisch über Amazon Simple Notification Service (SNS) gestartet.