Datapijplijn
Een datapijplijn is een iets algemenere term. Het verwijst naar elke set van verwerkingselementen die gegevens van het ene systeem naar het andere verplaatsen, mogelijk tijdens de transformatie van de gegevens.De term ETL-pijplijn houdt meestal in dat de pijplijn in batches werkt, de pijp wordt bijvoorbeeld eenmaal per 12 uur uitgevoerd, terwijl de gegevenspijplijn ook als een 'streaming computation' kan worden uitgevoerd (wat betekent dat elke gebeurtenis wordt afgehandeld waneer het plaatsvindt).
ETL-pijplijn
Een ander type gegevenspijplijn, die ook een ETL-pijplijn is, is een ELT-pijplijn. Daarin worden alle gevens gegevens eerst geladen in het datawarehouse en pas daarna getransformeerd.Bovendien hoeft een gegevenspijplijn niet te eindigen bij het laden van de gegevens naar een database of een datawarehouse. Het kan bijvoorbeeld ook bedrijfsprocessen triggeren door webhooks op andere systemen te activeren. (Webhooks zijn een manier waarop apps geautomatiseerde berichten of informatie naar andere apps kunnen verzenden.)
Reacties
Een reactie posten