Articles

Se libérer de DataStage -ou autres ETL- en 6 étapes

Image
  Se libérer de DataStage -ou autres ETL- en 6 étapes  Un ETL comme DataStage, BODS, Talend, Informatica… ça fonctionne — jusqu'au jour où la licence pèse trop lourd, où les compétences se raréfient, ou où toute la logique métier reste enfermée dans un format propriétaire qui crée une dépendance dangereuse.  Voici en 6 étapes comment on peut définitivement sortir de la dépendance à tel ou tel éditeur pour ses transformations de données.   (Exemple avec DataStage, transposable à d'autres technologies).     Analyse du patrimoine    On va analyser l'ensemble des jobs DataStage   avec : Stages, dépendances, ordre réel d'exécution. Chaque job est scoré en complexité pour prioriser la migration.   Découvrir : le  data lineage d'{openAudit} Simplification du patrimoine   On va produire un data lineage du Stage jusqu'au champ — qui permettra de voir ce qui est réellement utilisé. Il est très simple ensuite d'écarter ce qui ne ser...

How can analytics pipelines be made portable?

Image
  How can analytics pipelines be made portable?   Today, major cloud platforms offer extremely powerful data environments that are generally the target in data stack modernization projects: Microsoft Fabric, Databricks, Glue, Snowflake, BigQuery, etc. These platforms are very well suited to many analytics and Big Data uses. But in many projects, another question is beginning to emerge: how to ensure that a technological choice made today does not create a perpetual dependency? Behind the processes often lie specific runtimes, proprietary APIs, native authentication mechanisms and, more generally, strong dependencies on the chosen Cloud provider. It also concerns his own informational sovereignty. In short...     A portable and interoperable approach For several major clients, we are working on approaches aimed at preserving the portability of data pipelines and limiting their dependence on a specific environment. The idea is to keep SQL processes open, more ea...