Data Engineering
Le Data Engineering (ingénierie des données) désigne l’ensemble des pratiques permettant de collecter, transformer, organiser et distribuer les données afin qu’elles puissent être utilisées efficacement.
Dans un contexte où les données proviennent de sources multiples, souvent brutes et non structurées, le CATIE joue un rôle clé en assurant leur récupération, leur nettoyage, leur transformation et leur stockage, pour les rendre accessibles et exploitables.
Architecture cloud – Big Data
Ce domaine vise à concevoir des architectures logiciel sécurisées et scalables, c’est à dire permettant de traiter des données de manière efficiente quelle que soit la volumétrie.
Pour cela, nous nous appuyons sur les services proposés par les principaux fournisseurs de cloud (Scaleway, OVH, Amazon Web Services, Azure, etc.) ou bien sur des frameworks open source afin de construire des pipelines de traitement de données adaptées aux cas d’usage et contraintes des entreprises.
Quelques exemples d’application :
- extraction et stockage automatique de photos reçues par mail en serverless pour minimiser les coûts,
- mise en place de scrappers à grande échelle qui redémarrent et changent d’IP en cas d’erreur,
- choix d’une base de données et d’un modèle de données adaptés pour garantir la rapidité des requêtes