Dans un monde axé sur les données, les organisations sont confrontées à des défis liés au volume et à la complexité considérables des données. Deux grands frameworks, les lacs de données et les lakehouses, ont émergé pour aider les entreprises à gérer et exploiter efficacement leurs données. Cet article compare clairement ces deux concepts, en soulignant leurs caractéristiques uniques et leurs applications pratiques au sein d'une architecture de données moderne.

Les deux articles précédents portaient sur l'évaluation d'Apache Iceberg et de ses fonctionnalités, ainsi que sur l'utilisation de PyIceberg pour créer des objets et charger des données. Cet article se concentrera sur l'extraction de données et l'utilisation des dataframes Pandas pour créer des analyses.

J'aime généralement essayer de nouvelles choses, et la technologie ne fait pas exception. J'ai donc décidé d'approfondir mes recherches sur les mécanismes d'Apache Iceberg, et plus particulièrement sur l'implémentation Python, PyIceberg. Apache Iceberg with Industrial Piping J'ai spécifiquement examiné certains éléments clés qui font généralement partie des pratiques de gestion des données, quelle que soit la technologie

C'est là qu'intervient Dask. Cette puissante bibliothèque Python est conçue pour le calcul parallèle, facilitant ainsi l'adaptation des workflows des data scientists. Dans cet article, nous allons explorer comment utiliser Dask pour des workflows de data science évolutifs, à l'aide d'exemples clairs et d'informations exploitables.

Il y a quelques années, j'ai commencé un travail secondaire que je pensais être amusant : collecter et classer les documents mensuels de la SEC pour les ETF et les fonds communs de placement. Je souhaite automatiser le processus de compilation des documents déposés auprès de la SEC à l'aide des dépôts d'index des entreprises et les mettre à jour lors du dépôt.