Stockage de jeux de données
datashard
DisponibleUn format de table pour les jeux de données et les blobs qui ne nécessite pas de base de données.
Stockage pour jeux de données, enregistrements et fichiers volumineux qui conserve son historique. Les enregistrements sont ajoutés en mode append et des instantanés sont créés ; un jeu de données peut ainsi être consulté tel qu'il existait à tout moment antérieur. Il remplace les dumps CSV et JSON épars, les dossiers gérés manuellement et les bases de données déployées uniquement pour héberger des fichiers.
À qui il est destiné. Projets Python qui conservent des fichiers d’enregistrement, des jeux de données ou des données analytiques et qui ont besoin d’un stockage versionné et lisible.
- Statut
- Disponible
- Partie de
- Open source
- Licence
- Open source, Apache 2.0
- Étiquettes
- PythonInstantanésVoyage dans le tempsFormat ouvertStockage sur disque ou stockage objet
Ce que cela fait
-
Ajout uniquement, avec des instantanés
Comme les enregistrements sont ajoutés en mode append et capturés sous forme d'instantanés, vous pouvez lire un jeu de données tel qu'il se présentait à un instant donné.
-
Disque ou S3
Le format de table fonctionne sur disque local et dans le stockage objet, et le passage de l'un à l'autre s'effectue par une simple modification de configuration.
-
Parquet comme format sous-jacent
Les données sont stockées au format Parquet, que tout outil compatible Parquet peut ouvrir.
Pour la documentation, un pilote ou une intégration, contactez-nous.