Stockage de jeux de données
datashard
DisponibleUn format de table pour les jeux de données et les blobs qui ne nécessite pas de base de données.
Stockage pour les jeux de données, les enregistrements et les fichiers volumineux, qui conserve son historique : les enregistrements sont ajoutés, des snapshots sont pris, et un jeu de données peut être lu tel qu'il était à n'importe quel moment antérieur. Il remplace les exports CSV et JSON en vrac, les dossiers gérés manuellement et les bases de données mises en place uniquement pour contenir des fichiers.
À qui il est destiné. Projets Python qui conservent des enregistrements, des jeux de données ou des données analytiques et qui ont besoin d'un stockage versionné et lisible.
- Statut
- Disponible
- Partie de
- Open source
- Licence
- Open source, Apache 2.0
- Étiquettes
- PythonSnapshotsVoyage dans le tempsFormat ouvertStockage sur disque ou sur objet
Ce que cela fait
-
Ajout uniquement, avec des instantanés
Les enregistrements sont ajoutés et font l'objet d'instantanés, de sorte qu'un jeu de données peut être lu tel qu'il se présentait à un moment donné.
-
Disque ou S3
Le même format de table fonctionne sur disque local ou dans un stockage objet, si bien que passer de l'un à l'autre est un simple changement de configuration.
-
Parquet en dessous
Les données sont stockées au format Parquet, de sorte que tout outil capable de lire du Parquet peut les lire.
Pour la documentation, un pilote ou une intégration, contactez-nous.