数据集存储
datashard
可用一种用于数据集和 blob 的表格式,无需数据库。
用于数据集、录音录像及大文件且保留其历史记录的存储方案。记录仅作追加并创建快照,数据集可按其在以往任意时刻的状态进行读取。它取代了零散的 CSV 与 JSON 转储、手动管理的文件夹,以及仅为存放文件而搭建的数据库。
适用对象。 用于持久化录制内容、数据集或分析数据,并需要可版本化、可读存储的 Python 项目。
- 状态
- 可用
- 所属部分
- 开源
- 许可
- 开源,Apache 2.0
- 标签
- Python快照时间旅行开放格式磁盘或对象存储
功能
-
仅追加,带快照
由于记录仅作追加并创建快照,您可以读取数据集在某一时间点的原始状态。
-
磁盘或 S3
该表格式既适用于本地磁盘,也适用于对象存储,且在两者之间切换仅需更改配置。
-
底层采用 Parquet
数据以 Parquet 格式存储,任何支持读取 Parquet 的工具均可将其打开。
如需文档、试点或集成,联系我们。