跳至内容

数据集存储

datashard

可用

一种用于数据集和 blob 的表格式,无需数据库。

用于数据集、录制内容和大文件的存储,并保留其历史记录:记录以追加方式写入,会生成快照,数据集可以按任意较早时刻的状态读取。它取代了零散的 CSV 和 JSON 转储、手工管理的文件夹,以及仅为存放文件而搭建的数据库。

适用对象。 用于持久化录制内容、数据集或分析数据,并需要可版本化、可读存储的 Python 项目。

状态
可用
所属部分
开源
许可
开源,Apache 2.0
标签
Python快照时间旅行开放格式磁盘或对象存储

功能

  • 仅追加,带快照

    记录以追加方式写入并生成快照,因此可以按某一时间点的状态读取数据集。

  • 磁盘或 S3

    同一表格式既可用于本地磁盘,也可用于对象存储,因此在两者之间迁移只需更改配置。

  • 底层采用 Parquet

    数据以 Parquet 格式存储,因此任何能读取 Parquet 的工具都可以读取它。

如需文档、试点或集成,联系我们。