跳至内容

数据集存储

datashard

可用

一种用于数据集和 blob 的表格式,无需数据库。

用于数据集、录音录像及大文件且保留其历史记录的存储方案。记录仅作追加并创建快照,数据集可按其在以往任意时刻的状态进行读取。它取代了零散的 CSV 与 JSON 转储、手动管理的文件夹,以及仅为存放文件而搭建的数据库。

适用对象。 用于持久化录制内容、数据集或分析数据,并需要可版本化、可读存储的 Python 项目。

状态
可用
所属部分
开源
许可
开源,Apache 2.0
标签
Python快照时间旅行开放格式磁盘或对象存储

功能

  • 仅追加,带快照

    由于记录仅作追加并创建快照,您可以读取数据集在某一时间点的原始状态。

  • 磁盘或 S3

    该表格式既适用于本地磁盘,也适用于对象存储,且在两者之间切换仅需更改配置。

  • 底层采用 Parquet

    数据以 Parquet 格式存储,任何支持读取 Parquet 的工具均可将其打开。

如需文档、试点或集成,联系我们。