本文へスキップ

データセットストレージ

datashard

利用可能

データベースを必要としない、データセットおよびBLOB向けのテーブル形式です。

データセット、レコーディングデータ、大容量ファイルを履歴ごと保持するストレージです。レコードは追記され、スナップショットが取得され、データセットは任意の過去の時点の状態で読み取ることができます。散在するCSVやJSONのダンプ、手作業で管理するフォルダ、ファイルを保持するためだけに立ち上げたデータベースに代わるものです。

対象となるお客様。 レコーディングデータ、データセット、分析データを永続化し、バージョン管理された読み取り可能なストレージを必要とするPythonプロジェクト。

ステータス
利用可能
ライセンス
オープンソース、Apache 2.0
タグ
Pythonスナップショットタイムトラベルオープンフォーマットディスクまたはオブジェクトストレージ

できること

  • 追記専用、スナップショット付き

    レコードは追記およびスナップショットされるため、データセットは特定時点の状態で読み取ることができます。

  • ディスクまたはS3

    同じテーブル形式がローカルディスクでもオブジェクトストレージでも機能するため、両者の間の移行は設定の変更だけで済みます。

  • 基盤はParquet

    データはParquetとして保存されるため、Parquetを読み取るツールであればどれでも読み取ることができます。

ドキュメント、パイロット、統合については、お問い合わせください。