データセットストレージ
datashard
利用可能データベースを必要としない、データセットおよびBLOB向けのテーブル形式です。
データセット、レコーディングデータ、大容量ファイルを履歴ごと保持するストレージです。レコードは追記され、スナップショットが取得され、データセットは任意の過去の時点の状態で読み取ることができます。散在するCSVやJSONのダンプ、手作業で管理するフォルダ、ファイルを保持するためだけに立ち上げたデータベースに代わるものです。
対象となるお客様。 レコーディングデータ、データセット、分析データを永続化し、バージョン管理された読み取り可能なストレージを必要とするPythonプロジェクト。
- ステータス
- 利用可能
- 所属
- オープンソース
- ライセンス
- オープンソース、Apache 2.0
- タグ
- Pythonスナップショットタイムトラベルオープンフォーマットディスクまたはオブジェクトストレージ
できること
-
追記専用、スナップショット付き
レコードは追記およびスナップショットされるため、データセットは特定時点の状態で読み取ることができます。
-
ディスクまたはS3
同じテーブル形式がローカルディスクでもオブジェクトストレージでも機能するため、両者の間の移行は設定の変更だけで済みます。
-
基盤はParquet
データはParquetとして保存されるため、Parquetを読み取るツールであればどれでも読み取ることができます。
ドキュメント、パイロット、統合については、お問い合わせください。