データセットストレージ
datashard
利用可能データベースを必要としない、データセットおよびBLOB向けのテーブル形式です。
履歴を保持する、データセット、レコーディングデータ、大容量ファイル向けのストレージです。レコードは追記され、スナップショットが取得されるため、過去の任意の時点におけるデータセットをそのまま読み取ることができます。整理されていないCSVやJSONのダンプ、手動管理のフォルダー、ファイルを保持するためだけに立ち上げられたデータベースに取って代わります。
対象となるお客様。 レコーディングデータ、データセット、分析データを永続化し、バージョン管理された読み取り可能なストレージを必要とするPythonプロジェクト。
- ステータス
- 利用可能
- 所属
- オープンソース
- ライセンス
- オープンソース、Apache 2.0
- タグ
- Pythonスナップショットタイムトラベルオープンフォーマットディスクまたはオブジェクトストレージ
できること
-
追記専用、スナップショット付き
レコードが追記され、スナップショットが取得されるため、特定の時点におけるデータセットの状態をそのまま読み取ることができます。
-
ディスクまたはS3
このテーブル形式はローカルディスクとオブジェクトストレージの両方で動作し、両者間の移行は設定変更だけで行えます。
-
基盤はParquet
データはParquet形式で保存されるため、Parquetを読み取れる任意のツールで開くことができます。
ドキュメント、パイロット、統合については、お問い合わせください。