本文へスキップ

データセットストレージ

datashard

利用可能

データベースを必要としない、データセットおよびBLOB向けのテーブル形式です。

履歴を保持する、データセット、レコーディングデータ、大容量ファイル向けのストレージです。レコードは追記され、スナップショットが取得されるため、過去の任意の時点におけるデータセットをそのまま読み取ることができます。整理されていないCSVやJSONのダンプ、手動管理のフォルダー、ファイルを保持するためだけに立ち上げられたデータベースに取って代わります。

対象となるお客様。 レコーディングデータ、データセット、分析データを永続化し、バージョン管理された読み取り可能なストレージを必要とするPythonプロジェクト。

ステータス
利用可能
ライセンス
オープンソース、Apache 2.0
タグ
Pythonスナップショットタイムトラベルオープンフォーマットディスクまたはオブジェクトストレージ

できること

  • 追記専用、スナップショット付き

    レコードが追記され、スナップショットが取得されるため、特定の時点におけるデータセットの状態をそのまま読み取ることができます。

  • ディスクまたはS3

    このテーブル形式はローカルディスクとオブジェクトストレージの両方で動作し、両者間の移行は設定変更だけで行えます。

  • 基盤はParquet

    データはParquet形式で保存されるため、Parquetを読み取れる任意のツールで開くことができます。

ドキュメント、パイロット、統合については、お問い合わせください。