メインコンテンツへスキップ
見出し画像

本番データを守りながら分析する─Databricks分析ワークスペースの分離設計

    はじめに

    テックオーシャンAI&DATAチームの胡です。

    データ基盤が成長すると、次の課題が出てきます。

    分析者には本番に近いデータを使ってほしい。しかし、本番のデータ処理と同じ場所で自由に作業してほしくはない。

    本番ワークスペースには、パイプライン、ジョブ、正式なダッシュボード、デプロイ用サービスプリンシパルが集まっています。そこへアドホックSQL、検証用テーブル、ノートブック、下書きダッシュボードまで混在させると、権限、コスト、障害調査、リリース責任の境界が曖昧になります。

    そこで、本番処理を担うワークスペースとは別に、Silver / Gold層を読み取り専用で参照する分析ワークスペースを構築しました。

    本記事では、同じUnity Catalogメタストアを共有しながら、次の状態を作る設計を紹介します。

    • Bronze層は一般の分析利用者に公開しない

    • Silver / Gold層は読めるが書けない

    • Databricks上でExternal Locationを経由するS3への直接アクセスを防ぐ

    • 一時データは分析ワークスペース内に閉じる

    • 本番のパイプライン、ジョブ、正式リリースには触れない

    本記事でいう「分析ワークスペース」はDatabricksの固有機能名ではなく、分析用途に責務を限定したワークスペースの呼称です。内容は2026年8月時点のDatabricks on AWSを前提としています。


    本記事で使うレイヤーとカタログ

    最初に、本記事で使う用語を整理します。
    今回のデータ基盤では、Bronze / Silver / Goldの各レイヤーを、Unity Catalog上では次のように配置しています。

    画像

    以降、データ利用の説明では「Silver / Gold層」と表記し、ワークスペースバインディングなどカタログ単位の制御を説明する場合だけCurated Catalogと表記します。


    なぜ「SELECT権限だけ」では足りなかったのか

    最初に考えやすいのは、既存の本番ワークスペースで分析者へSELECTだけを付与する方法です。しかし、今回分離したかったのはテーブルへの書き込み権限だけではありません。

    • パイプライン、ジョブ、正式なダッシュボードと、分析中の成果物を分けたい

    • SQL Warehouseやノートブックのコストを本番処理と分けて追跡したい

    • 本番側で強い権限を持つデータエンジニアも、分析環境からは書き込めないようにしたい

    • Databricks上でExternal LocationやStorage Credentialを使ったS3への直接アクセスを防ぎたい

    • Databricks Asset Bundlesのデプロイ先を増やしたくない

    つまり、必要だったのはユーザー単位の権限制御だけではなく、実行環境そのものを境界にすることでした。

    Databricksでは、同じメタストアに接続したワークスペースからカタログが原則参照可能です。そこで、Unity CatalogのWorkspace-catalog bindingを使い、「どのカタログを、どのワークスペースから、どのアクセスレベルで利用できるか」を明示しました。


    設計の全体像

    2つのワークスペースは、同じUnity Catalogメタストアに接続します。メタストアの配下にワークスペースがあるのではなく、本番ワークスペースと分析ワークスペースが、同じメタストアを共有する関係です。

    関係をシンプルに示すため、次の図ではデータレイヤーを格納する2つのカタログだけを載せています。本番ワークスペースはBronze CatalogとCurated Catalogを読み書きし、分析ワークスペースはCurated Catalogだけを読み取り専用で参照します。

    画像

    設計上の責務は次のように分けています。

    画像

    重要なのは、本番データを別の場所へ複製していないことです。分析ワークスペースを同じメタストアへ接続し、Silver / Gold層を格納するCurated Catalogだけを読み取り専用で公開しています。


    Catalog BindingとGrantは別のゲート

    ワークスペースバインディングだけでデータを読めるわけではありません。また、ユーザーがSELECT権限を持っていても、カタログがそのワークスペースにバインドされていなければアクセスできません。

    今回のアクセスは、次の4段階をすべて通過した場合だけ成立します。

    画像

    ワークスペースバインディングはワークスペース単位の境界、Unity Catalogの権限(grant)はユーザーやグループ単位の境界です。

    Curated CatalogをISOLATEDに変更し、本番ワークスペースをREAD_WRITE、分析ワークスペースをREAD_ONLYで明示的にバインドしました。

    "databricks_workspace_binding"">resource "databricks_workspace_binding" "analysis_curated" {
      securable_type = "catalog"
      securable_name = databricks_catalog.curated.name
      workspace_id   = databricks_mws_workspaces.analysis.workspace_id
      binding_type   = "BINDING_TYPE_READ_ONLY"
    }

    カタログをISOLATEDへ切り替える際は、既存の本番ワークスペース側もREAD_WRITEとして明示管理します。先に分析ワークスペースだけを追加するのではなく、本番処理が従来どおり動くことを確認してから読み取り専用バインディングを追加します。


    External Locationは分析ワークスペースへ渡さない

    Silver / Gold層を読み取り専用にしても、Databricks上でExternal Locationを経由する直接アクセス経路が残っていれば、環境分離としては不十分です。

    そこでStorage CredentialとExternal LocationもISOLATEDにし、本番ワークスペースだけにバインドしました。分析ワークスペースにはバインドしません。

    DatabricksのExternal Location管理ドキュメントでは、External Locationにカタログと同じREAD_ONLYバインディングはありません。そのため「読み取り専用で渡す」のではなく、分析ワークスペースへは渡さない設計にしています。

    利用者はUnity Catalogに登録されたSilver / Goldテーブルを参照し、S3のパスや認証情報を直接扱いません。なお、Workspace BindingはDatabricks上の経路を制御するものです。分析利用者にAWS IAMの認証情報を別途配布しないことも、S3への直接アクセスを防ぐ前提にしています。


    一時データはWorkspace Catalogへ閉じ込める

    新しいUnity Catalog対応ワークスペースには、通常そのワークスペース専用のWorkspace Catalogが自動作成されます。DatabricksのCatalog概要によると、このカタログは既定で作成元ワークスペースだけにバインドされます。

    今回、このWorkspace Catalogを次の用途に限定しました。

    • CSVなど一時データの取り込み

    • Silver / Goldテーブルとの一時的なJOIN

    • 検証用managed table / managed volume

    • SQLやダッシュボードの下書き

    反対に、Silver / GoldテーブルをCTAS、CLONE、DEEP CLONEで永続コピーする運用は禁止しています。

    本番データをコピーすると、データの鮮度、削除依頼、保持期間、アクセス監査の対象が増えます。一時データとSilver / Goldテーブルを直接JOINできるなら、コピーを作らないほうが責任境界は明確です。


    コンピュートはSQL Warehouseだけに限定する

    分析ワークスペースにはパイプライン、ジョブ、instance pool、cluster policy、global init scriptを作成していません。基本コンピュートは分析専用SQL Warehouse 1台だけです。今回の初期設定では、ServerlessとPhotonを有効にし、2X-Small、最大1クラスター、5分の自動停止という小さな構成から始めました。

    Databricksは、利用可能な場合はServerless SQL Warehouseを推奨しています。アドホック分析のように利用量が変動する用途に合わせ、最小構成から開始し、自動停止を短く設定しました。

    ノートブックはSQL Warehouseへ接続するSQL用途だけを対象とし、Python、Scala、R、モデル学習は今回の範囲外としています。また、ワークスペース参加、SQL利用、cluster作成可否はグループごとにTerraformで明示し、デフォルト権限に依存しないようにしました。

    ネットワーク面では、既存のVPCとPrivateLinkを再利用しています。ただし、Serverless SQL WarehouseはDatabricks管理のserverless compute planeで動くため、classic compute向けPrivateLinkとserverless egress制御は別の論点です。今回の構築では既存のNCCとserverless network設定を維持し、詳細な変更は対象外としました。詳細はServerless compute plane networkingを参照してください。


    Terraformは4段階で適用する

    分析ワークスペースは一度のapplyで作っていません。次の4段階に分けました。

    画像

    各段階はTerraformのフラグで制御し、前の段階が有効でなければ次へ進めないようにpreconditionを設定しました。

    この順序にした主な理由は、本番ワークスペースと既存パイプラインへの影響を各段階で確認するためです。段階的なデプロイのためにterraform -targetは使わず、通常のplan全体を確認したうえでフラグを順番に切り替えます。

    stg-analysisで接続、権限、本番処理への非影響を確認してから、同じ手順をprod-analysisへ適用しました。ここでのstgとprodは環境名として使用しています。


    受入確認

    受入時は、次の組み合わせを確認しました。

    画像

    読み取り専用の確認には、本番側で書き込み権限を持つ検証用プリンシパルも含めました。これにより、単にユーザーの権限が不足しているのではなく、分析ワークスペースの境界で書き込みが止まることを確認できます。


    データの移行から本番・分析利用まで

    最後に、データの移行、整理、利用までの流れを1枚にまとめます。

    データソースから移行したRawデータは、まずAWS S3へ格納します。Bronze層のパイプラインとジョブがRawデータをBronze CatalogのBronze層へ取り込み、続いてSilver層、Gold層のパイプラインとジョブがCurated Catalog内の各レイヤーへ順に加工します。Bronze / Silver / Gold層のデータ実体はいずれもAWS S3上のDeltaテーブルです。

    画像

    Silver / Gold層は、本番ワークスペースではSQL、正式ダッシュボード、AI / ML学習に、分析ワークスペースではSQL、ノートブック、下書きダッシュボードに利用します。参照先は同じですが、分析ワークスペースからは読み取り専用です。図ではデータの流れに絞り、Unity Catalogによるアクセス制御の詳細は前の図に分けています。


    運用上の補足

    分析ワークスペースの操作はsystem.access.auditとQuery Historyで確認し、コストはsystem.billing.usageをワークスペースID、SQL Warehouse ID、カスタムタグで集計します。SQL WarehouseにはWorkspaceType=AnalysisやPurpose=AdHocAnalysisなどのタグを付け、本番処理と分析利用を分離しました。

    また、ワークスペース本体と専用root bucketにはTerraformのprevent_destroyを設定しています。問題発生時はリソースを削除するのではなく、まずCurated Catalogの分析用バインディングを外し、ワークスペース参加とSQL Warehouseの利用を停止する方針です。


    まとめ

    本番データを安全に分析するために必要だったのは、単にSELECT権限を付けることではありませんでした。

    今回の設計では、本番ワークスペースと分析ワークスペースを分離し、同じUnity Catalogメタストアを共有しながら、Silver / Gold層だけを読み取り専用で公開しました。さらに、Bronze層、External Location、Storage Credential、本番のパイプライン、正式リリースを分析環境から切り離しています。

    要点をまとめると、次の5つです。

    • 本番データは複製せず、同じメタストアから参照する

    • Catalog Bindingでワークスペース単位の読み取り専用境界を作る

    • Unity Catalogの権限で利用者単位の参照範囲を絞る

    • Workspace Catalogは一時データだけに使う

    • Terraformを段階的に適用し、本番処理への非影響を確認する

    分析の自由度を上げることと、本番データを守ることは両立できます。その鍵は、権限を増減するだけではなく、ワークスペース、カタログ、コンピュート、ストレージの境界を別々に設計することだと考えています。


    参考資料

    エンジニア採用強化中です!

    テックオーシャンではエンジニア採用を強化中です!ご興味がある方は、ぜひこちらからアクセスお願いします!

     
     
    テックオーシャンは「人と組織の可能性を最大化し、豊かな暮らしを社会をつくる」をビジョンに掲げ、 「TECH人材」「企業」「私たち」の可能性を信じ、それぞれが持つ力を最大限に引き出すことで、豊かな社会づくりに取り組みます。 https://techocean.co.jp/

    あなたへのおすすめ