Snowflake

Snowflake に接続する

コネクターについての概要は以下のリンクを参照してください。

• DB/SaaSと接続する

ダッシュボード

1. Connectorを作成する

   トップページの「Connectors」タブを選択し「Create」ボタンを押下します。

   
2. Snowflakeの認証情報を入力する

   Snowflakeでは３つの認証方式が提供されています。

   SnowflakeのServer URLについては公式ページを参照してください。

   • アカウントへの接続

   秘密鍵方式で接続する

   Snowflake (Key Pair)を選択し表示されたフォームに接続する認証情報を入力します。

   

   項目名	説明	必須	例
   Server	Snowflake標準アカウントURL	✅	https://<アカウントロケーター>.<リージョン>.<クラウド>.snowflakecomputing.com
   Username	ユーザー名	✅	DEMO_USER
   Private Key	秘密鍵	✅	-----BEGIN PRIVATE KEY-----
   Passphrase	秘密鍵のパスフレーズ		passphrase

   秘密鍵の作成については公式ページを参照してください。

   • キーペア認証とキーペアローテーション

   User/Passwordで接続する

   Snowflake (user / password)を選択し表示されたフォームに接続する認証情報を入力します。

   ２段階認証を有効にしている場合は都度承認が必要なためご注意ください。

   

   項目名	説明	必須	例
   Server	Snowflake標準アカウントURL	✅	https://<アカウントロケーター>.<リージョン>.<クラウド>.snowflakecomputing.com
   Username	ユーザー名	✅	DEMO_USER
   Password	パスワード	✅	password

   OAuthで接続する

   Snowflake (OAuth)を選択し表示されたフォームに接続する認証情報を入力します。

   

   項目名	説明	必須	例
   Server	Snowflake標準アカウントURL	✅	https://<アカウントロケーター>.<リージョン>.<クラウド>.snowflakecomputing.com
   Client Id	クライアントID	✅	CLIENT_ID
   Client Secret	クライアントシークレット	✅	CLIENT_SECRET

   クライアントID、クライアントシークレットの作成については公式ページを参照してください。

   • カスタムクライアント用のSnowflake OAuth の構成

   入力後Createボタンを押下すると作成が完了します。パラメータに不備がある場合はエラーが表示されるため接続内容が正しいか再度ご確認ください。

3. 作成したデータベースに接続する

   作成が成功すると一覧表示からコネクター名を取得することができます。アイコン横の文字列がconnection_nameです。これを使用することでコード上でデータベースに接続可能です。

   

   SQLまたはPythonのコードに作成したコネクター名を入力しデータを取得します。

   SQL

   {{
       config(
           connection="connection_name"
       )
   }}
   
   select * from table_name
   

ローカル

ローカルでは現在User/Password方式のみがコマンドで作成可能です。それ以外の方式はダッシュボードをご利用いただくか、直接~/.morph/connections.ymlに記述する必要があります。

1. morph initコマンドを実行する

   morph initコマンドを実行してDBの接続情報を~/.morph/connections.ymlに保存します。

   Shell

   morph init
   

   morphパッケージのインストールを行なっていない場合は事前に下記のコマンドでインストールしてからお進みください。

   shell

   pip install morph-data
   

   対話式のインターフェースでデータベースの種類一覧が表示されるのでSnowflake (User/Password)を選択します。

   Shell

   Select your database type:
   1. PostgreSQL
   2. MySQL
   3. Redshift
   4. SQLServer
   5. Snowflake (User/Password)
   6. BigQuery (Service Account)
   Enter the number corresponding to your database type: 5
   
   Snowflake (User/Password) selected.
   

   続いて認証情報を入力します。slugはコネクター名として扱うもので、この名前をSQLもしくはPythonで指定します。

   以下の入力例は実際に接続できる値に置き換えてください。

   shell

   Create a slug for your connection: snowflake-connection
   Enter your Snowflake account: https://~
   Enter your Snowflake database name: DEMO
   Enter your Snowflake username: DEMO_USER
   Enter your Snowflake password: password
   Enter your Snowflake role name: DEMO_ROLE
   Enter your Snowflake warehouse: DEMO_WAREHOUSE
   Enter your Snowflake schema name (optional):
   

   認証情報の保存が完了すると以下のメッセージが表示されます。

   shell

   Successfully initialized! 🎉
   You can edit your connection details in `path_to_connections.yml`
   

   connections.ymlは以下のように保存されています。他のコネクターを作成した場合はconnections以下に追加されます。

   shell

   cat ~/.morph/connections.yml
   

   connections:
     snowflake-connection:
       account: https://~
       database: DEMO
       method: snowflake_user_password
       password: password
       role: DEMO_ROLE
       schema_: ''
       type: snowflake
       user: DEMO_USER
       warehouse: DEMO_WAREHOUSE
   
2. コード上でコネクターを使いデータを取得する

   SQLまたはPythonのコードに作成したコネクター名を入力しデータを取得します。

   SQL

   {{
       config(
           connection="connection_name"
       )
   }}
   
   select * from table_name
   

実際にコネクターを指定してファイルを実行した場合の優先順位は以下の通りです。 またmorph deployを行なった環境ではダッシュボードで作成したコネクターのみが使用可能なため注意してください。

1. ローカルマシンの~/.morph/connections.ymlに記載されたコネクター
2. クラウドで登録されたコネクター

秘密鍵・OAuthの場合の記述方法

秘密鍵、もしくはOAuthを使用する際は~/.morph/connections.ymlを直接編集します。

access_tokenのリフレッシュはダッシュボードの機能のためローカル環境では記載したものが常時使用されます。

秘密鍵方式

connections:
  snowflake-key-pair-connection
    type: snowflake # 固定
    method: snowflake_key_pair # 固定
    account: str
    username: str
    database: str
    key_pair: str
    role: str
    warehouse: str
    schema_: str # 任意
    passphrase: str # 任意
    access_token: str # 任意

OAuth方式

connections:
  snowflake-oauth-connection
    type: snowflake # 固定
    method: snowflake_oauth # 固定
    account: str
    database: str
    refresh_token: str
    client_id: str
    client_secret: str
    redirect_uri: str
    role: str
    warehouse: str
    code_verifier: str
    schema_: str # 任意
    access_token: str # 任意