はじめての Azure Data Lake ~ 環境構築からファイル アップロードまで ~

 

Microsoft Japan Data Platform Tech Sales Team

西村哲徳

みなさん、こんにちは。はじめての Azure Data Lake シリーズ2回目は、実際に Data Lake Store の環境を構築してファイルをアップロードするまでをご紹介します。「そもそもData Lakeって何 ?」という方は1回目で解説してますのでそちらをご覧ください。

本ブログの内容を試すのに必要なもの

  • Azure アカウント : Data Lake Store は Azure サービスの1つなので Azure アカウントが必要です。まだ持ってない方は 20,500 円分の無料クレジットがつくのでこちらから作成してください。
  • Visual Studio : ファイルを操作するツールの1つAzure Data Lake Explorerを使うために必要になります。 Community Editionでも構いません。入手方法は後ほど紹介します。

 

では早速、環境構築( Data Lake Store の作成)に入ります。

1. Data Lake Storeの作成

作成した Azure アカウントを使い Azure Portal にログインします。

続いてメニュー左の「新規」から Data Lake Store を検索し作成を開始します。

blog01

 

必要な情報を入力し新しい Data Lake Store を作成します。

入力項目 説明
名前 一意の名前を入力します。 一意であれば画像のように緑色の✔になります。
サブスクリプション 使用可能なサブスクリプションを選択します。
リソースグループ 既存のものも使用可能ですが、ここでは新規で作成します。
場所 現在は米国中央部と米国東部2のみが選択可能です。
価格 任意の課金制を選択してください。
暗号化 暗号化する場合は有効、しない場合は無効を選択してください。

 

全てセットしたら作成ボタンを押下します。

blog02

 

通知からデプロイの開始と終了が確認できます。

blog03

 

作成した Data Lake Store を名前で検索して確認します。

blog04 blog05

 

以上で Data Lake Store の作成は完了です。たったこれだけのステップで実質無制限の容量のファイル群を格納できるビッグデータストアの完成です。

2.Data Lake Store へのファイルアップロード

続いてファイルのアップロードですがここでは2つの方法を紹介します。

  • Azure Portal からのアップロード
  • Visual Studioからのアップロード

 

1.Azure Portal からのアップロード

Azure Portal にログインして Data Lake Store のメニューからデータエクスプローラーを選択します。

blog06

 

データエクスプローラーのメニューからアップロードを選択し、ファイルのアップロード画面からアップロードできます。
もちろんどんな種類のファイルでも問題ありません。

blog07

 

ファイルが追加されました。

blog08

 

テキストファイルであれば中身も確認することができます。

blog09_02

 

通常のエクスプローラーのように右クリックメニューで様々な操作ができます。

blog10_02png

 

このように Azure Portal から Data Lake Store の作成、ファイルのアップロードが簡単にできます。その裏で自動的に HDFS 互換のファイルシステムに3重化して保存されるため 高可用性かつ Hadoop 系のサービスからも分析することが可能です。

2.Visual Studio からのアップロード

Visual Studio からのファイル操作は Azure Data Lake Explorer から行いますが、Data Lake Tools for Visual Studio と Cloud Explorer をインストールする必要があります。単品で入手することも可能ですが必要なコンポーネントが全て含まれる Azure SDK for .NET をインストールすることをお勧めします。Visual Studio がない場合はこの SDK で Community Editionもインストールされます。また、次回以降の Data Lake Analytics で使うツールも含まれます。
Azure SDK for .NET のダウンロード先、インストールされるコンポーネントはこちらをご確認ください。インストールはクリックして先に進めていくだけなのでここでは割愛します。

 

インストール後、Visual Studio を起動し Cloud Explorer を表示します。

blog11

 

Cloud Explorer から Azure にログインします。

blog12

 

Cloud Explorer から Data Lake Store を展開すると先ほど作成した Data Lake Store が表示されるのでエクスプローラーで開きます。Azure Portal でアップロードしたファイルが確認できます。

blog13_02

 

右クリックのメニューからファイルをアップロードできます。

blog14_02

 

ファイルをダブル クリックして中身を確認することもできます。

blog15_02

 

ご覧いただいたように Data Lake Store の作成からファイル アップロードまで非常に簡単にできることがご理解いただけたと思います。もちろん GUI だけでなく PowerShell を用いてバッチ的にファイルをアップロードすることも可能なので機会があればこのブログで紹介させていただきます。

次回以降は格納したデータを Data Lake Analytics で分析する方法を紹介するので是非楽しみにしていてください。

 

関連記事