IntelliJ 用 HDInsight Tools の一般提供を開始


執筆者: Jenny Jiang (Principle Program Manager, Big Data Team)

このポストは、6 月 13 日に投稿された HDInsight tool for IntelliJ is generally available の翻訳です。

 

IntelliJ 用 HDInsight Tools の一般提供が開始されました。IntelliJ 用 HDInsight Tools はオープン ソース コミュニティによって提供され、HDInsight を使用する Spark 開発者向けのツールです。このツールは IntelliJ とシームレスに統合されており、Scala や Java による Spark アプリケーションの開発エクスペリエンスをネイティブにサポートします。

HDInsight で Spark アプリケーションの開発を行う場合、最初のアプリケーションを構築するまでの準備が困難なことがあります。また、IDE での Spark アプリケーションの開発サイクルは長く煩雑なものになりがちです。そのような場合にこのツールを使用すれば、わずか数分で HDInsight による Spark 開発を開始できます。経験豊かな Spark 開発者であれば、イテレーションをさらに短期間で容易に実行することができます。

ツールの概要

IntelliJ 用 HDInsight Tools は IntelliJ を拡張するもので、Spark ジョブの作成、オーサリング、デバッグ、Azure HDInsight Spark クラスターヘの送信までのライフサイクルをサポートします。このツールは Azure と高度に統合されており、HDInsight Spark クラスター間の移動や関連付けられている Azure ストレージ アカウントを表示することができます。また、Spark ジョブの履歴、詳細なログ、出力も表示されるため、さらなる生産性向上も期待できます。さらに、プレビュー時のユーザー フィードバックに基づいて、アーティファクトの自動作成、SDK の検索、Spark ログのキャッシュなどの操作性に関する機能強化も行われました。

IntelliJ 用 HDInsight Tools では以下のことを実行できます。

  • 組み込み済みのテンプレート、サンプル コード、インテリジェンスを使用して Spark プロジェクトを作成し、アーティファクトの自動作成やアセンブリの検索を実行

 

  • IntelliJ (主に Scala と Java) のネイティブなオーサリング支援機能 (IntelliSense、オートフォーマット、エラー チェックなど) を活用して Spark アプリケーションを開発

 

  • Spark アプリケーションを HDInsight クラスターに送信

 

  • YARN および Spark との統合によりジョブの履歴、ログ、結果を表示

 

  • 実行中の Spark アプリケーションの完了前にユーザーが停止

 

  • Spark アプリケーションのテストや検証をローカルで実施

 

  • ユーザーの Azure サブスクリプションに関連付けられている Spark クラスターをすべて表示

 

  • HDInsight Spark クラスターに関連付けられているストレージ リソースに移動

 

  • Spark ログのサイズが大きい場合にディスクにキャッシュ

 

  • リモート デバッグ

 

Spark アプリケーションの作成、オーサリング、送信、停止

IntelliJ 用 HDInsight Tools では、Spark アプリケーションの作成から送信までのライフサイクル管理をサポートします。IntelliJ との緊密な統合や Azure とのシームレスな統合により、クラスターで実行されている Spark アプリケーションのジョブの履歴、情報、統計を表示することができます。

Spark アプリケーションを新規作成

1

3

Spark クラスターを表示して関連付けられているストレージ アカウントに移動

4

Spark アプリケーションを送信

5

Spark アプリケーションを IntelliJ の UI から停止

Spark ジョブを HDInsight に送信した後、実行中の Spark アプリケーションの完了前にユーザーが IntelliJ から停止することができます。

6

ジョブの履歴、出力、ログを表示

7

インストール

最新のインストール ファイルを入手するには、IntelliJ リポジトリから「HDInsight」と検索します。また、IntelliJ プラグインが既にインストールされている場合は、最新の更新がリリースされるとユーザーに通知されます。

8

さらに詳しい情報については、以下のリンク先をご確認ください。

 

 

 

 

ご質問やご意見、不具合のご報告については、ページ下部のコメント欄に投稿していただくか、メール (hdivstool@microsoft.com) にてご連絡ください。

 

Comments (0)

Skip to main content