Azure Data Lake の紹介

このポストは、4 月 29 日に投稿された Introducing Azure Data Lake の翻訳です。 「データ レイク」は、業界でもまだ新しい概念です。データ レイクとは、要件やスキーマを正式に定義するまで、収集したあらゆる種類のデータを 1 か所にまとめて保存する全社規模のレポジトリのことです。データ レイクを活用することで、保存するデータをサイズ、構造、取り込み速度によって区別する必要がなく、要件やスキーマが定義されたら Hadoop や高度な分析機能を使用して、データのパターンを割り出すことができます。データ レイクはまた、保存されたデータをデータ ウェアハウスに移行する前の準備を行うための低コストのレポジトリとしても利用できます。 データ レイクは膨大な可能性を秘めているものの、まだ完全に実現されるには至っていません。ストレージ容量、ハードウェアの調達、スケーラビリティ、パフォーマンス、コストといった問題が重なり、お客様がデータ レイクを導入できていないのが現状です。先日の Build (英語) では、クラウド内のビッグ データの分析ワークロードに使用可能なマイクロソフトのハイパー スケール レポジトリである Azure Data Lake が発表されました。クラウド向けに構築された Azure Data Lake は、HDFS との互換性があり、無制限のスケーリングやきわめて高いスループットを実現し、エンタープライズ クラスの機能を備えています。   クラウド向け HDFS: Azure Data Lake は HDFS と互換性のある Hadoop ファイル システムで、Azure HDInsight などのマイクロソフト製品、Revolution-R Enterprise、Hortonworks や Cloudera…

0

DocumentDB の一般提供をまもなく開始

このポストは、3 月 5 日に投稿された DocumentDB moving to general availability の翻訳です。 マイクロソフトは、包括的に管理された NoSQL ドキュメント データベース サービスである Azure DocumentDB の一般提供をまもなく開始することを発表 (英語) しました。 現在プレビュー版として公開されており、4 月 8 日に一般提供が開始される予定です。DocumentDB では、煩わしいスキーマの制約やインフラストラクチャ管理の必要なしに、データを保存、クエリ、処理するための新しいアプリケーションを開発することができます。ユーザーのニーズが絶えず変化し、競争が激化する今日において、マイクロソフトはインフラストラクチャよりもアプリケーションを重視したデータベース サービスの提供を目指しています。マネージド サービスとして DocumentDB を利用することで、仮想マシンのプロビジョニング、管理、スケーリングといった高負担の作業が不要になり、データベース アカウントを数分で作成し、必要なリソースをプロビジョニングして、アプリケーションの規模に合ったデータベースのスケーリングを行うことが可能になります。 DocumentDB プレビュー版のリリース以来、お客様と緊密に連携し、このサービスに関する新しいアプリケーションや機能を公開してきました。MSN ではユーザー データの保存に DocumentDB を採用し、Web とモバイルの MSN ユーザーにサービスを提供しています。通信事業者の Telenor 社は DocumentDB の採用 (英語) により、新しい Office 365 プロモーション システムの市場投入までの時間を大幅に短縮しました。 「Azure DocumentDB は私たちの作業に無理なく適合し、スキーマの途中変更も非常に簡単でした。属性やクラスの追加や変更に関しても、バックエンドはまったく問題ありませんでした。」 Telenor 社、モビリティ アーキテクト、Andreas Helland…

0

マイクロソフトが Apache Storm の一般提供を開始: ビッグ データのリアルタイム分析の生産性を向上

このポストは、2 月 20 日に投稿された Microsoft Makes Apache Storm Generally Available And Improves Productivity for Real-Time Analytics on Big Data の翻訳です。 マイクロソフトは Strata+Hadop World カンファレンス (英語) において、Apache Storm の一般提供開始を発表 (英語) しました。この記事では、この製品の詳細をご説明します。 Azure HDInsight 用 Apache Storm の概要 Apache Storm はオープン ソースでフォールト トレラントな分散型リアルタイム イベント処理ソリューションです。この製品はもともと Twitter の Firehose から流れてくる大量のデータ ストリームの処理に使用されていました。Storm は不正の検出、クリック ストリームの分析、金融取引関連の警告、接続されたセンサーやデバイスからのテレメトリ (IoT)、ソーシャル分析、「常時使用可能」な ETL パイプライン、ネットワーク監視などのリアルタイム性が要求されるシナリオに適しています。ユーザーは、デバイス、センサー、インフラストラクチャ、アプリケーション、Web サイト、データから、上記のようなリアルタイムのイベントを収集できます。たとえば、Linkury (英語) ではオンラインの収益サービスに…

0

Azure HDInsight: クラスターのカスタマイズ機能の一般提供開始と、Spark、R、Giraph、Solr などの Hadoop プロジェクト用テンプレートの追加の発表

このポストは、12 月 18 日に投稿された Azure HDInsight Makes Cluster Customization Generally Available And Provide more Templates for Hadoop projects including Spark, R, Giraph, and Solr の翻訳です。 11 月にパブリック プレビューを発表した Script Action は、Apache Hadoop エコシステムで提供されている各種プロジェクトを使用して HDInsight クラスターをカスタマイズできる機能です。新しい Hadoop プロジェクトが使用可能になると、すぐに追加することができます。プロジェクトの追加は、強力かつ柔軟に Hadoop クラスターをカスタマイズできる PowerShell のスクリプトで行います。このカスタマイズ オプションは、Hadoop、HBase、Storm などのあらゆる種類の HDInsight クラスターで使用可能です。 このたびこの Script Action の一般提供が開始され、クラスターのカスタマイズが完全にサポートされるようになりました。これにより、今後は上記のようなカスタマイズ操作を、PowerShell だけでなく GUI でも実施することができます。つまり、Script Action のユーザー インターフェイスから、スクリプトの URI、実行を許可するノードの種類、スクリプトのパラメーターを指定することができます。…

0

Azure HDInsight に Azure Websites との統合機能が組み込まれ Web ログの分析が可能に

このポストは、12 月 9 日に投稿された Azure HDInsight Introduces Built-in Integration with Azure Websites to do Web Log Analytics の翻訳です。 Azure Websites を使用して Web サイトや Web アプリをデプロイしているお客様は、日ごろから、すべての HTTP トランザクションを追跡する Web ログや詳細なエラー ログを生成していらっしゃることと思います。これらのログは、半構造化データの非リレーショナル ファイルとして Azure Blobs に格納されます。従来、半構造化データは、抽出してリレーショナル形式のテーブルやデータベースに変換しないと分析が困難でした。 非リレーショナル形式の大規模なファイルの分析などでの利用を目的として構築された Hadoop を導入すると、Web ログを活用して、全体の Web トラフィック、ユーザーがサイトに留まった時間、特定のページやキャンペーンの有効性といったサイトのメトリックを把握できるようになります。 しかし、多くの企業では Hadoop を使用するだけの専門知識が足らず、使用を開始するためにはサポートが必要であるのが実情です。そこで、Hadoop の生産性をすばやく利用できるようにするために、Azure HDInsight のクエリ コンソールが更新され、テンプレート ギャラリーの参照が可能になり、またガイドに沿ってタスクを作成できるようになりました。タスクを利用することで、Azure Websites で取得されたログ ファイルを簡単に分析できます。また、今後数か月以内にさらにタスクが追加される予定です。     ご利用をご希望のお客様は、https://manage.windowsazure.com/ にアクセスし、Azure…

0

Visual Studio を使用した HDInsight/Hadoop と統合されたアプリケーションの構築

このポストは、12 月 2 日に投稿された “How To”: Using Visual Studio to build Applications That Integrate with HDInsight/Hadoop の翻訳です。 Visual Studio で開発したカスタム アプリケーションにおけるビッグ データ処理を効率化するために、最新の Azure SDK では、Visual Studio からより便利な HDInsight のツールを使用できるようにしました。これにより、使い慣れた強力なツールを使用して Hadoop クラスター、テーブル、関連付けられたストレージを視覚的に表示できるようになりました。このため開発者の皆様は、Visual Studio からクラスターに対して直接 HDInsight のアドホック Hive クエリを作成して送信したり、他の Visual Studio プロジェクトと同様に管理される Hive アプリケーションを開発したりすることができます。 ぜひすぐに VS 2013|VS 2012|VS 2015 プレビューの Azure SDK をダウンロードしてご利用ください。 サーバー エクスプローラーに HDInsight オブジェクトを統合すると、Azure の他のクラウド…

0

中国、オーストラリア、東日本で Azure HDInsight の一般提供を開始

このポストは、11 月 25 日に投稿された Azure HDInsight now Generally Available in China, Australia, and Japan East の翻訳です。 マイクロソフトは今年 9 月、グローバル クラウド プロバイダーとして初めて中国にクラウド Hadoop サービスのパブリック プレビューを一般公開しました。そして今回、満を持して中国で Azure HDInsight の一般提供を開始しました。これにより、中国を拠点とする企業のお客様も、中国に支店を構える多国籍企業のお客様も、数分ですばやくHadoop クラスターを作成することが可能になりました。 また、これだけではありません。オーストラリア (東部と南東部) と東日本のデータセンターでもAzure HDInsight の一般提供を開始しました。これにより、これまで以上に多くの Azure データセンターにビッグ データを提供できるようになりました。HDInsight のサービス提供状況については、こちらのページをご覧ください。 中国版 Azure HDInsight ページ 中国版 Azure 無料評価版ダウンロード 中国版 Azure HDInsight ドキュメント 日本版 Azure HDInsight ページ 日本版 Azure 無料評価版ダウンロード…

0

Azure HDInsight クラスターをカスタマイズして Spark モジュールや R モジュールをはじめとするさまざまな Hadoop プロジェクトを実行可能に

このポストは、11 月 17 日に投稿された Azure HDInsight clusters can now be customized to run a variety of Hadoop projects including Spark and R Modules の翻訳です。 このたび、Apache Hadoop エコシステムから入手できる各種プロジェクトを基に Azure HDInsight クラスターをカスタマイズする機能を発表します。Hadoop のエコシステムには、急速に進化し開発が進められているオープン ソース プロジェクトが豊富に用意されています。今回の新機能により、これまでは不可能だった Hadoop プロジェクトのテストや Azure HDInsight へのデプロイメントが可能になります。これを可能にするのが、カスタム スクリプトを使用して Hadoop クラスターを任意の方法で変更できる Script Action 機能で、Hadoop、HBase、Storm などあらゆる種類の HDInsight クラスターで利用できます。この機能の効果を実証するために、人気の高い Spark モジュールおよび R モジュールをインストールする手順を文書化しました。 Apache Spark (英語) はオープン…

0

Hadoop のリアルタイム分析を可能にする Storm プレビュー版を発表

このポストは、10 月 15 日に投稿された Microsoft brings real-time analytics to Hadoop with Storm preview の翻訳です。 マイクロソフトは Strata + Hadoop World (英語) において、Azure HDInsight 上の Apache Storm (英語) クラスターのプレビュー版を発表しました。Apache Storm は Hadoop エコシステムのオープン ソース プロジェクトであり、数百万のイベントを安定して処理できるイベント処理分析プラットフォームを提供するものです。今回の発表により、Hadoop のユーザーは発生したイベントに関するより詳細な情報をリアルタイムで入手できるようになりました。 Storm は Azure HDInsight に統合された管理されたクラスターであり、セットアップの容易さ (数回のクリックで数分で完了)、高可用性 (24 時間 365 日監視、Azure SLA による稼働率の保証)、柔軟なスケーリング能力 (ニーズに合わせてリソースを追加可能)、充実した Azure エコシステムとの統合 (Event Hubs、HBase、VNET など) といったメリットが提供されます。Storm は多くの場合、Event Hubs…

0

HDInsight のパブリック プレビューにより、中国における Hadoop の利用を実現

このポストは、9 月 19 日に投稿された Microsoft brings Hadoop to China with the Public Preview of HDInsight の翻訳です。 このたび中国のすべてのお客様を対象として、Azure HDInsight のパブリック プレビューの提供が開始されました。このリリースをもって、マイクロソフトはグローバル クラウド プロバイダーとして初めて中国にクラウド Hadoop サービスを一般公開することとなりました。中国を拠点とする企業のお客様も、中国に支店を構える多国籍企業のお客様も、数分で Hadoop クラスターを作成することができます。 Hadoop はビッグ データに関する課題を解決するために構築され、大容量の非リレーショナル データを保存することができます。その結果、お客様はマシンやセンサーによって生成されたデータ、サーバー ログ、クリックストリーム データ、マルチメディア ファイル、ソーシャル センチメントなど、これまで見過ごされてきたデータの分析を活用できるようになりました。既存のデータ ソースを Hadoop と組み合わせることにより、たとえばバージニア工科大学 (英語) では、膨大な量の DNA 塩基配列のデータを解析してがん研究に役立てています。 HDInsight の詳細については、次の参考ページをご覧ください。 Microsoft Azure Web サイト (中国版) Azure 無料評価版 (中国版) 学習マップ ドキュメント (英語) Microsoft…

0