Azure Data Lake の紹介

このポストは、4 月 29 日に投稿された Introducing Azure Data Lake の翻訳です。 「データ レイク」は、業界でもまだ新しい概念です。データ レイクとは、要件やスキーマを正式に定義するまで、収集したあらゆる種類のデータを 1 か所にまとめて保存する全社規模のレポジトリのことです。データ レイクを活用することで、保存するデータをサイズ、構造、取り込み速度によって区別する必要がなく、要件やスキーマが定義されたら Hadoop や高度な分析機能を使用して、データのパターンを割り出すことができます。データ レイクはまた、保存されたデータをデータ ウェアハウスに移行する前の準備を行うための低コストのレポジトリとしても利用できます。 データ レイクは膨大な可能性を秘めているものの、まだ完全に実現されるには至っていません。ストレージ容量、ハードウェアの調達、スケーラビリティ、パフォーマンス、コストといった問題が重なり、お客様がデータ レイクを導入できていないのが現状です。先日の Build (英語) では、クラウド内のビッグ データの分析ワークロードに使用可能なマイクロソフトのハイパー スケール レポジトリである Azure Data Lake が発表されました。クラウド向けに構築された Azure Data Lake は、HDFS との互換性があり、無制限のスケーリングやきわめて高いスループットを実現し、エンタープライズ クラスの機能を備えています。   クラウド向け HDFS: Azure Data Lake は HDFS と互換性のある Hadoop ファイル システムで、Azure HDInsight などのマイクロソフト製品、Revolution-R Enterprise、Hortonworks や Cloudera…

0

マイクロソフトが Apache Storm の一般提供を開始: ビッグ データのリアルタイム分析の生産性を向上

このポストは、2 月 20 日に投稿された Microsoft Makes Apache Storm Generally Available And Improves Productivity for Real-Time Analytics on Big Data の翻訳です。 マイクロソフトは Strata+Hadop World カンファレンス (英語) において、Apache Storm の一般提供開始を発表 (英語) しました。この記事では、この製品の詳細をご説明します。 Azure HDInsight 用 Apache Storm の概要 Apache Storm はオープン ソースでフォールト トレラントな分散型リアルタイム イベント処理ソリューションです。この製品はもともと Twitter の Firehose から流れてくる大量のデータ ストリームの処理に使用されていました。Storm は不正の検出、クリック ストリームの分析、金融取引関連の警告、接続されたセンサーやデバイスからのテレメトリ (IoT)、ソーシャル分析、「常時使用可能」な ETL パイプライン、ネットワーク監視などのリアルタイム性が要求されるシナリオに適しています。ユーザーは、デバイス、センサー、インフラストラクチャ、アプリケーション、Web サイト、データから、上記のようなリアルタイムのイベントを収集できます。たとえば、Linkury (英語) ではオンラインの収益サービスに…

0

Mac および Linux 向けのコマンド ライン ツールから Windows Azure を使用する方法

このポストは、7 月 4 日に投稿された Using Windows Azure With the Command Line Tools for Mac and Linux の翻訳です。 マイクロソフトでは Windows Azure Web サイトや新しい仮想マシン機能の導入に取り組んでいますが、先日、これらの新しいサービスをあらゆるオペレーティング システムのコマンド ラインから管理、展開することのできるオープン ソースのコマンド ライン ツールをリリースしました。利用できるオペレーティング システムには、これまでで初めてとなる Apple OS X や Linux が含まれています。 本稿では、このツールのインストール方法と基本的な使用方法について説明するとともに、詳細情報の入手方法や、ツールの機能向上へのご協力に関する情報についてご紹介します (このツールは、オープン ソースの Node.js コードであり、Apache 2.0 ライセンスに基づいて使用許諾され、github.com でホストされています。機能向上へのご協力をお願いいたします)。 作業の開始にあたって まず、クロスプラットフォーム対応のコマンド ライン ツールをダウンロードして、インストールします。ご利用のオペレーティング システムによって、いくつかのオプションがあります。 このツールは、Windows Azure Web サイトのさまざまな “開発” ページからダウンロードできます。私は通常、Node.js 開発ページ (英語)…