HDInsight で Presto を動かしてみよう

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   Presto とは? Presto は、Facebook 社が開発した人気のあるビッグデータ用の高速な分散 SQL クエリエンジンです。前回記事の「HDInsight のインタラクティブ Hive (LLAP) とは?」でご紹介した Hive on Tez + LLAP と同様に、インタラクティブなレスポンス速度が期待できるエンジンです。どちらも目的は同じですが、Presto の利用に慣れている方は、HDInsight 上でもスキルをそのまま生かすことができます。

0

Azure Analysis Services 一般提供開始

Azure Analysis Services
Azure Analysis Services

Microsoft Japan Data Platform Tech Sales Team 伊藤 こちらのブログでも紹介していますが、Data Amp というイベントで SQL Server 2017 などが発表されました。SQL Server vNext 改め SQL Server 2017 に関する発表がメインですが、3月に東日本でもパブリック プレビューとなっていた Azure Analysis Services が 2017年4月19日に一般提供開始 (GA) となったことも発表されています。概要については半年前のプレビュー開始時にこちらのブログ記事で紹介しましたのでご覧ください。 今回はプレビューとの変更点を紹介します。

0

Power BI Desktop 2017年4月の更新情報(データ接続とクエリ エディター)

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤 Power BI には Power BI Service と Power BI Desktop があり、Power BI Desktop の今回 (2017年4月) の更新では次の機能が追加・強化されました。前回は「レポート」と「分析」について紹介しましたので、今回はこの中から「データ接続」と「クエリ エディター」の Update を紹介します。

0

Power BI Desktop 2017年4月の更新情報(レポートと分析)

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤   Power BI には Power BI Service と Power BI Desktop がありますが、Power BI Desktop の今回 (2017年4月) の更新では次の機能が追加・強化されました。 レポート 軸タイトルの変更 「マトリックスのプレビュー」強化:列のソート、列のサイズ変更、右端での折り返し 分析 「クイックメジャー (簡易測定)」と「値の表示方法」 (プレビュー) スペイン語での Q&A のサポート (プレビュー) データ接続 Power BI service 内のデータセットへの接続 (プレビュー) Redshift コネクタ:beta support と Power BI Service への発行 SAP HANA & BW コネクタ:パラメータ入力の強化…

0

HDInsight の インタラクティブ Hive (LLAP) とは?

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   2016年の秋に HDInsight の新しいクラスタータイプとして 「インタラクティブ Hive」 が登場しました。インタラクティブ Hive は Hive 2.0 で追加された LLAP (Long Live and Process) という Hive クエリをより高速にするための仕組みを搭載したものです。これによって、大量のデータをよりインタラクティブに柔軟に分析することが可能になります。本記事の投稿時点 (2017/03/21) ではパブリック プレビュー版が利用可能です。

0

Power BI Desktop 2017年3月の更新情報

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤   Power BI には Power BI Service と Power BI Desktop がありますが、Power BI Desktop の今回 (2017年3月) の更新では次の機能が追加・強化されました。 レポートの視覚化 レポート テーマ (Preview) 新しいマトリックスの見せ方 (preview) テキストボックスのフォント カラー スライサーにおける数値の範囲指定 (Preview) 円グラフとドーナツグラフのデータラベルに割合 (%) を表示 項目の複数選択による相互作用 高度な分析 散布図におけるクラスタリングの正式提供 データ接続 Azure Analysis Services コネクター Azure Data Lake Store コネクターの正式提供 DB2 connector:package collection を特定するオプション…

0

Power BI Reports in SQL Server Reporting Services 続報

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤 2016年10月に 「SQL Server Reporting Services 内での Power BI レポート のテクニカル プレビュー」の発表があり、このブログでも紹介しました。今回はそのアップデート情報をお届けします。

0

Power BI についてフィードバックをしてみよう

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤   Power BI Desktop や Power BI Service の画面には「アイデアを送信する」というメニューが用意されていて、実装してほしい機能をリクエストしたり、既にリクエストされている機能に投票したりできます。今回はその方法をご紹介します。 まずはフィードバックサイトへのアクセス方法です。直接フィードバックサイトを開くほかに、Power BI の画面上からもアクセスすることができます。   Power BI Desktop の場合 (クイックアクセスツールバーのスマイル、または [ファイル]→[ヘルプ]→[アイデアを送信する])   Power BI Service の場合 (画面右上のスマイル → [アイデアを送信する])   このメニューをクリックすると、Power BI のフィードバックサイト (英語) が開きます。

0

Apache Kafka for HDInsight (public preview) (2)

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   前回は Kafka for HDInsight の概要についてご紹介いたしました。今回は実際に Kafka for HDInsight のデプロイからサンプルコードの実行する方法をご紹介いたします。 今回の手順は以下の Get started with Apache Kafka (preview) on HDInsight の記事をもとにしています。 https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-kafka-get-started

0

Apache Kafka for HDInsight (public preview) (1)

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   分散型のストリーミングプラットフォームとして人気の Apache Kafka が Microsoft Azure の HDInsight に Kafka for HDInsight としてリリースされました。 本記事の投稿時点 (2017/01/23) ではパブリックプレビュー版となります。 HDInsight については以下をご参照ください。 Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (1) Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (2) HDInsight にデータを取り込む方法

0

Cognitive Services を使ったインテリジェントな Bot の作り方

Microsoft Japan Data Platform Tech Sales Team 阪本真悟 11 月に開催した Microsoft Tech Summit 2016 の基調講演でも “Democratizing AI (AI の民主化)” として Microsoft Bot Framework & Cognitive Services の紹介がありましたが、最近お客様からエンタープライズ環境での Bot のビジネス活用について相談を受ける機会が増えてきました。   インテリジェントな Bot とは Bot とは『Skype』『Facebook Messenger』『Slack』などのメッセンジャーサービス上でユーザのメッセージに自動応答して対話が行えるプログラムです。近年の人工知能技術の発展により学習機能を備え、実際に人と話しているように意図を解釈して、より自然な対応ができるインテリジェントな Bot に進化しています。 企業内でもこれらの機能をカスタマー サービス、ヘルプ デスク、工場の製造現場などで活用する事例が増えてきています。

0

Azure Analysis Services と Power BI on SSRS の発表

Azure Analysis Services
Azure Analysis Services

Microsoft Japan Data Platform Tech Sales Team 伊藤 10 月末に行われた PASS Summit 2016 で Microsoft の BI に関する 2 つの大きな発表がありました。 Azure 上で PaaS として提供される分析用データベースである「Azure Analysis Services プレビュー」 と 「SQL Server Reporting Services 内での Power BI レポート のテクニカル プレビュー」です。今回はこの 2 つの発表についてご紹介します。

0

HDInsight にデータを取り込む方法

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   過去 2 回にわたる記事で HDInsight を簡単に使ってみる方法を紹介しました。 Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (1) Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (2) 前回は HDInsight に付属のサンプルデータを使用してクエリを実行しましたが、今回はどのようにしてHDInsightにデータを取り込むことができるかを紹介します。

0

Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (2)

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   前回の記事では、HDInsight の概要と実際に Azure のポータル画面からデプロイする方法をご紹介いたしました。今回は HDInsight へのアクセス方法や Hive、Spark の実行についてご紹介いたします。 前回の記事でデプロイした環境を使って試していきましょう。 Ambari へのアクセス デプロイが完了すると管理画面にアクセスすることができます。ここではクラスターのスケール設定、インスタンスの削除等の管理ができます。管理画面の [クイック リンク] からクラスター ダッシュボードのメニューに入ると、HDInsight を管理・操作するためのリンクが表示されます。HDInsight のクラスター管理は Apache Ambari を使用します。[HDInsight クラスター ダッシュボード] をクリックしてすると Ambari にアクセスすることができます。 資格情報で設定したユーザー名とパスワードを入力してログインします。 ログインすると Ambari のダッシュボードが表示されます。ここでクラスターの監視、構成の変更、Hiveクエリ実行、YARNのスケジューラー管理等を行うことができるようになっています。 SSH でのアクセスも試してみましょう。Azure ポータルの HDInsight 画面にもどり [SSH (Secure Shell)] メニューに入ると SSH での接続先が表示されます。この接続先に対して設定した資格情報(パスワード認証または公開鍵認証)でログインします。 この例では Putty でログインしています。ホスト名に “hn0″…

0

Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (1)

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   Microsoft の Hadoop への取り組み Apache のオープンソースプロジェクトである Hadoop は多様で大規模なデータを分析するための非常に強力な基盤として多くの企業で活用されています。「Microsoft が Hadoop?」と思われる方もいらっしゃるかもしれませんが、実は Microsoft は Hadoop のオープンソースコミュニティに参加し、開発に積極的に貢献しています。プロジェクトメンバーやコミッターについてはこちらを参照ください。 昨年 Microsoft は、エンジニアリング作業に 6,000 時間以上を費やし、オープン ソース コミュニティとのパートナーシップを通じて、Hadoop プロジェクトのさまざまな部分にコードを提供しつつ革新を進めてきました。さらに、Hadoop のコミッターを擁しており、また Hadoop の Apache ワーキング グループの議長を務めるのは Microsoft 社員の Chris Douglas です。–David Campbell (Microsoft 社員、CTO)https://azure.microsoft.com/ja-jp/solutions/hadoop/ HDInsight とは Microsoft は HDInsight という Hadoop のディストリビューションを Azure…

0

[Power BI] DAX入門(3) 相対日付 (Relative date) の実装 -地震速報の可視化-

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 土井 DAX 入門 第 3 回目では、前回の応用として、相対日付の実装について触れます。 今回は 地震速報 データを使って、今日何時に地震が起きたか? 昨日起きた地震の最大震度は? 直近一週間何件地震があったか?といった形で相対日付で可視化するレポートを作ってみます。

0

まず始めよう!Cortana Intelligence ギャラリーを使って統計分析・機械学習を10分で始める方法

Microsoft Japan Data Platform Tech Sales Team 阪本 真悟 以前のエントリでマイクロソフトの統計分析・機械学習ソリューションの紹介をしましたが、エンタープライズ IT 系のニュースでも統計分析や、機械学習に関する記事を目にする機会も増えてきました。 企業の中でも自社システム内に蓄積されている情報を活用し、「統計分析」「機械学習」を使って未来のビジネスに活かしたい!と考える方も増えてきています。 一方で「統計分析」「機械学習」をビジネスに活かすと言っても具体的なイメージがつかめなくて何をどうすればいいのか分からなかったり、最初の一歩が踏み出せなかったりといった悩みもあるのではないでしょうか。 これらの技術を学び・活用することは難しい面もありますが、Azure Machine Learning(機械学習)とマイクロソフトが提供するデータ分析テンプレートを活用することで、より早く・簡単に機械学習を使った統計分析ソリューションを活用できるようになります。   <Cortana Intelligence ギャラリーのご紹介> 今回は業務で使える様々なテンプレートを集めて公開している Cortana Intelligence ギャラリーと今すぐ使えるテンプレートをご紹介します! Cortana Intelligence ギャラリーを使うとこんなメリットがあります。 ・業務活用を想定した興味深いソリューション・テンプレートが見つかる ・テンプレートを Azure ポータル画面、Machine Learning Studio ワークスペースにデプロイして、すぐに使える ・デプロイされたテンプレートを見て、機械学習を含む Azure の様々なサービスの使い方を学べる ・Power BI を使って様々な最新のデータ視覚化を試すことができる ・予測分析など自作のテンプレートを投稿して公開できる(他のユーザから学べる)   現在、データの作成からリアルタイム分析・機械学習によるバッチ分析、さらにデータ利用者への可視化サービスまで全てを包含したソリューション・テンプレートとして以下 3 種類の業務テンプレートを公開しています。 自動車のテレメトリー分析 飛行機の予兆保全 エネルギーの需要予測   それぞれ、こんなことが出来ます。 自動車のテレメトリー分析 車両に取り付けたセンサから数秒毎に収集したデータをリアルタイム分析することで現在の車両の状態確認を行う。また蓄積データと合わせた機械学習により車両のメンテナンス予測、リコール予測、運転習慣による洞察を Power BI…

0

SQL Server R Services のサンプル デモのご紹介

  Microsoft Japan Data Platform Tech Sales Team 坂本 禎尚   SQL Server 2016 では R Services という新たなサービスが仲間入りしました。 R Services の R は統計解析言語として有名なプログラミング言語の R です。SQL Server 2016 では、この R が SQL Server 上で使えるようになります。しかもただ R が使えるだけでなく、Revolution Analytics 社(2015 年 4 月にマイクロソフトが買収完了)が持っていた並列分散処理による大量データ処理の高速化手法を利用することができるようになっていて、オープンソースの R と比較して機能、性能面で大きなアドバンテージを持っています。 こちらの記事でも紹介されていますので、是非ご覧下さい。   この R Services を使ったシナリオ ベースのサンプルが GitHub で公開されています。 https://github.com/Microsoft/SQL-Server-R-Services-Samples     現状、このサンプルの中には…

0

マイクロソフト データプラットフォームにおける Tableau の利用

Microsoft Japan Data Platform Tech Sales Team 土井 お客様とのコミュニケーションの中で、 “Tableau と Power BI の違いを教えてください” というご質問をよく頂きます。 Power BI をご利用いただくメリットとしては、エンドユーザの Excel スキルをそのまま生かせる点や、Power BI は Azure Active Directory を認証基盤としているため、既に Office 365 等のマイクロソフトのクラウドサービスをご利用いただいている場合はスピーディに導入頂けること等さまざまなものが挙げられます。 クライアントツールとしては、 Tableau Desktop と Power BI Desktop は製品レイヤーが被るものではありますが、どちらも非常に優れたツールであり、「エンドユーザの好みに合わせて使い分けていただくのが一番よいのではないでしょうか」 と回答することがほとんどです。というのも、マイクロソフトは Power BI に最適なデータ活用基盤として SQL Server を提供していますが、同時に 3rd Party の BI ツールからも接続可能なオープンな基盤であるからです。   また、世間一般的には競合会社と思われがちな両社ですが、グローバルではテクノロジーパートナーシップを結んでおります。 [Tableau 社のテクノロジーパートナー一覧] http://www.tableau.com/ja-jp/partners/technology&page=2  …

0

SQL Server 2016 Analysis Services のご紹介

Microsoft Japan Data Platform Tech Sales Team 高木 充弘   みなさんこんにちは。SQL Server の機能の一つに、Analysis Servicesがあるのをご存知でしょうか?最初は多次元データベースとして OLAP Services が登場し、SQL Server 2012 で列ストア型インメモリDBである表形式モードが追加されました。 ここでは Analysis Services の目的、機能、開発・管理・運用方法、分析方法についてご説明致します。   Analysis Services の目的 多くの場合、BI ツールから直接データベースへ接続して検索するケースが多いと思います。利用者の方から、パフォーマンスをもっと早くしてほしい、他のデータとつなげて分析したいなどの要求に応じて、データベース設計を見直したり、データマートを個別に作成したりして大変な思いをしたご経験はありませんか? Analysis Services では利用者のさらなる高速化の要望に応えるために、「事前集計による多次元データベース」に加えて、「インメモリアクセス」による高速化機能を実装しています。また複数のデータソースからなるデータモデリング、アクセス権限の管理機能も備えています。このビックデータ時代に蓄積される莫大な量のデータ分析に対応するため、データソースに直接クエリする機能も、SQL Server 2016 から大幅に性能が改善されました。   Analysis Services の3つ機能 1) 多次元モード(SQL Server 7.0 からの機能) 分析データを階層構造(日付:年>期>月>週>日、地域:地方>県>市など)にて事前集計することで、集計処理を高速化することができます。  2) 表形式モード(SQL Server 2012 にリリースした機能) 分析データのインメモリ化(列単位でデータを圧縮しメモリ上に全データを展開)により、集計処理を高速化することができます。 3) 直接参照方式(多次元モードでは「ROLAP ストレージモード」としてSQL Server…

0