Fluentd で収集したログを Azure Event Hubs に連携する方法

Microsoft Japan Data Platform Tech Sales Team 中川 ログ収集に Fluentd を利用されている方は多いかと思います。その収集したログを kafka にキューイングし、必要に応じて Spark で処理をしつつストレージ等に蓄積されているケースもあるかと思いますが、Azure には大量のストリーミングデータをキューイングする Event Hubs、更にキューイングされたデータを加工した後に別サービスに出力する Stream Analytics という PaaS が用意されております。今回は Fluentd から Azure Event Hubs にログを飛ばしてキューイングし、Stream Analytics でAzure Blob Storage に出力してログを蓄積する方法について触れたいと思います。

0

[Power BI] 日付型のデータを用意する方法

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤   以前の記事 [Power BI] DAX入門(2) カレンダーテーブルの作成 にてカレンダーテーブル (日付マスタ) の必要性とその作り方をご紹介しています。このカレンダーテーブルを使うには、分析対象のデータに結合するための列、すなわち日付型の列が必要です。 また、日付型のデータがあると、例えばこんなことができます。 カレンダーを使った日付指定 今日を基準とした相対的な日付指定 時系列予測   さらにカスタム ビジュアルを使えばこんな表現もできます。 Beyondsoft Calendar Calendar by Tallan 今回は、こんなに便利な日付型の列を作成する方法をクエリ エディターと DAX の2通りでご紹介します。ただし DAX は 1990 年 3 月 1 日以降の日付をサポートするため、それ以前のデータを含む場合はクエリ エディターを使用します。

0

Azure SQL Database のコピー

Microsoft Japan Data Platform Tech Sales Team 大林裕明 新年あけましておめでとうござます! ブログメンバー一同、皆様に本年も有益な情報をお届けしたいと思っておりますのでよろしくお願いいたします。 さて年初ブログの内容ですが、いろいろと役に立つ Azure SQL Database のコピーについて書きたいと思います。 データベースのコピーが必要なケース データ分析のために北米やヨーロッパ、東南アジアから日本にあるデータベースを検索しているが、ネットワーク遅延によりレスポンスが遅いため、各リージョンにデータベースのコピーを置きたい。 障害や災害発生時にビジネスを継続するための切り替え先としてデータベースのコピーが必要。 開発や検証のために本番環境に近いデータベースのコピーを作成したい。 どれもコピーですが、それぞれコピー先に求められる要件が違うと思います。

0

2017 年 Azure データ関連サービス振り返り

Microsoft Japan Data Platform Tech Sales Team 大蔵 一功 2017 年も残り数日となりました。本年最後の投稿となりますので、2017 年に発表された Azure の データに関連するサービスを列挙したいと思います。こちらの Blog ページから、データに関連するサービスのみ抜粋しました。 2017 年 1 月 – 3 月 Azure SQL Database is increasing read and write performance New Azure Storage Release – Larger Block Blobs, Incremental Copy, and more! SQL Database Query Editor available in Azure Portal Enhanced Automated Backup…

0

Data Factory による SQL Server と Cosmos DB のデータ連携

Microsoft Japan Data Platform Tech Sales Team     森本 信次   今回は、クラウドベースのデータ統合サービス Azure Data Factory (以降 ADF) を使って Azure IaaS 環境の SQL Server のデータを Cosmos DB へコピーする手順を、Step 1 ~ 6 に沿ってご紹介します。ADF を使えば、データの移動や変換をオーケストレート自動化を、データが存在する場所(クラウド、オンプレミス)、データ型やデータ ソース(SQL, NoSQL, Hadoop 等)を意識することなくデータ統合を簡単に実現できます。 データ統合のシナリオの全体感としては下図のようになります。 Step 1. Azure Data Factory (v2) を作成し、統合ランタイムを設定 まず始めに Azure Portal から ADF を作成し、統合ランタイムの設定を行います。今回使用する Azure Data Factory バージョン…

0

Azure SQL Database のスケール アウトを試してみよう

Microsoft Japan Data Platform Tech Sales Team 阪本 真悟 はじめに Azure SQL Database は柔軟性の高いデータベース サービスですので、必要に応じて垂直および水平方向の拡張が可能です。ビジネスが軌道に乗り、予想以上にデータベースへの負荷が高まった場合も容易に対応が可能です。拡張性の高さはクラウド環境の大きなメリットと言えます。 垂直方向の拡張とは、サイズの変更により個々のデータベースのパフォーマンス レベルを増減することを意味します。”スケールアップ” とも呼ばれます。 水平方向の拡張とは、容量または全体のパフォーマンスを調整するためにデータベースを追加または削除することを意味します。 “スケールアウト” とも呼ばれます。 今回は2つ目の水平方向の拡張を、 「シャード マップ マネージャー」と シャード マップを管理するための 「Elastic Database クライアント ライブラリ」を使用して試してみましょう。

0

Azure Functions と Cosmos DB によるサーバーレス・コンピューティング

Microsoft Japan Data Platform Tech Sales Team 森本 信次 Azure Functions とは? まず始めに簡単に Azure Functions について触れておきます。Azure Functions は 小さなプログラムコードを、「関数」(Function)として定義・実行することができます。アプリケーション全体や、プログラムを実行する仮想マシンなどの環境を意識しなくてもよいので、サーバレス・コンピューティングとも呼ばれていて、手軽に実行することができます。機能の詳細についてははこちらのドキュメントをご参照ください。

0

テクニカル ドキュメントが便利になりました

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤   https://docs.microsoft.com は、開発者と IT プロフェッショナル向けの Microsoft テクニカル ドキュメント、API リファレンス、コード サンプル、クイックスタート、チュートリアルのホームです。今まで製品ごとにバラバラに提供していた情報をこちらに統合しています。まだ https://powerbi.microsoft.com/ja-jp/ のリンクは変更されていませんが、Power BI のドキュメントもこちらで公開しています。他の製品でも同様ですが、今回は Power BI のドキュメントを使ってご紹介します。  

0

SQL Server 2017 自習書、関連技術資料の公開

Microsoft Japan Data Platform Tech Sales Team 佐藤 秀和 SQL Server 2017 関連の技術資料が公開されましたので、皆様にお知らせいたします。 今回公開されました技術資料は、”自習書シリーズ” と ”Oracle から SQL Server への移行ガイド” の2種類となります。   ◆ 自習書 SQL Server 2017 自習書シリーズ No.1:SQL Server 2017 の新機能の概要 SQL Server 2017 自習書シリーズ No.2:SQL Server 2017 on Linux SQL Server 2017 自習書シリーズ No.3:SQL Server 2017 Machine Learning Services こちらの資料は、いつも自習書シリーズを執筆頂いている SQL Quality さんに、今回もご対応頂きました。いつも通り丁寧な内容で読みやすく解説して下さっています。SQL…

0

[Power BI] Salesforce のデータ分析

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤 Microsoft はかつてのように他社の製品・サービスを排除して Microsoft 帝国を築くのではなく、他社の製品・サービスと連携できるように開発をしており、それは Power BI においても例外ではありません。今回は Salesforce のデータを分析する方法についてご紹介します。分析方法は 3 種類あります。 コンテンツパック Power BI Desktop でインポート ソリューション テンプレート

0

Translator Text API を使った簡単なアプリを作ってみよう

  Microsoft Japan Data Platform Tech Sales Team 倉重秀昭   先日の記事で Cognitive Services のTranslator Text APIについて紹介しましたが、今回は Cognitive Services の Translator API を使ったアプリケーションの開発方法について紹介をしたいと思います。 Cognitive Services は REST APIの形で提供していますので、アプリケーションから REST API を呼び出すだけで、翻訳や画像認識などの機能を利用できるようになっています。   Translator Text APIの仕様は以下のページに記載されています。 http://docs.microsofttranslator.com/text-translate.html#/ ページ下部の「default」をクリックすると、Translator Text APIのメソッドが一覧で表示されますが、TextからTextに翻訳をする場合には一番上に表示されている「/Translate」を利用します。   このメソッドを利用する際のポイントは以下の2つです。 (1) Authorization Translator Text APIを利用するには、以下の2つのうちいづれかの方法でAuthorizationを行う必要があります。 a.  Access Tokenを利用する方法 b.  httpヘッダーにSubscription Keyを埋め込む方法 今回は、簡単に実装できる 「b. httpヘッダーにSubscription Keyを埋め込む方法」でAuthorizationを行いたいと思います。…

0

自動翻訳と機密情報 – Microsoft Translator

Microsoft Japan Data Platform Tech Sales Team 大林裕明 最近、Microsoft が提供する翻訳サービスの精度が向上してきていると思いませんか? これは翻訳に従来の辞書を使った統計的な翻訳からニューラルネットワークを利用するようになったためです。 ニューラルネットワークを使った翻訳については 日本マイクロソフト株式会社  CTO の榊原の下記ページをご覧ください。 Microsoft Translator がニューラル ネットワークによる翻訳の提供を開始 ニューラルネットワークを使った自動翻訳は Bing 翻訳だけでなく、Office 製品、Edgeなどででも使われるようになってきています。 皆さんは日常業務で社内にある英語のドキュメントを読む際に、便利なのでブラウザの翻訳機能や翻訳サイトを気軽に使っていませんか? 実は翻訳のために送ったデータは翻訳精度を上げるためなどの目的で再利用されることが利用規約に明記されています。

0

Azure Cosmos DB と Azure Search の組み合せでフルテキスト検索を実現しよう

Microsoft Japan Data Platform Tech Sales Team 森本 信次 これまでご紹介してきた Azure Cosmos DB は、 他の Azure サービスと組み合わせることで、よりコスト効果の高い使い方が可能となります。例えば、検索サービスを提供する Azure Search を併せて使うことで、Cosmos DB に対する比較的コストの高い検索リクエスト、例えば属性的なデータを検索するようなフルテキスト検索の一部を Azure Search にロードオフし、システム全体のトータルコストの最適化を図ることが可能となります。 Azure Search の詳細についてはこちらをご覧頂くとして、今回は、実際にサンプルデータを Cosmos DB にロードして、Azure Search を使って Cosmos DB のデータに対するフルテキスト検索機能を追加する手順を Step 1~4 の流れに従ってご紹介して、まずは Azure Search と Azure Cosmos DB の親和性の高さを体感頂ければと思います。

0

Azure Cosmos DB を使ってみよう – アプリ編

Microsoft Japan Data Platform Tech Sales Team 森本 信次 過去のBlog 「Cosmos DB ことはじめ」でもご紹介しましたが、Cosmos DB は Microsoft Azure が提供する No SQL データベースサービスです。複数のデータモデルを利用することができ、簡単な操作でリージョン間でのデータレプリケーションやスケールの変更を行うことができます。 サンプルアプリの実行 Cosmos DB ではアカウントの作成時、サンプルのコレクション (Items) およびコレクションを使用するアプリも準備されています。このアプリは .NET, Xamarin,Java, Node.js, Python などに対応したものがそれぞれ用意されていますが、今回は .NET と Node.js の2種類のアプリをダウンロードして実行するまでの流れを Step 1 ~ 3 に沿ってご紹介します。

0

[Power BI Query Tips] 取り込んだ Excel を加工する

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤 前回は、同じフォーマットのシートを複数持つ Excel ブックを取り込む際の Tips をご紹介しましたが、今回はその続きで、不要な行や列を取り除き、分析しやすい形に整形する方法をご紹介します。 前回の手順で出来上がったファイルが こちら です。このファイルを開いて、[ホーム] → [クエリを編集] からクエリの編集を続けていきます。

0

Azure Cosmos DB を使ってみよう

Microsoft Japan Data Platform Tech Sales Team 森本 信次 Cosmos DB は過去の Blog “Cosmos DB ことはじめ” でもご紹介しましたが、Microsoft Azure が提供する No SQL データベースサービスです。複数のデータモデルを利用することができ、簡単な操作でリージョン間でのデータレプリケーションやスケールの変更を行うことができます。Cosmos DBは複数のデータモデルを利用できますが、今回はその中で Document DBを使い、実際にサンプルデータを Cosmos DB にインポートして SQL クエリを実行するまでの流れをご紹介します。

0

Azure Machine Learning に 内部ネットワークに配置された SQL Server からデータを取り込む方法

Microsoft Japan Data Platform Tech Sales Team 中川 機械学習は先ずデータを取り込むところから始まりますが、Azure Machine Learning (以降、AzureMLと称す) では様々なデータソースからデータを取り込むことが可能となっております。但し、PaaS などからデータを取り込むのとは違い、お客様ネットワークのような内部ネットワークにあるデータソースからデータを取り込むためには少し追加の構成が必要となります。今回は、Azure の VNET 内に配置された IaaS 上の SQL Server から AzureML にデータを取り込む方法についてご紹介いたします。

0

ソフトバンク様における Power BI 活用事例が公開されました

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤   ソフトバンク様 における Power BI の活用事例が公開されましたので、ご案内します。 タブレット × Power BI によるビジネス現場でのデータ活用を代理店営業担当が実践するソフトバンク。商談準備時間を劇的に削減するとともに、商談の精度も大幅に高める

0

[Power BI Query Tips] Excel の複数シートを効率的に取り込む方法

powerbi
powerbi

Microsoft Japan Business Intelligence Tech Sales Team 伊藤 Power BI Desktop はクエリ エディターで [クエリの追加] を使うことで、同じフォーマットの複数のデータ (クエリ) を結合することができます。データベース用語でいうところの UNION ALL や APPEND の処理です。 1 つの Excel ファイルから取り込む場合、シートごとに同じようなクエリを作って [クエリの追加] を行うのではなく、もっとスマートに結合できます。今回はその方法を日本政府観光局 (JNTO) のファイル http://www.jnto.go.jp/jpn/statistics/since2003_tourists.xlsx を使って説明します。

0

Cosmos DB ことはじめ

Microsoft Japan Data Platform Tech Sales Team 大蔵 一功 Cosmos DB とは Cosmos DB は、Microsoft Azure が提供する No SQL データベースサービスです。複数のデータモデルを利用することができ、簡単な操作でリージョン間でのデータレプリケーションやスケールの変更を行うことができます。 デバイスから発生するセンサー系のログや、 EC サイト上で取引される商品のカタログデータの格納に利用されます。また、 Cosmos DB に格納されたデータは、 Azure Search や Power BI 等の、Microsoft Azure 上で提供される他のサービスと組み合わせて、簡単に利用することができます。

0