はじめての Azure Data Lake ~ Azure Data Lake Analytics でデータを分析してみよう ( 前編 ) ~

data lake
data lake

Microsoft Japan Data Platform Tech Sales Team 清水 みなさん、こんにちは。先日のはじめての Azure Data Lake ~ そもそも Data Lake って何? ~ では、データレイクのコンセプトや Azure Data Lake の概要及びデータウェアハウスとの比較、はじめての Azure Data Lake ~ 環境構築からファイル アップロードまで ~ では、 Azure Data Lake Store にデータを格納する際の手順やポイントについてご紹介しましたが、いかがだったでしょうか?Azure Data Lake Store に格納したデータは、 Azure Data Lake Analytics や HDInsight  等で分析可能ですが、ここでは Azure Data Lake Analytics を用いて分析を行う際の手順やポイントについてお伝えします。前編では、 Azure Data Lake…

0

SQL Server Integration Services (SSIS) – パッケージの実行方法

sql_120
sql_120

Microsoft Japan Data Platform Tech Sales Team 佐藤秀和   SQL Server Integration Services (SSIS) のパッケージ実行方法は、用途に応じて様々な実行方法がありますが、今回はSQLステートメントからSSISパッケージを実行する方法についてご紹介いたします。   SSIS パッケージの実行方式 SSIS パッケージの実行には、以下の様な実行方式がありますが、それぞれパッケージの配置場所(SSISサーバーやファイルシステム)や実行タイミング(スケジュール実行やユーザによる実行)に特徴があります。

0

HDInsight の インタラクティブ Hive (LLAP) とは?

hdi_icon.2png
hdi_icon.2png

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   2016年の秋に HDInsight の新しいクラスタータイプとして 「インタラクティブ Hive」 が登場しました。インタラクティブ Hive は Hive 2.0 で追加された LLAP (Long Live and Process) という Hive クエリをより高速にするための仕組みを搭載したものです。これによって、大量のデータをよりインタラクティブに柔軟に分析することが可能になります。本記事の投稿時点 (2017/03/21) ではパブリック プレビュー版が利用可能です。

0

Power BI Desktop 2017年3月の更新情報

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤   Power BI には Power BI Service と Power BI Desktop がありますが、Power BI Desktop の今回 (2017年3月) の更新では次の機能が追加・強化されました。 レポートの視覚化 レポート テーマ (Preview) 新しいマトリックスの見せ方 (preview) テキストボックスのフォント カラー スライサーにおける数値の範囲指定 (Preview) 円グラフとドーナツグラフのデータラベルに割合 (%) を表示 項目の複数選択による相互作用 高度な分析 散布図におけるクラスタリングの正式提供 データ接続 Azure Analysis Services コネクター Azure Data Lake Store コネクターの正式提供 DB2 connector:package collection を特定するオプション…

0

AlwaysOn Availability Group における読み取り可能セカンダリレプリカに対するロードバランシングについて

sql_iaas_120
sql_iaas_120

Microsoft Japan Data Platform Tech Sales Team 中川 SQL Server では高可用性、DR対策を実現する機能として AlwaysOn Availability Group(以降、AlwaysOn AGと称す) が実装されています。 こちらのブログでも紹介されているように SQL Server 2016 では AlwaysOn AG についていくつかの機能拡張が行われましたが、今回はその中の “読み取り可能セカンダリレプリカに対するロードバランシング” についてご紹介します。

0

SQL Server on Linux って?(第 2 回目)

sql_120
sql_120

  Microsoft Japan Data Platform Tech Sales Team 坂本 禎尚 前回の記事では、SQL Server を Linux でも動くようにマルチ プラットフォーム化するにあたって開発陣が掲げたゴールと、そこに向けての課題に関してご紹介しました。 今回の記事では、その課題をどのようなアーキクテチャーにすることで解決してきているのかという点に関して、新たに作られた SQLPAL というプラットフォーム抽象化層に関して触れながらご紹介します。 尚、この対応は SQL Server と言っても、まずはデータベース エンジンからの対応となり、その他の SQL Server おなじみの Integration Services, Analysis Services, Reporting Services 等に関してはもう少し時間がかかりそうです。

0

Azure Machine Learning のバッチ実行スコアリングの仕組みをノーコーディングで作成してみよう!

machine-learning_120
machine-learning_120

Microsoft Japan Data Platform Tech Sales Team 北澤 Azure Machine Learning ( Azure ML ) の特長の 1 つとして、作成したモデルを Web サービスとして簡単に公開する事ができ、他の業務アプリケーションなどから活用しやすい事が挙げられます。Web サービスには、リアルタイムでスコアを返すための「 要求応答サービス ( RSS ) 」と、ある程度のデータに対してバッチでスコアの結果を返す「 バッチ実行サービス ( BES ) 」の 2 種類があります。他のアプリケーションから利用するためのサンプルコード ( C# / Python / R ) が、要求応答サービス用 / バッチ用と自動生成されますので、アプリケーションからの呼び出しも敷居が低いのですが、開発環境を用意して、開発画面でサンプルコードをコピー & ペーストしてアプリケーションを作る必要があり、開発者でない方には環境の準備も含めて少し難しい部分もあったかと思います。

0

はじめての Azure Data Lake ~ 環境構築からファイル アップロードまで ~

data lake
data lake

  Microsoft Japan Data Platform Tech Sales Team 西村哲徳 みなさん、こんにちは。はじめての Azure Data Lake シリーズ2回目は、実際に Data Lake Store の環境を構築してファイルをアップロードするまでをご紹介します。「そもそもData Lakeって何 ?」という方は1回目で解説してますのでそちらをご覧ください。 本ブログの内容を試すのに必要なもの Azure アカウント : Data Lake Store は Azure サービスの1つなので Azure アカウントが必要です。まだ持ってない方は 20,500 円分の無料クレジットがつくのでこちらから作成してください。 Visual Studio : ファイルを操作するツールの1つAzure Data Lake Explorerを使うために必要になります。 Community Editionでも構いません。入手方法は後ほど紹介します。  

0

Visual Studio Code と Python で Azure Data Services にアクセスしてみよう (Azure SQL Database 、 Azure Machine Leaning 編 )

vscode
vscode

Microsoft Japan Data Platform Tech Sales Team 清水 みなさん、こんにちは。昨年末の記事では、 Visual Studio 2015 で Python 環境を構成し、 SQL Server 、 Azure SQL Database にアクセスする際の手順やポイントをお伝えしましたが、いかがだったでしょうか? 今回は、 Visual Studio Code で Python 環境を構成し、 Azure SQL Database 、 Azure Machine Learning へアクセスする際の手順、ポイントをお伝えします。

0

はじめての Azure Data Lake ~ そもそも Data Lake って何? ~

data lake
data lake

Microsoft Japan Data Platform Tech Sales Team 丹羽 勝久 1. はじめに 昨今、クラウドを中心としたトレンドとして、AI、IoT、機械学習などのキーワードが非常に盛んに取り上げられていますが、このような技術、手法が進化すればするほど、扱うデータの量、形態が多様になり、よりデータの蓄積基盤が重要になってきます。これらの領域が扱う大容量のデータ蓄積基盤の1つにデータウェアハウス(DWH)がありますが、このデータウェアハウスと併用して利用するデータレイク基盤が、現在注目されています。 そもそもデータレイク基盤とは何でしょうか?何故、データウェアハウスだけでなく、データレイク基盤も必要なのでしょうか?

0

2017/02/18 Power BI 勉強会 – 第 3 回 が開催されました

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 土井 貴彦 先週末の土曜日、2017/02/18 に 日本マイクロソフト 品川オフィスのセミナールーム A にて Power BI 勉強会 ( 3 回目) が開催されました。本記事では、当日の内容を簡単に報告できればと思っています。 そもそも Power BI って何? と思われた方は こちら の記事をまず参照ください。また、第一回目の様子は こちら 、第二回目の様子は こちら を参照ください。

0

Power BI Reports in SQL Server Reporting Services 続報

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤 2016年10月に 「SQL Server Reporting Services 内での Power BI レポート のテクニカル プレビュー」の発表があり、このブログでも紹介しました。今回はそのアップデート情報をお届けします。

0

PowerShell で操作する SQL Server クックブック(性能情報の取得2)

sql_120
sql_120

Microsoft Japan Data Platform Tech Sales Team 西村哲徳 みなさん、こんにちわ。前回は PowerShell で性能情報を取得する方法を紹介しました。 内容はカウンター名から性能情報の取得まですべて全て PowerShell で実行する方法でしたがパフォーマンス モニターの GUI で設定した性能情報をコマンドで開始、終了することもできます。最初に思い浮かぶコマンドが logman という方も多いと思いますが、今回は PowerShell 版を紹介します。

0

PowerShell で操作する SQL Server クックブック(性能情報の取得1)

sql_120
sql_120

Microsoft Japan Data Platform Tech Sales Team 西村哲徳 みなさん、こんにちは。1回目から随分時間がたってしまいましたが「PowerShell で操作する SQL Server クックブック」の第二弾です。前回は性能評価用の SQL を PowerShell でまとめて実行する方法を bash と比較しながら紹介しましたが、今回は単に実行するだけでなく性能分析に必要な情報を取得するスクリプトを紹介します。

0

Apache Spark on Azure をビジネス価値につなげる 8 つのシナリオ(1)

spark
spark

Microsoft Japan Data Platform Tech Sales Team 阪本 真悟 Apache Spark とは 高速かつ汎用的な並列分散処理エンジンである Apache Spark は、構造化データと非構造化データの両方を扱うことが出来、バッチ アプリケーションやインタラクティブなアルゴリズム、あるいはストリーミングといった幅広い処理をカバーすることが出来ます。 また大容量データを基にした機械学習やデータ マイニングを、複数のコンポーネントを統合したシンプルな API によって実現することが可能なため、ここ最近の機械学習やデータ分析のニーズの高まりを受けて急激に注目を集めています。 現在 Spark のコントリビュータは1,000名近くになり、Apache Software Foundationと世界中のオープン ソースのビッグデータ プロジェクトの中でもっともアクティブなプロジェクトになっています。

0

Power BI についてフィードバックをしてみよう

Power BI
Power BI

Microsoft Japan Data Platform Tech Sales Team 伊藤   Power BI Desktop や Power BI Service の画面には「アイデアを送信する」というメニューが用意されていて、実装してほしい機能をリクエストしたり、既にリクエストされている機能に投票したりできます。今回はその方法をご紹介します。 まずはフィードバックサイトへのアクセス方法です。直接フィードバックサイトを開くほかに、Power BI の画面上からもアクセスすることができます。   Power BI Desktop の場合 (クイックアクセスツールバーのスマイル、または [ファイル]→[ヘルプ]→[アイデアを送信する])   Power BI Service の場合 (画面右上のスマイル → [アイデアを送信する])   このメニューをクリックすると、Power BI のフィードバックサイト (英語) が開きます。

0

SQL Server(IaaS) on Azure におけるバックアップ(続編)

sql_iaas_120
sql_iaas_120

Microsoft Japan Data Platform Tech Sales Team 中川 前回の投稿では、Azure 上での IaaS 環境の SQL Server にてバックアップを取得する方法について、バックアップ先とバックアップ方式という観点で整理いたしました。その中で、バックアップ方式に関し、Azure BLOB Storage 内のデータベース ファイル のファイル スナップショット バックアップ方式(以下、スナップショット バックアップ方式と称す)をご紹介しましたが、今回の投稿ではそこにフォーカスを当てて深掘りをしていきます。

0

Microsoft Azure 仮想マシンに SQL Server を導入、設定する際のポイント 7

sql_iaas_120
sql_iaas_120

Microsoft Japan Data Platform Tech Sales Team清水 みなさん、こんにちは。   6回目は、 AlwaysOn 可用性グループの有効化と、構成時のポイントをお伝えしましたが、いかがだったでしょうか?最終回は、 可用性グループ リスナー構成時のポイントをお伝えします。5回目で、 3  つの仮想マシン ( 2 つの DB サーバーと 1 つのファイルサーバー ) を用いクラスターを構成したので、これを前提として説明を行います。

0

Apache Kafka for HDInsight (public preview) (2)

hdi_icon.2png
hdi_icon.2png

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   前回は Kafka for HDInsight の概要についてご紹介いたしました。今回は実際に Kafka for HDInsight のデプロイからサンプルコードの実行する方法をご紹介いたします。 今回の手順は以下の Get started with Apache Kafka (preview) on HDInsight の記事をもとにしています。 https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-kafka-get-started

0

Apache Kafka for HDInsight (public preview) (1)

hdi_icon.2png
hdi_icon.2png

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   分散型のストリーミングプラットフォームとして人気の Apache Kafka が Microsoft Azure の HDInsight に Kafka for HDInsight としてリリースされました。 本記事の投稿時点 (2017/01/23) ではパブリックプレビュー版となります。 HDInsight については以下をご参照ください。 Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (1) Microsoft Azure の Hadoop ディストリビューション HDInsight を使ってみよう! (2) HDInsight にデータを取り込む方法

0