HDInsight の インタラクティブ Hive (LLAP) とは?

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   2016年の秋に HDInsight の新しいクラスタータイプとして 「インタラクティブ Hive」 が登場しました。インタラクティブ Hive は Hive 2.0 で追加された LLAP (Long Live and Process) という Hive クエリをより高速にするための仕組みを搭載したものです。これによって、大量のデータをよりインタラクティブに柔軟に分析することが可能になります。本記事の投稿時点 (2017/03/21) ではパブリック プレビュー版が利用可能です。

0

DAX 入門 (6) DAX 行フィルターを使用した動的なセキュリティ [SSAS]

Azure Analysis Services
Azure Analysis Services

Microsoft Japan Data Platform Tech Sales Team 川野 純 DAX 入門 第 6 回目では動的なセキュリティについて説明していきます。 先日、お客様から SQL Server Analysis Services ( 以下、SSAS ) 表形式のロール定義で Active Directory のグループをマップし、そのロールにおける固定値でフィルター条件を定義できるが、同じグループのメンバーごとにきめ細かくアクセス権を設定できないか、という相談を受けました。 確かに、Active Directory 上の組織と各データへのアクセス権限が一致している企業であれば固定値でフィルター条件を定義しても事足りますが、現実の組織では様々な事情により Active Directory の階層とは関係なく各データへのアクセス制御を行わなければならないケースが多々あります。 このような場合に便利なのが USERNAME 関数 と LOOKUPVALUE 関数 という 2 つの DAX 関数です。

0

Azure SQL Data Warehouse (SQL DW) の分散クエリプランをひも解いてみよう

SQL Server を利用するアプリ開発やデータベース管理に携わる方々の中には、SQL Server のチューニング プロセスの中で、クエリー プランを確認してチューニング指針を立てたというご経験のある方が多いのではないでしょうか。 そのプロセスでは SQL Server Management Studio (SSMS) を用いてクエリ プランを表示させ、アクセス パスを確認することが一般的だったと思います。 具体的には、SSMS のツール バーで “推定実行プランの表示” や “実際の実行を含める” ボタンを押下しておくことでクエリ プランを簡単にグラフィカルに表示させることができました。 Azure SQL Data Warehouse (以降 Azure SQL DW と略します)の場合には、このクエリプランの確認方法がちょっと変ってきます。 Azure SQL DW には EXPLAIN という Transact-SQL ステートメントが用意されています。

0

PowerShell で操作する SQL Server クックブック (bash から PowerShell へ)

sql server
sql server

Microsoft Japan Data Platform Tech Sales Team 西村哲徳   こんにちわ。 今回は Linux ユーザ向けに PowerShell を使って SQL Server にバッチ的に SQL 文や管理コマンドを実行する方法を紹介します。 今までデータベースを Linux 上で使ってきたエンジニアにとって SQL Server を使う上で壁となるのは互換性の高い SQL よりも慣れ親しんだ bash が使えないということでしょう。 Cygwin や Bash on Ubuntu on Windows(現時点ではWindows 10のみでプレビューという扱い)を使うことはできますが、PowerShell は思ったより bash ユーザにもなじみやすい構文なのでこの機会にぜひ覚えてみてください。 もちろん PowerShell ならではの高度なことは可能ですが今回は bash を対象にしたシンプルな構文のみにできるだけフォーカスします。

0

Azure SQL Data Warehouse での統計の管理

Microsoft Japan Data Platform Tech Sales Team 高木 英朗   以前のエントリで統計の概要と作成方法について紹介しました。今回は統計の管理方法について紹介します。 統計はクエリの実行プランを作成するための情報を提供する重要な要素であることをお伝えしましたが、最適なパフォーマンスを得るためには、この統計情報を最新にしておくということも重要です。 統計の更新タイミング 統計を最新にしておくための最適なタイミングは、データの追加や更新の後です。これはデータの追加や更新時にテーブルのサイズや値の分布が変わる可能性が高いためです。 もし、すべての統計を管理するのは時間がかかりすぎる場合は、例えば新しい値が毎日追加されるような日付列だったり JOIN、GROUP BY、ORDER BY、DISTINCT 等に使われる列に限定すると良いでしょう。 統計が最新かどうかを判断する方法 統計が最新かどうかを判断するため、統計が最後に更新された日時を確認することができます。 確認するには、以下のクエリを実行します。 SELECT sm.[name] AS [schema_name], tb.[name] AS [table_name], co.[name] AS [stats_column_name], st.[name] AS [stats_name], STATS_DATE(st.[object_id],st.[stats_id]) AS [stats_last_updated_date] FROM sys.objects ob JOIN sys.stats st ON ob.[object_id] = st.[object_id] JOIN sys.stats_columns sc ON st.[stats_id] = sc.[stats_id]…

0

マイクロソフトの IoT ソリューションの概要と特徴

Microsoft Japan Data Platform Tech Sales Team 倉重 秀昭 昨今、様々なメディアで「 IoT 」が取り上げられていますが、今回は マイクロソフトの IoT ソリューションの概要とその特徴についてご紹介したいと思います。 マイクロソフト の IoT ソリューションは、 IoT 基盤に必要な機能を「データ受信」「データ処理」「ストレージ」「分析」「可視化」に分割し、それぞれの機能を Azure 上のサービスとして提供しています。 各機能毎に複数のサービスを提供していますので、実際に IoT システムを構築する際は、要件に応じて最適なサービスを選び、それらを組み合わせて実装する形となります。 また各サービスは API を公開するなどして、カスタムアプリケーションからアクセスできるようになっていますので、特殊な機能要件や制約があり Azure 上のサービスでは対応できない場合には、その部分だけカスタムアプリケーションで実装する事も可能です。 (例えば、デバイスから送信されるデータの受信は Azure のサービス( Event Hubs 等)を利用し、データ処理の部分だけカスタムアプリケーションで実装し、その後の工程は Azure のサービスを利用するといった事が可能です。) この様に マイクロソフトの IoT ソリューションは、機能毎に部品化してサービスを提供し、それらのサービスやカスタムアプリケーションを組み合わせて構成することができる為、 「構築の容易性」「導入スピード」、および「カスタマイズの柔軟性(特殊要件への対応)」のいいとこ取りができる様になっています。   次に マイクロソフトの IoT ソリューションを構成する主なサービスについて紹介していきます。 データ受信 デバイスから送信されるデータを確実に受信し、一時保持するための機能   Event Hubs デバイスから送信されるイベントデータを受信するためのサービス 対応するプロトコルは、HTTP、AMQP、AMQP…

0