從車聯網範例學習使用 Azure 雲平台實現物聯網(IoT)精神:(3) 建立資料視覺化圖表

前言 Azure 雲平台提供了許多開發軟體、系統或服務的平台元件,而在最近熱門的資料分析、物聯網(IoT, Internet of Things)、機器學習等議題方面,Azure 也有許多針對這領域的需求提供相關的服務,這裡我們就以一個「車聯網」(Connected Car)的情境來說明如何運用 Azure 上的這些服務來建構一個資料分析或是物聯網的解決方案。 從這裡可以下載或啟用本文所使用的範例。 系列文章 這個範例將會分成三個部份來做介紹,分別是: 接收並儲存大量遙測資料 資料轉換及建立預測模型 建立資料視覺化圖表 這篇文章是第三個部份,範例情境請參考第一部份說明。 目標 在我們已經建立好整個資料流的架構後,雖然我們已經能夠從這些資料中找到許多有用的資訊,但不是每個人都想直接看原始資料,所以如何將這些資料用視覺化的方式呈現就是很重要的事。 Power BI 也是 Microsoft 所提供的一個雲端軟體服務(SaaS),只要您將資料準備好,Power BI 提供了許多視覺化、互動性高的圖形工具供您繪製不同的資訊,而且 Power BI 不僅提供 Web 的操作介面(不限平台皆可操作),也提供了各行動平台的 app(參考),方便您用各種方式存取這些資訊,決策更快速。 從資料到圖表 資料集(Data Set) Power BI 本身只是將資料以圖表方式呈現的工具,所以整張圖表的關鍵就在於資料內容,在 Power BI 中你可以設定從哪些服務、檔案或資料庫將資料匯入(也可以自己寫元件擴充資料來源),而且設定好連接之後,也可以自動排程(或手動)重新讀取資料,所以要製作圖表的第一個動作就是要把資料集準備好。 圖:可以從眾多的線上服務或是檔案、資料庫將資料匯入 Power BI 處理。 在這個範例中,你會下載一個桌面應用程式,它是用來彙整 Stream Analytics、Machine Learning 以及 SQL Database 裡的資料,然後透過 Power BI…

0

從車聯網範例學習使用 Azure 雲平台實現物聯網(IoT)精神:(2) 資料轉換及建立預測模型

前言 Azure 雲平台提供了許多開發軟體、系統或服務的平台元件,而在最近熱門的資料分析、物聯網(IoT, Internet of Things)、機器學習等議題方面,Azure 也有許多針對這領域的需求提供相關的服務,這裡我們就以一個「車聯網」(Connected Car)的情境來說明如何運用 Azure 上的這些服務來建構一個資料分析或是物聯網的解決方案。 從這裡可以下載或啟用本文所使用的範例。 系列文章 這個範例將會分成三個部份來做介紹,分別是: 接收並儲存大量遙測資料 資料轉換及建立預測模型 建立資料視覺化圖表 這篇文章是第二個部份,範例情境請參考第一部份說明。 轉換資料格式 原始資料的樣貌 在第一部份中,我們已經接收資料,並且有一部份是儲存在 Azure Blob Storage 中,我們可以運用 Microsoft Azure Storage Explorer 這類工具來看一下資料是如何被存起來的,如果你打開這個範例所建立的 Steam Analytics 服務內的設定,你可以發現它將資料儲存在 connectedcar 容器中,而前置詞為 rawcareventstream(如此一來,在 Azure Blob Storage 中就會像是資料夾形式組織檔案),所以我們可以在此找到一個 CSV 檔案,就是不斷接收進來的資料: 圖: Stream Analytics 將進入 Event Hub 的資料儲存在 Blob Storage 中。 所以我們可以看到資料都是以 CSV 的格式做儲存,下圖是以 Excel…

0

從車聯網範例學習使用 Azure 雲平台實現物聯網(IoT)精神:(1) 接收並儲存大量遙測資料

前言 Azure 雲平台提供了許多開發軟體、系統或服務的平台元件,而在最近熱門的資料分析、物聯網(IoT, Internet of Things)、機器學習等議題方面,Azure 也有許多針對這領域的需求提供相關的服務,這裡我們就以一個「車聯網」(Connected Car)的情境來說明如何運用 Azure 上的這些服務來建構一個資料分析或是物聯網的解決方案。 從這裡可以下載或啟用本文所使用的範例。 情境 假設您是一個車輛管理公司,你旗下有許多車輛在路上運行,而你想要監控這些車輛的狀況(如:平均時速、機油狀況、引擎溫度等等),並且從這些監控的數據中分析及預測出車輛的健康狀況,及早為可能要進行的維修工作做好準備。 系統完整架構圖會像是這樣(點擊放大): 系列文章 這個範例將會分成三個部份來做介紹,分別是: 接收並儲存大量遙測資料 資料轉換及建立預測模型 建立資料視覺化圖表 接收資料 由於需要監控的車輛數量可能會很多,所以我們要能夠具有短時間接收大量資料的資料(高頻資料)接收能力,所以採用 Azure 事件中樞(Event Hubs)作為接收高頻資料的入口。簡單地說,Azure Event Hub 的功能就是一個訊息佇列(message queue),但是它特別為高頻資料所設計,藉著資料分區(partition)的設計讓資料可以並行傳入,也因為這僅僅是一個佇列,雖然有一定的保存時間,但若要將傳入的事件(訊息、資料)永久儲存下來,就需要把資料從 Event Hub取出再儲存到別處的部份,這個我們稍候再談。 在這個範例中,我們並不是真正去蒐集真實的車輛資料,而是用一個模擬程式模擬產生資料,這些資料就直接送到 Azure Event Hub,而送進 Azure Event Hub 裡可以是任何字串資料,不過為了後續資料處理的方便,在這個範例中是使用 JSON 格式的資料來傳送。 圖:模擬程式執行的畫面,可以看到它會產生許多模擬資料,並且是使用 JSON 資料格式。 資料傳入 Azure Event Hub 的方式也很簡單,只要使用 HTTP 的 Web 呼叫就可以將資料寫入 Azure Event Hubs。…

0