機器學習的生命週期作業:Machine Learning Operationalization

這篇文章會帶您透過幾個簡單的指令,快速的將 TensorFlow, CNTK 或是 Python 所建立的預測模型,部署到 Azure Container Service (ACS) 或 HDInsight Spark 上,以達到高擴充性的需求。 AML CLI (Azure Machine Learning Command Line Interface) 是個全新的 Azure 機器學習指令集,目前是 preview 版本,目的在將機器學習的生命週期,例如 Experiment, Model training, Deployment, Management 等.能透過指令自動化流程處理。同時支援 CNTK, TenserFlow 等不同的機器學習框架,未來也將支援如 GPU/FPGA 等機器,協助資料科學家們對模型生命週期的訓練及管理。 GitHub 上有完整範例及文件並隨時更新,已可在 Linux Data Science Virtual Machine (DSVM) 上使用。 環境準備 首先你需要有 Azure 訂用帳戶 (取得訂用帳戶),然後依說明文件建一個 DSVM 出來 (要完成以下練習,只要選擇最便宜的機器即可)。 透過…


在 Azure Machine Learning 中處理影像資料 (以辨識人臉為例)

本文將使用 Azure Machine Learning Studio,一次匯入數張影像檔,再經由一個預先訓練過的模型,偵測這些影像中是否含有人臉。 步驟一:開通 Azure 「機器學習」帳號 1. 不需要信用卡就可以免費開始使用 Azure Machine Learning (https://studio.azureml.net/):擁有 10GB Azure Storage 的 Datasets 空間、最多建制 100 modules 以及一小時的 Machine Learning experiments 時間。 2. 如果你是成立不到五年的新創公司,可以免費申請 BizSpark 方案,享有每個月 NT$4,700 額度的 Azure credit。開通時亦無需輸入信用卡,所以沒有付費的風險。 3. 如果你是 MSDN 訂閱用戶,本來就有 Azure 免費額度,只要開通即可。 4. 當然你也可以直接申請免費試用一個月,取得 NT$6,300 元的 Azure 信用額度。 (如果你是學校老師或學生,有更多 Azure 免費資源) 步驟二:選擇合適的照片上傳至 Azure Blob 儲存體 影像、音樂、影片等檔案通常較大,Azure…


[Azure 筆記] 上傳檔案到 Azure Blob 儲存體

電腦裡有硬碟可以儲存照片、影片、MP3 等檔案,微軟的公有雲上也有專門用來儲存這種非結構化資料的儲存體 Azure Blob。本文是紀錄如何設定 Azure Blob 並上傳一些照片,以作為後續使用。 步驟一:取得 Azure 帳號 如果您還沒有 Azure 帳號: 可以直接申請免費試用一個月,取得 NT$6,300 元的 Azure 信用額度。 如果你是成立不到五年的新創公司,可以免費申請 BizSpark 方案,享有每個月 NT$4,700 額度的 Azure credit。開通時無需輸入信用卡,所以沒有付費的風險。 如果你是 MSDN 訂閱用戶,本來就有 Azure 免費額度,只要開通即可。 步驟二:登入至 Azure 入口網站,新增一個 Blob 畫面左下角選擇 NEW –> Storage –> QUICK CREATE,給定一個 URL,建立一個 Storage。 然後點選剛剛新增出來的 Storage,選擇 Container,並新增一個 Blob: 至此,你已成功在 Azure 上建立了一個 Blob! 它的結構如以下,我們即可以開始上傳各種檔案。 步驟三:上傳檔案到 Azure Blob…


在 Excel 裡使用 Azure 「機器學習」預測服務

不需要會寫程式,現在只要打開 Excel 就能直接呼叫 Azure 「機器學習」的服務來作預測。 步驟一:到 Office 市集中下載免費的 Excel Azure ML 增益集 (Add-in) 安裝時需要登入您的 Microsoft Account 帳號,日後不論您是使用 iOS、Android、桌面、甚至網頁版本的 Excel,就都能直接使用。 (是的! 現在增益集可以發佈至 Office 市集進行銷售囉! 有興趣開發的人可以到 Office 開發官網了解) 步驟二:打開 Excel 並選擇此 Add-in 步驟三:執行 (以「鐵達尼號生還率預測」為例) 各位可以先把以下資料複製後貼到 Excel,作為我們的預測資料。 PassengerClass Gender Age SiblingSpouse ParentChild FarePrice PortEmbarkation 2 female 40 2 1 50 C 1 male 20 1 3 200 C…


如何利用 Azure 「機器學習」贏得黑客松 (Hackathon)?

預測某個 YouBike 租借站在某個時間點是否還有車可以借、是否還有車位可以停;預測某個城市在不同的時間發生犯罪的機率;依據下眼瞼的照片判斷貧血的程度;找出不同的開車模式和車禍發生機率的關係。以上都是你可以利用 Azure  Machine Learning「機器學習」贏得一場黑客松 (Hackathon) 的題目,甚至成為你開始新創公司的契機! 本文將介紹使用 Azure 「機器學習」的步驟及各種資源,方便你在黑客松活動中使用。其中前二個步驟可以在參加之前即先行完成。 步驟一:開通 Azure 「機器學習」帳號 1. 不需要信用卡就可以免費開始使用 Azure Machine Learning (https://studio.azureml.net/):擁有 10GB Azure Storage 的 Datasets 空間、最多建制 100 modules 以及一小時的 Machine Learning experiments 時間。 2. 如果你是成立不到五年的新創公司,可以免費申請 BizSpark 方案,享有每個月 NT$4,700 額度的 Azure credit。開通時亦無需輸入信用卡,所以沒有付費的風險。 3. 如果你是 MSDN 訂閱用戶,本來就有 Azure 免費額度,只要開通即可。 4. 當然你也可以直接申請免費試用一個月,取得 NT$6,300 元的 Azure 信用額度。 (如果你是學校老師或學生,有更多 Azure…


Azure 校園免費方案整理 (學生及老師適用)

1. 所有學生:“Azure for Students” 方案開放給所有學生,不用信用卡即能開始使用,直接至 Microsoft Azure for DreamSpark 認證您的學生身份,即可免費使用多種 Azure 公有雲服務,目前包含以下 4 種,將會不定期持續新增: Azure App Service Web Apps is a part of a fully managed cloud offering that enables you to build and deploy web apps in seconds. Use ASP.NET, Java, PHP, Node.js or Python. Run popular web apps and CMS solutions. Set up…


我看起來幾歲 How old do I look? 幕後花絮

【原文來自: 台灣微軟雲端與企業平台事業部副總經理葉怡君網誌】 這幾天有款 App (or 網站?) http://how-old.net/# 爆紅 – “How Old Do I Look?” (我看起來幾歲?), 短短 48 個小時就有一百萬人上去 PO 照片測試. 我的臉書幾乎被大家的自拍照片洗版, 大部份的人都很滿意他們的測試結果, 因為都比實際年齡少了許多, 連我 91 歲的阿嬤也立馬叫她的朋友來試, 因為她有一張笑開懷的照片看起來只有 76 … 當然囉, 也有一些例外, 但基本上是款相當討喜的軟體,所以也被瘋狂轉載. 也因為基本上蠻準的(特別對老人及小孩), 也或是很不準(特別是涷齡的東方女生), 所以引起很多討論, 包含: 這到底怎麼猜的? 怎麼這麼準? 這到底怎麼猜的? 為什麼我表情不一樣, 猜的年齡也不一樣?       這到底怎麼猜的? 為什麼我一直被猜出是女生? 我明明是男的? (Who knows?)        這到底怎麼猜的?我PO上去的照片會不會被Microsoft拿去使用? 由於這個網站是敝公司做的, 當初只是為了開發者大會 (//Build) 做的一款 demo, 用了蠻多物聯網及大數據的技術, 所以我就去查了一下幕後花絮, 結果發現一些有趣的故事….


如果你搭上了鐵達尼號,有機會生還嗎?

有個網站可以讓你作測試。只要依次選擇艙等、性別、年齡、有幾個同行親屬、購買的票價、由哪個港口出發 (不知道的話就隨便選): 然後 Submit,就能得到你的生還機率了: 是的! 11.11% 就是我照實填寫之後得到的生還機率,還幫我加註解說我的生存機會渺茫…><~ 反正這預測是免費的,所以您可以多方嘗試,看看哪一種乘客是最有可能存活的。首先,我把性別由 Male 改成 Female: 是的!! 只要變性為女生我就 100% 可以存活了~ XD (以下開始包含技術內容) 所以這網站是怎麼作預測的? 簡單來說,即是利用了「機器學習」這方式。先將所有鐵達尼號乘客的資料 (data) 拿來作輸入,經過 ML (Machine Learning) 的學習之後,即得到新的預測技能 (skill): (想先了解一下何謂「機器學習」? 請見 「機器學習」FAQ) 一、取得乘客資料 首先,Kaggle 這網站可以取得當年所有 891 個鐵達尼號的乘客資料 (“train.csv” 檔)。免費下載,以 Excel 打開後如以下: 檢視一下可以發現… 有個 “Survived”欄位代表是否生還 (1 表示生還)。 各位可先想想,如編號 (PassengerId)、姓名 (Name)、船票序號 (Ticket) 等資料,與最後存活與否,有關連嗎? 有些資料是不完整的,如編號 6 的 Age,這部份要如何處理? 二、使用「機器學習」的線上工具 (Azure ML…


R 語言初體驗- 使用於 Azure Machine Learning Studio 中

“R 語言,一種自由軟體程式語言,主要用於統計分析、繪圖及資料探勘。” 維基百科: R 語言 本文將帶您檢視 410 個預裝的 R packages、展示如何直接使用既有的 R script,或直接在 Azure ML 中撰寫、透過 R 作資料清理進而建立預測模型、以及如何極大化 R 語言在「機器學習」上的應用。 使用 Azure ML Studio 微軟所開放出來的「機器學習」工具 Azure ML Studio,可以在任何一種瀏覽器上執行,無需信用卡,登入 Microsoft Account 之後即可免費開始使用: https://studio.azureml.net/。 Azure ML Studio 包含 “Execute R Script” 及 “Create R Model” 模組可供使用: 檢視預裝的 R packages 目前支援 410 個 CRAM R packages, 包括 plyr and…


Net# 簡介:透過 Azure ML 實作多層網路及卷積神經網路 (Convolution Neural Network)

Net# 是在 Azure ML 中設定類神經網路的簡單 script 語言,讓使用者能在預設的 full bundle 之外 (即,各層間的節點是完全連接的),作出以下的變化,以進行機器學習並建構模型: Filtered bundles. The user can define a predicate by using the locations of the source layer node and the destination layer node. Nodes are connected whenever the predicate is True. Convolutional bundles. The user can define small neighborhoods of nodes in the source layer….