機器學習的生命週期作業:Machine Learning Operationalization

這篇文章會帶您透過幾個簡單的指令,快速的將 TensorFlow, CNTK 或是 Python 所建立的預測模型,部署到 Azure Container Service (ACS) 或 HDInsight Spark 上,以達到高擴充性的需求。 AML CLI (Azure Machine Learning Command Line Interface) 是個全新的 Azure 機器學習指令集,目前是 preview 版本,目的在將機器學習的生命週期,例如 Experiment, Model training, Deployment, Management 等.能透過指令自動化流程處理。同時支援 CNTK, TenserFlow 等不同的機器學習框架,未來也將支援如 GPU/FPGA 等機器,協助資料科學家們對模型生命週期的訓練及管理。 GitHub 上有完整範例及文件並隨時更新,已可在 Linux Data Science Virtual Machine (DSVM) 上使用。 環境準備 首先你需要有 Azure 訂用帳戶 (取得訂用帳戶),然後依說明文件建一個 DSVM 出來 (要完成以下練習,只要選擇最便宜的機器即可)。 透過…


在 Azure Machine Learning 中處理影像資料 (以辨識人臉為例)

本文將使用 Azure Machine Learning Studio,一次匯入數張影像檔,再經由一個預先訓練過的模型,偵測這些影像中是否含有人臉。 步驟一:開通 Azure 「機器學習」帳號 1. 不需要信用卡就可以免費開始使用 Azure Machine Learning (https://studio.azureml.net/):擁有 10GB Azure Storage 的 Datasets 空間、最多建制 100 modules 以及一小時的 Machine Learning experiments 時間。 2. 如果你是成立不到五年的新創公司,可以免費申請 BizSpark 方案,享有每個月 NT$4,700 額度的 Azure credit。開通時亦無需輸入信用卡,所以沒有付費的風險。 3. 如果你是 MSDN 訂閱用戶,本來就有 Azure 免費額度,只要開通即可。 4. 當然你也可以直接申請免費試用一個月,取得 NT$6,300 元的 Azure 信用額度。 (如果你是學校老師或學生,有更多 Azure 免費資源) 步驟二:選擇合適的照片上傳至 Azure Blob 儲存體 影像、音樂、影片等檔案通常較大,Azure…


在 Excel 裡使用 Azure 「機器學習」預測服務

不需要會寫程式,現在只要打開 Excel 就能直接呼叫 Azure 「機器學習」的服務來作預測。 步驟一:到 Office 市集中下載免費的 Excel Azure ML 增益集 (Add-in) 安裝時需要登入您的 Microsoft Account 帳號,日後不論您是使用 iOS、Android、桌面、甚至網頁版本的 Excel,就都能直接使用。 (是的! 現在增益集可以發佈至 Office 市集進行銷售囉! 有興趣開發的人可以到 Office 開發官網了解) 步驟二:打開 Excel 並選擇此 Add-in 步驟三:執行 (以「鐵達尼號生還率預測」為例) 各位可以先把以下資料複製後貼到 Excel,作為我們的預測資料。 PassengerClass Gender Age SiblingSpouse ParentChild FarePrice PortEmbarkation 2 female 40 2 1 50 C 1 male 20 1 3 200 C…


如何利用 Azure 「機器學習」贏得黑客松 (Hackathon)?

預測某個 YouBike 租借站在某個時間點是否還有車可以借、是否還有車位可以停;預測某個城市在不同的時間發生犯罪的機率;依據下眼瞼的照片判斷貧血的程度;找出不同的開車模式和車禍發生機率的關係。以上都是你可以利用 Azure  Machine Learning「機器學習」贏得一場黑客松 (Hackathon) 的題目,甚至成為你開始新創公司的契機! 本文將介紹使用 Azure 「機器學習」的步驟及各種資源,方便你在黑客松活動中使用。其中前二個步驟可以在參加之前即先行完成。 步驟一:開通 Azure 「機器學習」帳號 1. 不需要信用卡就可以免費開始使用 Azure Machine Learning (https://studio.azureml.net/):擁有 10GB Azure Storage 的 Datasets 空間、最多建制 100 modules 以及一小時的 Machine Learning experiments 時間。 2. 如果你是成立不到五年的新創公司,可以免費申請 BizSpark 方案,享有每個月 NT$4,700 額度的 Azure credit。開通時亦無需輸入信用卡,所以沒有付費的風險。 3. 如果你是 MSDN 訂閱用戶,本來就有 Azure 免費額度,只要開通即可。 4. 當然你也可以直接申請免費試用一個月,取得 NT$6,300 元的 Azure 信用額度。 (如果你是學校老師或學生,有更多 Azure…


我看起來幾歲 How old do I look? 幕後花絮

【原文來自: 台灣微軟雲端與企業平台事業部副總經理葉怡君網誌】 這幾天有款 App (or 網站?) http://how-old.net/# 爆紅 – “How Old Do I Look?” (我看起來幾歲?), 短短 48 個小時就有一百萬人上去 PO 照片測試. 我的臉書幾乎被大家的自拍照片洗版, 大部份的人都很滿意他們的測試結果, 因為都比實際年齡少了許多, 連我 91 歲的阿嬤也立馬叫她的朋友來試, 因為她有一張笑開懷的照片看起來只有 76 … 當然囉, 也有一些例外, 但基本上是款相當討喜的軟體,所以也被瘋狂轉載. 也因為基本上蠻準的(特別對老人及小孩), 也或是很不準(特別是涷齡的東方女生), 所以引起很多討論, 包含: 這到底怎麼猜的? 怎麼這麼準? 這到底怎麼猜的? 為什麼我表情不一樣, 猜的年齡也不一樣?       這到底怎麼猜的? 為什麼我一直被猜出是女生? 我明明是男的? (Who knows?)        這到底怎麼猜的?我PO上去的照片會不會被Microsoft拿去使用? 由於這個網站是敝公司做的, 當初只是為了開發者大會 (//Build) 做的一款 demo, 用了蠻多物聯網及大數據的技術, 所以我就去查了一下幕後花絮, 結果發現一些有趣的故事….


初探「機器學習」投影片下載

分別於今年 2 月及 4 月於松山文創美國創意中心演講的課程投影片,簡介 Azure Machine Learning 以及微軟提供的各項創業所需要的資源,如 BizSpark 等: 20150206 aic machine learning from Meng-Ru Tsai 相關閱讀: 1. 本部落格 Machine Learning 系列文章 (中文): http://blogs.msdn.com/b/mengtsai/archive/tags/machine+learning/ 2. Microsoft Azure 機器學習官方學習網站 (含教學影片及文件): http://azure.microsoft.com/zh-tw/documentation/services/machine-learning/ 3. 美國創意中心 (American Innovation Center) FB: https://www.facebook.com/twaic?fref=ts 


如果你搭上了鐵達尼號,有機會生還嗎?

有個網站可以讓你作測試。只要依次選擇艙等、性別、年齡、有幾個同行親屬、購買的票價、由哪個港口出發 (不知道的話就隨便選): 然後 Submit,就能得到你的生還機率了: 是的! 11.11% 就是我照實填寫之後得到的生還機率,還幫我加註解說我的生存機會渺茫…><~ 反正這預測是免費的,所以您可以多方嘗試,看看哪一種乘客是最有可能存活的。首先,我把性別由 Male 改成 Female: 是的!! 只要變性為女生我就 100% 可以存活了~ XD (以下開始包含技術內容) 所以這網站是怎麼作預測的? 簡單來說,即是利用了「機器學習」這方式。先將所有鐵達尼號乘客的資料 (data) 拿來作輸入,經過 ML (Machine Learning) 的學習之後,即得到新的預測技能 (skill): (想先了解一下何謂「機器學習」? 請見 「機器學習」FAQ) 一、取得乘客資料 首先,Kaggle 這網站可以取得當年所有 891 個鐵達尼號的乘客資料 (“train.csv” 檔)。免費下載,以 Excel 打開後如以下: 檢視一下可以發現… 有個 “Survived”欄位代表是否生還 (1 表示生還)。 各位可先想想,如編號 (PassengerId)、姓名 (Name)、船票序號 (Ticket) 等資料,與最後存活與否,有關連嗎? 有些資料是不完整的,如編號 6 的 Age,這部份要如何處理? 二、使用「機器學習」的線上工具 (Azure ML…


R 語言初體驗- 使用於 Azure Machine Learning Studio 中

“R 語言,一種自由軟體程式語言,主要用於統計分析、繪圖及資料探勘。” 維基百科: R 語言 本文將帶您檢視 410 個預裝的 R packages、展示如何直接使用既有的 R script,或直接在 Azure ML 中撰寫、透過 R 作資料清理進而建立預測模型、以及如何極大化 R 語言在「機器學習」上的應用。 使用 Azure ML Studio 微軟所開放出來的「機器學習」工具 Azure ML Studio,可以在任何一種瀏覽器上執行,無需信用卡,登入 Microsoft Account 之後即可免費開始使用: https://studio.azureml.net/。 Azure ML Studio 包含 “Execute R Script” 及 “Create R Model” 模組可供使用: 檢視預裝的 R packages 目前支援 410 個 CRAM R packages, 包括 plyr and…


Net# 簡介:透過 Azure ML 實作多層網路及卷積神經網路 (Convolution Neural Network)

Net# 是在 Azure ML 中設定類神經網路的簡單 script 語言,讓使用者能在預設的 full bundle 之外 (即,各層間的節點是完全連接的),作出以下的變化,以進行機器學習並建構模型: Filtered bundles. The user can define a predicate by using the locations of the source layer node and the destination layer node. Nodes are connected whenever the predicate is True. Convolutional bundles. The user can define small neighborhoods of nodes in the source layer….


Azure 「機器學習」: 初探類神經網路 (Neural Network)

「類神經網路」這個聽起來很利害的東西,要怎麼被應用到 Azure 的「機器學習」工具中呢? 本文的目的,即是希望讓即便沒修過人工智慧、類神經網路這些聽起來很利害的課的你,也能藉此入門,讓你能知道如何作出一個類神經網路預測模型。 那我們就開始吧! 為什麼叫「類神經網路 (Neural Network)」? 故名思義,類神經網路即是希望能模仿人類腦袋神經網路的學習過程。如下圖,大腦裡的一堆神經細胞,透過像樹枝狀的突起,以可強可弱的電脈沖的形式互相傳遞: Back-Propagation (倒傳遞類神經網路,以下簡稱 BP) 類神經網路演算法有很多種,如 Back-Propagation (BP) 神經網路, Hopfield 神經網路, Kohonen 神經網路及 Adaptive Resonance Theory (or ART) 神經網路等;其中最常見的即是 BP 演算法,亦常被稱為 Multilayered Perceptron 多層感知器,如下圖這樣的三層結構: 三層式 BP 神經網路 (圖片來源: “Predictive Analytics with Microsoft Azure Machine Learning: Build and Deploy Actionable Solutions in Minutes”) 在這結構中有一個輸入層,一個隱藏層,和一個輸出層。 其中輸入層的節點數目即等於你要輸入的資料變數;而輸出層的節點數目即等於你要預測的輸出變數。相對而言,隱藏層的節點數目就非常彈性,可以自行決定,之後我們會談到要設定多少會比較適當。 舉個例子吧! 在Azure 「機器學習」初體驗一文中,我們想要以 BP…