Hadoop : Comment réduire ses coûts HDInsight pour le développement

  Comme on le voit dans ce diagramme, HDInsight est au cœur de la plateforme Big Data de Microsoft. L’offre Azure Data Lake Analytics et l’offre HDInsight ont un positionnement similaire. Suivant que vous préférez utiliser un code portable tout en bénéficiant d’un service géré, d’une part ou que vous voulez être dans un monde…

0

Azure Camp 9 DEC 2014: quelques démos IoT + Big Data (vidéos)

Lors de l’Azure Camp du 9 décembre dernier, j’ai eu l’occasion de montrer quelques démos autour des objets connectés et de Big Data. Je publie ici les vidéos de secours que j’avais préparées. Ce sont des versions un peu plus longues que ce que j’ai pu présenter.   Vous trouverez la vidéo de la session…

0

How to retrieve R data visualization from Azure Machine Learning

As you may know, Azure Machine Learning can execute R scripts. You can interactively see the output console. But what about retrieving the result as part of a production call to the API generated by Azure ML? Let’s test with a word cloud example in R. Mollie Taylor has posted one here (https://gist.github.com/mollietaylor/3671518) that we…

0

How to upload an R package to Azure Machine Learning

Azure Machine Learning (http://azure.com/ml) has a number of packages already installed by default. You can see them with this following sample experiment: R script is: data.set <-data.frame(installed.packages()); # Select data.frame to be sent to the output Dataset port maml.mapOutputPort("data.set"); you’ll find a little more than 400 packages.   Still you may need to use a…

0

Sample code: create an HDInsight cluster, run job, remove the cluster

In a previous post, I gave an example of a simple automation job. Here is a more interesting one. Here is a sample Azure Automation code that creates an HDInsight cluster, runs a job, and removes the cluster. I used it for a demonstration at the French Hadoop User Group. You can find the video…

0

Azure Automation: What is running on my subscriptions

the result I regulalry need to check if my Azure virtual machines are turned off before leaving. Besides virtual machines, I also want to know in which pricing level my web sites, Azure SQL Databases, etc are running. I want to know if I have an HDInsight cluster running. So I created an Azure automation…

0

start a Pig + Jython job in HDInsight thru WebHCat

You can also use HDInsight with Hive + Python. The drawback of the latter is that you use streaming between Hive and Python. In Hadoop streaming is just a way to call stdin/stdout inter process communication. So if you just do simple operations like string concatenations between two fields in Python it may be slow….

0

HDInsight + PowerBI: un exemple simple

En octobre dernier, j’ai eu l’occasion de montrer comment analyser des données venant de logs Web et Twitter avec PIG et HIVE dans Hadoop, puis de croiser les résultats dans Excel, ce qui permet de décliner le résultat dans Power BI. Je mets ici les diapos et les vidéos (les vidéos sont les vidéos de…

0

Why can’t I remove my storage account ?

You may want to remove a storage account you’ve created and get a message like this one: Storage account <mystorage> has container(s) which have an active image and/or disk artifacts. Ensure those artifacts are removed from the image repository before deleting this storage account. Here is what you may want to check. In the management…

0