Windows Azure HDInsight 服务入门

编者注: 这篇文章来自微软的首席项目经理Matt Winkler

今天早上我们给Windows Azure用户做了一些关于递交Hadoop的大的公告。Windows Azure HDInsight是部署、管理和扩展基于Hadoop解决方案的最简单方法。此版本包括:

  • Hadoop 确保最新稳定版本的更新:
    • HDFS 和Map/Reduce
    • Pig
    • 配置单元
    • Sqoop
  • An SDK for writing
    Hadoop jobs using .NET and Visual Studio

社区的贡献

作为对 Apache ™Hadoop ® 一贯承诺的一部分,团队已积极地提交对 Apache ™ 所做的更改。为了与HDFS 和 Map/Reduce有关的签入,通过按照分支-1 双赢你可以跟踪这项作业的进度。我们还正在推动其他项目,包括配置单元、Pig和Hbase. 这套组件才刚刚开始,有了每月的提前刷新,我们将添加额外的项目,例如Hcatalog。

获取HDInsight 服务访问权

为了开始,到https://www.hadooponazure.com提交邀请表格。在容量允许的范围内,我们发出邀请码。在预览中,您可以提供一个群集,5 天内免费。我们已经超容易利用Windows Azure Blob 存储器,以便可以将您的数据永久存储在Blob存储器中,只有当您需要处理数据的时候,给你带来 Hadoop 群集。用方式,你只能使用您需要的计算,当你需要它的时候,利用Windows Azure存储器的强大功能,例如数据的功能测试、从任何应用程序使用该数据。

简化开发

为了允许一个丰富的开发人员生态系统Hadoop 被建立,我们正在利用这一点,使用您熟悉的语言使其更容易地开始编写 Hadoop 作业。在此版本中,您可以使用 JavaScript 打造Map/Reduce作业,以及使用托管在集群仪表盘上的JavaScript控制台设计Pig和Hive的查询。JavaScript 控制台还以简单的语法直接从web浏览器提供浏览数据和改进作业的能力。

对于.NET 开发人员来说,我们已经建立了在 Hadoop 流上的 API,允许使用.NET编写Map/Reduce作业。这在NuGet中可用,代码托管在CodePlex上。一些功能包括:

  • 松散或牢固键入的选择
  • 在内存中调试
  • 直接给 Hadoop 群集提交作业
  • 在 C# 和 F # 中的样本

 

入门

首席项目经理Matt Winkler

本文翻译自:https://blogs.msdn.com/b/windowsazure/archive/2012/10/24/getting-started-with-windows-azure-hdinsight-service.aspx