使用 HDInsight进行开发


Windows AzureHDInsight 提供了运行 Apache Hadoop的动态供应群集来处理大数据(Big Data)的能力。您可以在这个系列的第一篇博客中找到更多信息,您也可以点击这里开始在Windows Azure 门户网站中使用它。这篇文章列举了开发人员与HDInsight交互的几种不同方法,首先通过讨论不同的场景,然后深入讨论 HDInsight 中各种不同的功能。因为我们的产品是建立在 Apache Hadoop 之上,所以开发人员可以利用一个有广泛且丰富的工具和功能的生态系统。

说起场景, 就我们合作过的客户而言,有两个截然不同的情形,创建,使用工具来处理大数据的工作,以及在应用程序中整合HDInsight,将工作的输入和输出整合为一个较大的应用程序架构的一部分。HDInsight 的一个关键设计是集成了 Windows Azure Blob Storage作为默认的文件系统。这意味着您可以使用现有的和工具和API’s访问 blob 存储中的数据。该文章更详细地解释了我们如何利用Blob Storage。

就创建工作这一点而言,有大量的工具可用。深层次说,它有一套作为现有Hadoop 生态系统的一部分的工具,以及一组我们建立的项目帮助.NET 开发人员开始学习Hadoop,同时我们已经开始了新的项目帮助开发人员利用 JavaScript 与 Hadoop交互。

创建工作

现有的 Hadoop 工具

HDInsight 是通过 Hortonworks Data Platform来使用 Apache Hadoop,对于Hadoop 的生态系统有很高的保真度。因此,许多功能都和原来的完全一样。这意味着你在下面列出的任何工具的投资和知识都在 HDInsight 中可用。分布式处理群集由下面的Apache 项目创建:

  • Map/Reduce
    • 在Hadoop上,Map/Reduce是分布式处理的基础。为了编写工作, 程序员可以使用Java, 或者通过Hadoop Streaming使用其他语言和运行时. 
    • 这里提供了在 HDInsight 上编写Map/Reducejobs的简易指南.
  • Hive
    • Hive使用一种类似于 SQL 的语法来表达编译一组被编译成Map/Reduce程序的查询。Hive支持SQL中的许多结构(聚合、 分组、 过滤等),并轻松地在您的群集中的各节点并行化这些查询。
    • 这里提供了使用Hive的方法
  • Pig
    • Pig是一种数据流语言,使用一种叫做Pig Latin的语言编译成一系列的Map/Reduce程序。
    • 这里提供了在HDInsight上使用Pig的入门指南
  • Oozie
    • Oozie 是一种工作流调度程序, 用来管理行动的有向无循环图,其中的行动可以是Map/Reduce, Pig, Hive或其他工作。详细信息请点击这里参阅快速入门指南.

您可以在这里找到 Hadoop 组件更新列表。下表表示为当前预览版中各组件的版本:

Apache Hadoop

1.0.3

Apache Hive

0.9.0

Apache Pig

0.9.3

Apache Sqoop

1.4.2

Apache Oozie

3.2.0

Apache HCatalog

0.4.1

Apache Templeton

0.1.4

 

此外,Hadoop 空间的其他项目, 例如Mahout(参见示例) 或Cascading, 也可以方便地用在 HDInsight之上。有关这些主题我们将在今后另外写文章介绍。

.NET工具

我们正努力开发一组工具让开发人员能利用他们的.NET技能和投资来使用 Hadoop。这些项目放在CodePlex上,你可以从NuGet上下载这个工具包创建运行在HDInsight上的工作。有关这些介绍请参阅CodePlex 站点上的快速入门。

运行工作

想要运行任意一项工作,有如下几个方法:

  • 直接从头节点运行它们。若要执行此操作,远程连接到您的群集,打开 Hadoop 命令提示符,并直接使用命令行工具
  • 在群集上使用REST API’s远程提交它们(更多详细信息请参见下一节关于如何集成HDInsight到您的应用程序中的说明)
  • 利用 HDInsight 仪表板上的工具。创建您的群集后,群集仪表板中提供了一些功能用来提交工作:
    • 创建工作
       
    • 交互式控制台
       

集成 HDInsight到您的应用程序

打开REST API’s

为了提供一个简单的接口供客户端应用程序集成,我们努力确保群集上的所有功能都通过一组安全的REST API’s暴露给客户端。

  • WebHCatalog— — 元数据管理及远程工作提交、 历史记录和管理
  • Ambari— — 运行中群集的监测
  • Oozie— — 管理和调度 Oozie 工作流

我们目前已经对这些 API 提供了.NET 客户端类库,点击这里下载,你能够自行在其他语言中轻松地使用HTTP 堆栈构建客户端。

通过 ODBC 连接

利用 ODBC 客户端 (说明请参阅这里),就可以轻松地整合现有的应用程序 (例如Excel) 访问存储在HDInsight上 Hive表中的数据。

调试/测试

为了能在Azure上不连接群集都可以工作,我们开发了HDInsight Developer Preview,你可以轻松从 Web Platform Installer上一键安装。您可以利用它通过一小组数据来实验、调试和测试前面提及的所有技术。然后您可以将项目部署到 Azure 并运行Blob Storage上的大数据。若要安装它,只需在Web Platform Installer上搜索HDInsight,或点击这里直接从 web安装。

总结

本文为您编写Hadoop jobs以及集成HDInsight到您的应用程序介绍了多种方法。HDInsight 使您能够用自己选择的用平台和工具进行开发,从Java到.NET 到JavaScript都可以,并且很容易地使用 Windows Azure部署和管理群集。

我们HDInsight 5篇博客系列的最后一篇将探讨如何用Excel分析 HDInsight中的数据。敬请关注 !

 

文章翻译自:http://blogs.msdn.com/b/windowsazure/archive/2013/03/22/developing-for-hdinsight.aspx

Comments (0)

Skip to main content