开个新的博客 http://blogs.technet.com/b/linmo/

微软的live writer用来写博客还是非常方便,特别是有图片的时候。原来博客在MSDN上面,配置了好久,就是配不通live writer,只好把自己的博客从MSDN上转到technet上来了。新的博客地址是http://blogs.technet.com/b/linmo/, 现在的博客 http://blogs.msdn.com/b/linmo/ 就不用了

5

Data Explorer for Excel 开始进入预览阶段

Data Explorer 是微软为大数据和商业智能新发布的数据探索工具,进一步丰富了微软商业智能自服务家族的成员。Data Explorer 极大地简化了数据发现的过程,使用户能够使用Excel轻松访问不同种的数据源,并对数据进行合并,提炼。Data Explorer也提供智能搜索数据集的功能,例如,如果用户想构建一个中小企业的客户细分模型而搜索客户的数据集的时候,Data Explorer就可以自动推荐邓白氏信用信息与相关的数据集(注:邓白氏集团是国际上历史最悠久的企业资信调查类的信用管理公司)  下面列举了Data Explorer的一些主要功能: 支持更为广泛的数据来源,比如Hadoop, 活动目录,OData,Facebook,Wikipedia, 网站和Windows Azure Marketplace 它能够合并在同一个文件目录中多个具有相同结构的文件中的数据 支持不同类型的身份验证和身份凭据的存储 提供简单直接分步的功能来帮助你转化、 聚合和筛选数据,直到你满意为止 在线智能搜索数据集 如果你想了解更多,可以参考Data Explorer的视频介绍https://youtu.be/WMMMNkPBPhI, 也可以直接下载安装基于Excel的预览版http://office.microsoft.com/en-us/excel/download-data-explorer-for-excel-FX104018616.aspx, 一睹为快。

0

Azure Media Service今天正式发布!

在几个月的试用期后,微软终于宣布Windows Azure Media Service正式GA(general availability)。这个对于流媒体的用户来说是一个令人兴奋的消息。使用Media Service,你可以很容易地搭建一个内部视频培训应用,甚至是一个像Youtune一样的专业视频平台也不是什么难事。:-) 心动了么? 下面给大家介绍一下MediaService的几大亮点。 视频上传 Media Service支持多种的上传方式,比如REST APIs或者 .NET,Java SDKs。对于大容量的视频上传,你可以使用UDP Bulk Ingest .NET Library或者一个使用UDP(User Datagram Protocol)技术的第三方解决方案进行快速上传,例如Aspera (已和Windows Azure Media Service集成) 编码支持 Windows Azure 媒体服务为媒体编码成各种不同的文件格式提供内置支持。这意味着你不需要购买或配置自定义媒体编码软件,相反你可以简单地通过Rest API(或使用.NET 或 Java SDK)去自动启动编码任务。所有Windows Azure支持的编码格式你都可以在这里查到 视频保护 视频保护指的是加密实时流媒体,或对内容运输、 存储和传递进行加密保护,以保护你的视频不被非授权的拷贝。目前支持的 DRM 技术是微软PlayReady Protection和 MPEG 常用加密。微软将继续提供其他的 DRM 加密技术。 多终端支持 传统上,如果你有多个不同的客户端 (iOS,XBox,PC等等),已编码的内容需要打包和存储多个有针对性的版本。这种传统打包过程需要消耗三倍的存储要求,并显著的增加处理的成本和延迟。Azure的Media Service则采用动态的包装,用户只需要存储单个文件格式,在不同客户端需要的时候的时候进行实时的包装和转换,这样就能节约大量的存储成本上与时间。Windows Azure 媒体服务为主流设备和平台提供各种的客户端播放器 SDK,因此非常容易和你的产品和服务无缝地对接。 另外,Azure Media Service还支持视屏植入广告,修改字幕,点播流和现场直播等等。经典的案例是伦敦奥运会的17天网络和手机的现场直播,一共35个频道对网络和iOS, Windows Phone 7,…

0

PolyBase – 整合SQL Server和Hadoop的利器

我们一直强调,大数据和传统的关系数据库并不对立,未来公司的的业务将会是大数据和关系型数据库的整合。微软的PolyBase打响了SQL Server和Hadoop整合的第一枪。 在2012年度的SQL Server(PASS)峰会(SQL Server专业人士的技术会议)上,微软公布了代码名为”PolyBase”的新功能。微软鲜明地阐述了未来大数据和传统的关系数据库的紧密联系。微软或许不是第一个试图整合关系型数据库和Hadoop的公司,但毫无疑问将会是最具冲击力的一个。 PolyBase 将于 2013 年上半年中发布,作为SQL 服务器 PDW 的下一个版本的一部分。PDW是SQL Server数据仓库的一体机。Polybase 允许使用SQL (结构化查询语言)直接查询存储在Hadoop的数据,甚至可以和本地的关系型的表进行join的操作(如下图所示)     PolyBase的吸引力在于它的两个特点 在第一阶段PolyBase支持使用SQL语言对HDFS进行查询, 第二阶段Polybase将引进基于成本的优化器。优化器基于性能分析,可以决定是否利用MapReduce进行查询或者直接使用SQL对HDFS进行查询. 请注意当前类SQL的Hadoop应用象Hive,Pig或着Sqoop都是依赖于MapReduce的分布式计算引擎来抽取数据。直接访问HDFS被认为具有更好的性能和效率。当然这只是总体而言,某些查询用MapReduce可能效率更高些,例如如果源数据的量太大的时候,不用MapReduce来抽取这些数据会导致读取端较大的负担。所以PolyBase必须有较好的优化器来决定最优的查询计划,这是PolyBase第二阶段主要工作 虽然PolyBase目前首先只在SQL Server PDW出现,但它极有可能也集成到下一个版本的 SQL Server里面. 整合SQL Server和Hadoop将给一些BI应用带来难以想象的广阔前景。试想一下你的报表和分析服务将会是一个数据源独立的应用,可以随心所欲地从Hadoop或者关系数据库里面抽取数据并搭建商业智能应用。商业智能的领域将会变得更广更实用。虽然微软没有正式承诺PolyBase除了PDW也会出现在下个版本的SQL Server里面,但我想不出微软不这么做的理由。在未来的企业里面,大数据将会和关系数据库整合在一起,成为企业数据系统的一部分。PolyBase已经迈出了第一步。

1

如何实现虚机实例动态伸缩

云计算的一个主要的好处就是你能为应用程序增加或减少的所需的虚机实例。虚机在云计算中是相对比较昂贵的资源,减少不必要的虚机消耗能够在Windows Azure中节约可观的费用 在许多常用的场景中,大多数用户使用应用程序的时间在上午9点和下午5之间,如果你有2~3台虚机提供负载均衡的服务,在晚上5点到第二天上午9点之间,可能只要一台虚机就能满足需求,这样每天就能省下16个小时的虚机成本。在Windows Azure中,使用一些简单的 PowerShell 脚本和任务计划程序作业,您可以轻松地依据日程安排的需求实现虚机资源的动态伸缩。 下面演示如何实现这一做法: 首先假设我有两个虚机”Shvm01”和” Shvm02”组成一个负载均衡的服务,现在我们要根据日程安排移除和恢复其中的一个虚机” Shvm02”。为了确保服务名和虚机名的正确,在编辑PowerShell 脚本之前,你可以在powershell里面运行”get-Azurevm”查看一下你当前的VM信息, 下面命令返回ServiceName = “shvm01”, 和虚机名”shvm02”。如果你已经知道服务名和虚机名,可以略过步骤1和2   2. 在能够运行”get-Azurevm”的命令之前,你还需要运行Set-AzureSubscription [SUBSCRIPTION NAME] -CurrentStorageAccount [STORAGE ACCOUNT]来指定你的Windows Azure订阅名。注意推荐使用”administrator”的权限来启动PowerShell 3. 现在创建两个PowerShell的脚本分别实现恢复虚机和移除虚机的功能 3.1 remove.ps1脚本,用来移除虚机,并把虚机配置存在本机的一个目录里面 #remove.ps1 Import-Module ‘C:\Program Files (x86)\Microsoft SDKs\Windows Azure\PowerShell\Azure\Azure.psd1’        # 用你的Windows Azure订阅名和创建虚机的Storage Account来取代[SUBSCRIPTION NAME]和[STORAGE ACCOUNT] Set-AzureSubscription [SUBSCRIPTION NAME] -CurrentStorageAccount [STORAGE ACCOUNT] Select-AzureSubscription [SUBSCRIPTION NAME]  $svcName = ‘shvm01’  # 输出虚机’shvm02′…

0

Hekaton – SQL Server 新一代的内存管理技术

在2012年度的SQL Server(PASS)峰会(SQL Server专业人士的技术会议)上,微软发布了代码名为”Hekaton”的新功能,一个完全针对事务处理(TP)的内存数据管理系统。Hekaton 的技术主要适合于那些对事务处理要求极其苛刻的应用,比如金融服务公司、在线游戏等等。对于 Hekaton 最令人印象深刻的是它不是一个单独的数据管理产品或者一个需要新的编程模型来实现 TP 能力突破性提高的系统, 它仍是 SQL 服务器 ! 目前为止,大部分基于内存中的数据管理系统都是围绕列存储技术为核心的分析负载。SQL Server 在2012的版本里面也已经发布了基于同样技术的xVelocity 分析引擎和 xVelocity列存储索引。而Hekaton则是一项基于行的技术,完全集中在事务处理 (TP) 的工作负载。而且更令人兴奋的时这两种技术并不相互排斥。Hekaton 和 SQL Server 现有 xVelocity 列存储索引与 xVelocity 分析引擎的结合将产生极佳的组合效果 现有应用程序完全可从这一数据库新技术中受益,首先通过微软提供的分析工具确定最常用/负荷最重的表和存储过程,然后配置服务器将这些表迁移到系统主内存里(如下). 而操作这些表的存储过程可以直接编译成本地代码从而加快执行速度(如下) 我们的客户测试显示在同一硬件下性能有5 ~ 50倍的提高。 实际的性能提高还取决于多种因素,比如你迁移了多少张表到Hekaton等等 Hekaton现在已经进入预览阶段,已经有一些客户在试运行这个技术。如果你对试运行感兴趣的话,你也可以联系微软

1

关于混合云

混合云,也就是私有云和公有云的混合使用,将会是企业在今后一段时间内比较推崇的云计算解决方案。原因非常简单 就算公有云有更好的安全,可靠性和更低的成本,企业也无法在短时间内把所有的应用都迁移到公有云上。原有的IT投入需要保护,以及本地应用存在的合理性,还有企业对敏感数据的顾虑等等 企业都希望能专注于业务而不是IT。IT只是一种手段,应该交给更专业的公司来做。不断地扩张和投资本地IT不是企业的有效目标。公有云提供了低沉本和可扩展的平台,接管了企业在IT基础架构的管理投入,是企业一个更好的选择。 单有私有云和公有云在当前都不是最佳的方案,所以混合云的提议也就顺应了需求。企业用私有云整合内部IT资源,并制定相应的迁移和使用公有云的策略。比如,在私有云里实现利用存储、数据库和服务处理,同时,在无须购买额外硬件的情况下,在需求高峰期充分利用共有云来完成额外的存储和计算需求。另外,可以考虑把公有云作为灾难恢复的备案么?私有云可以把共有云作为灾难转移的平台,并在需要的时候去使用它,这是一个极具成本效应的想法。 Windows Azure的虚拟网络功能是混合云方案基础。基本的理念是你可以在Windows Azure上创建一个虚拟网络并部署相应的虚机和服务。虚拟网络和本地网络的连接通过VPN来打通的,Windows Azure的虚拟网络便成为本地网络的扩展。这样对最终用户来说,他其实不知道提供服务的是本地的服务器还是在Windows Azure上面的。下图是Costoso在Windows Azure混合云的部署范例:   关于如何在本地网和Windows Azure的虚拟网中建立VPN连接,你可以下载演示文件DEMO-DeployingHybrid.exe(下载地址https://github.com/WindowsAzure-TrainingKit/DEMO-DeployingHybrid,点击” Demo.md”,  然后点击”Click here to download the link through executable”进行下载)。这是个如何使用Cisco ASA 5505来配置Windows Azure上VPN连接的演示 所以,如果混合云符合你未来的需求,当你开始规划你私有云和公有云平台的时候,有几点需要考虑的 1.私有云和公有云的平台最好是同一供应商,这样产品间的兼容性和问题较少。像微软的System Center能够集成管理和监测私有云和公有云,虚机也能够在本地和Windows Azure中平滑迁移。 2.  你选择的云平台能够使你的应用和服务在私有云和公有云之间的无缝迁移,这个能够极大地提高企业部署应用的灵活性和降低迁移的成本。随着未来应用越来越复杂,维护成本的提高,复杂的迁移将是混合云方案最大的障碍。

0

介绍Azure虚机的两个比较有用的配置功能

Windows Azure虚机提供的两个配置功能我觉得还不错,一个是为虚机增加磁盘,另外一个是虚机的捕捉功能。第一个可以让用户随心所欲地为虚机上传磁盘或添加硬盘空间, 第二个功能可以让用户创建自己的image库。Windows Azure还支持上传和下载虚机VHD文件由此实现虚机在本地和云中的迁移。下面主要介绍一下第一种和第二种的具体做法: 为虚机增加磁盘:增加磁盘有两种方式, 第一种是”Attach Disk”, 这个是把已经做好和上传的VHD加到虚机里面来。具体的做法我在前面的一篇如何迁移本地SQL Server数据库到Windows Azure的SQL Server (二)里面已经介绍过了,我这边就不再重复。另一个是”Attach Empty Disk”,这个是为虚机增加空的磁盘,和”Attach Disk”的做法差不多,也比较简单。 在Windows Azure的管理portal里面,点击虚机,在屏幕下面找到”Attach”, 点击“Attach empty disk”       接着配置所需的磁盘空间,下面我们选择10GB. 确定后开始创建新的VHD,结束后会看到一个新的Data disk加入这个虚机 下面点击Connect连到这个虚机里面,打开磁盘管理器就会被提示到要初始化新的磁盘,初始化后创建一个新的卷,格式化分配一个磁盘符就可以了   2. 虚机的捕捉功能: 在虚机能够被捕捉之前,必须用sysprep处理过虚机,sysprep主要删除Windows系统中特定的数据,其中包括计算机安全标识符 (SID)等等。需要注意的是sysprep处理过以后,临时盘(D:)和我们刚刚新加的卷(F:)会被清除,所以我们不能把数据存在里面,如果这个时候新加的卷上面有数据,而且以后依旧想用,可以先做detach处理,这个卷会以磁盘的方式保存在Windows Azure的storage里面。记住它的文件名,以后我们随时可以用”Attach Disk”加回来。  下面是具体的步骤: a. 连接到虚机里面,打开一个命令行窗口,转到%windir%\system32\sysprep路径下,运行sysprep.exe. b. 在System Preparation Tool的窗口里面选择” Enter System Out-of-Box Experience (OOBE)”, 并钩上Generalize, 对于shutdown的选项,选择”Shutdown” c. 现在等虚机停住后,就可以点击”Capture”进行捕捉的操作 d. 给新的image取一个名字叫”TestIMG01”,请注意一旦捕捉的操作完成,原来的虚机”SQLIMG01”将被删除。 e. 捕捉成功后,你就可以在你的虚机库里面找到它了。现在你要在Windows Azure创建虚机的时候,就可以直接使用”My Images”里面的TestIMG01,也就是我们刚刚创建的image了

1

Windows Azure的"大计算"功能

在2012超级计算的大会上,微软为Windows Azure推出了一套的”大计算”功能用于支持大计算应用程序。大计算的例子包括建模复杂的工程问题、理解金融风险、 研究疾病、 模拟天气,或分析大型数据集. 由于云计算提供更大的灵活性和经济性,大计算如今正越来越多地转向云,Windows Azure的”大计算”就是应此而生的。 Windows Azure 上的”大计算”提供了更好的基础架构,包括更快的处理器、 更多的内存和低延迟高带宽网络。这个平台非常适合于高性能计算(HPC) 应用程序,以及其他需要快速CPU,大内存配置或高速网络连接的应用程序。 入门级的配置提供8核的CPU和60GB的内存,另一款配置是16核的CPU和120 GB的内存。 两种配置都包含了以下的硬件系统: •Intel Sandybridge 2.6 GHz处理器 •DDR3 1600 MHz 内存 •5 x 1 TB 硬盘 •Two network connections 10 GigE 存储和internet的网络连接 RDMA + InfiniBand (IB) 40 Gbps 节点之间的连接 Windows Azure 的 InfiniBand 网络支持计算节点之间的远程直接内存访问 (RDMA),这目前是Windows Azure在云计算首先使用的技术。这个技术使得应用程序对多台计算节点上内存访问无差别化,多台计算节点的内存对应用程序来说就像是同一台一样。RDMA 网络在性能方面提供了极佳的弹性和成本效益。对于RDMA ,微软的测试显示跨机发送一个4字节的包只有2.1微秒的延迟,而网络带宽更是超过每秒3500 mb。 为了展示 Windows Azure 上的 高性能计算能力,微软进行了LINPACK的基准测试,获得了151.3teraflops…

0

如何申请试用Hadoop on Windows Azure服务

在几天前的Strata Conference-Hadoop World大会上,微软正式宣布了对大数据的全面支持,原来的项目Isotope改名为HDInsight。安装在windows server和System Center的大数据平台叫Microsoft HDInsight Server. 安装在Windows Azure上的叫Microsoft HDInsight Service。从现在开始,你可以下载 HDInsight Server并且安装在本地Windows Server来尝试微软的大数据解决方案。如果你觉得安装配置HDInsight Server太麻烦,可以直接申请试用Windows Azure的HDInsight Service。使用HDInsight Service的好处是,你可以简单地点击几下鼠标,几分钟内就可以轻松地配置好整个Hadoop的环境,不方便的地方是目前HDInsight Service虽然是免费试用,但是使用5天后hadoop的节点虚机会被重置,必须要重新配置。 下面是如何申请试用Windows Azure上的HDInsight Service 1. 首先登录https://www.hadooponazure.com/, 点击invitation 2. 你的IE页面会被转到https://connect.microsoft.com/SQLServer/Survey/Survey.aspx?SurveyID=13697,要求填一个调查。一般来说个人用户很难获得批准,最好你是公司业务并有上大数据的计划。带红星的都是必填项。比较重要的是第14项,你必须能用英文描述你想用大数据解决的商业问题和场景。 3. 递交了调查后,一般等3到5个工作日。如果你被批准了以后,将会通过邮件收到一个邀请码。回到https://www.hadooponazure.com/的网站,点击Sign In, 用你注册用的liveid来登录 4. liveid登录后,输入你收到的邀请码,然后把”I accept the Terms of Use”点上,然后点击Enroll. 5. 注册通过后, 你现在就可以创建Hadoop Cluster了。你可以分配到3个节点,1.5TB的存储。点击”Request Cluster”开始创建Hadoop Cluster 6. 大概3~5分钟后,Hadoop cluster就可以创建好了,点击”Go to Cluster” 就可以进入你的hadoop的管理界面了。请注意5天以后,你的Hadoop cluster就会被释放掉,必须重新创建 7. 现在,欢迎进入微软的Hadoop世界,你现在可以通过Remote Desktop远程连到Hadoop的节点,也可以通过Interactive Console使用JavaScription…

0