金融与高性能计算的华丽碰撞

当金融遇到计算,我们赋予它一个新名词:金融计算。早在20世纪90年代末,纽约、伦敦、日本的诸多金融机构就已经开始了金融计算相关应用,始于1993年全球超级计算机500强排行榜(Top500)中,约450台为国际一流金融机构所用,中国先后已有70多台超级计算机跻身Top 500,但至今仍无一台用于金融领域。   自2008年以来,上海超级计算中心主任的奚自立先生一直在积极呼吁以打造国际金融中心为目标的上海加紧建设金融计算共同平台,在他看来国外同行早已利用高性能计算创造出一批批金融衍生产品,并演算出未来走势变化;国内机构还停留在简单计算银行信用卡风险,或是通过随机过程分析计保费。这其间的差距恰如大学生与中学生之间的较量,在全球化势头无法阻挡之际,我们能做的只有迎头赶上,否则未来的某一天与国外金融机构真正地同台竞技,也许我们会输得倾家荡产。   高性能金融计算应用三场景 西方金融机构到底如何利用高性能计算提升其核心竞争力?我先举三个简单例子:   案例一:为金融产品高效定价 客户委托金融机构购买期权时,交易员需要快速计算出期权价格。期权价格的计算是要看所在资产(如股票或其他金融资产)的未来走势,这可能需要对上百万甚至上千万种价格走势路径都计算一边。以往,交易员们都是在笔记本电脑上用Excel计算,至少需要几分钟的时间。有了高性能计算后,所有路径可以采用并行计算,整体计算时间被缩短到了七秒钟,客户端计算机也只需16个核,交易员再也不用为需要拖住客户而绞尽脑汁为了。 案例二:更准确评估潜在风险 金融计算容易产生的一个误区是,大家都想算出能赚多少钱,这确实可以算出来,但更重要的是计算投资组合的风险值(value-at- risk),这不仅是对每个头寸重新定价,还要考虑各种参数的变化,例如金融系数、利率、汇率等因素都可能随时改变,这些变化会是一个巨大的组合,再乘上金融组合数,所需要的计算量通常需要花一整晚的时间,最后算出来的报告就是回答一个问题:这么多组合在第二天开市后,价值突然缩水到现有5%的可能性有多大? 案例三:增强快速反应能力,提升程序交易效率 当机构投资者买进大量股票时,往往会分拆成一百、几十股的买,这就要求金融机构的系统能从小小的一百股中发现,哪些来自个人,哪些来自机构,一旦发现有机构出动,就把周围能买到的股票全部买下,然后价格抬高就出货。要让系统做到如此智能,就必须通过神经元网络进行算法训练,其中的难点在于如何算出不同股票持有人之间的关联,不同公司的资产结构有时很复杂,只有大规模的计算才能核算出来。 金融计算离不开数据、模型、计算平台和人 这四大要素中,数据排第一。金融说到底就是数据。相比国内金融行业的严重信息不对称,国外的信息完全开放,所有金融衍生品都会明白告诉客户,它们是怎么计算出来的。中国要发展金融计算,首先要解决数据真源性的问题,然后才能去考虑对数据的分析。谁都知道,针对二十年数据的分析比十年的精确,针对三十年数据的分析比二十年的精确。从现在开始积累我们的真实数据,亡羊补牢,为时不晚。 模型和金融计算平台,不妨借鉴国际上最为主流的模型和技术。随着高性能计算与云计算的结合,金融服务业或可成为这一领域的主流商业应用。在美国,为各大机构提供风险分析服务的RiskMetrics,已经将其计算搬到了云计算平台Windows Azure上,启动初期就已提出6,000个核的需求,是我们之前预期的12倍;为保险业提供精算软件的Milliman,目前也已搬到了Windows Azure平台上。目前欧洲、日本的发展形势非常喜人,与美国相当。 数据、模型、金融计算平台,再加上另一个不可或缺的因素——人才,我们的金融计算就完整了。中国最缺的就是交叉学科人才,尤其在金融领域。为此,我们日前与摩根士丹利和上海超级计算中心联合举办了“微软—摩根士丹利杯”2011金融超级计算挑战赛,即国内首个金融与高性能计算的跨学科竞赛。我们希望通过此次竞赛为金融和计算机等专业的同学提供一个学以致用的平台,也希望以此引起高校、业界和政府部门对高性能金融计算的关注与重视。在为期五天的挑战赛期间,参赛队伍在上海超算中心的曙光5000A超级计算机平台上,运用Windows HPC Server 2008 R2等软件,根据万得资讯提供的金融产品的真实历史数据,对摩根士丹利提供的多种虚拟金融衍生产品进行建模定价与评估,去解决国际金融交易员、风险管理员、分析师每天面对的真实问题。 曾有一位参赛选手在挑战赛论坛上说到,“这几天起早贪黑和高强度的作业,我们理解了更多程序语言的新方法,熟悉了各种期权条款,接触到不少市场股票数据,以及解决问题的基本方法。还有更加体会到市场的无情。” 尤其这最后一句话让我颇有感触,正如《冰与火之歌》中所说的那样“Winter is coming”,惟有无情的市场才能让我们在磨练中成长。 入世十年,中国金融业在规模上取得了长足进步,单论资产规模,中国银行已经位居世界前列;而下一个“十年”,无疑将会面对更加广泛和激烈的国际竞争,中国金融机构如何实现质的飞跃?如何借助高性能计算等尖端IT技术,帮助以上海为代表的中国城市成为国际金融中心?这些悬念,或许要留待通过此次大赛成长起来的一代人,来为我们解开。 徐明强 高性能云计算部门经理

0

高性能云计算展望(下)

高性能云计算展望(上) 高性能云计算展望(中) 徐明强:好,由此我们可以看见,微软将是各位进入云计算最好的合作伙伴,是作为一个平台。为了印证这一点,就是第三句话,就是跟大家共同携手,创造美好未来。 从全球合作伙伴来说,我们有硬件厂商、网络设备厂商、存储设备厂商、应用厂商、中间件厂商,都是我们的合作伙伴。我们在中国也有很多的合作伙伴,我们举办了不少竞赛,跟学校合作。去年我们在同样的舞台上,也展示了我们和中科院孙凝晖老师开发的龙芯,怎么支持Excel商务效能应用。 下面介绍一下我们和上汽集团,上海超算,以及VanCloud(泛云科技)系统集成商三家一起做的仿真门户,三家演示一个私有云和公有云的无缝迁移。下面就有请三位代表上台介绍一下。 李根国:各位好,我是来自上海超级计算中心的李根国。感谢本次大会组织和微软提供这个机会。上海超算已经成立十年,已经为广大用户提供高性能计算服务。但是实际上,提供随需应变,安全可靠,方便操作的高性能计算,是用户的要求,也是我们一直追求的效率。特别是工业企业的用户,工程师希望平台系统跟超级计算门户作为的平台,做到无缝连接。无缝连接就是他操作一个工作,他不去关心作业交到哪里去,实际上我们后台都可以解决了。 跟微软长期合作过程中,特别是近两年,云计算契机之后,我们找到一条可以走的路。特别是跟上汽集团做这个工作的时候,他们也感觉到云计算的模式,真正达到前面所希望的效率。今天发布的主题,也是我们超算中心,希望借助云计算的模式,能够为广大的用户提供更好的高性能计算的服务。我们觉得微软是一个很好的合作伙伴。 张鲲鹏:大家好,我是来自于上海汽车集团汽车中心。我们的企业是在2009年和微软以及泛云科技,一起建立了我们自己的Windows HPC的Cluster集群。这个集群我们经过两年多的发展和完善,已经成为我们的汽车虚拟工程研发的支柱性的平台。现在每天在这个平台上运行大型的工程仿真作业超过100个。今天微软推出的架构,就是把我们企业的HPC平台,以上海超算中心为代表的公共云的平台,完整的整合在一起。我们相信,这样的模式必将会促进我们汽车工业的虚拟计算能力的提升,为中国汽车的自主研发创新,带来新的动力,谢谢! 龚炜:大家好,我是泛云科技的,我叫龚炜,今天有这个机会跟大家见面,感谢徐博士给予的好机会。我们是一家系统集成商,现在主要给上汽提供HPC的解决方案。关于这次合作,我想分享一下小故事。我大概在2005年的时候,那个时候就认识李根国博士,那个时候他就跟我说,你知道超算中心是做什么的吗?我当时说,对于软件我不太清楚。他就跟我说,未来的超算中心,就像是现在你所用的电厂、水厂,只要打开水龙头就可以使用高性能计算,当时我听完之后非常激动,这是一个行业的机会。等我的激动稍微平复之后,我听到一个新的名词叫云计算。紧接着看到一场IT产业的革命了。当时看到IT产业的革命之后,我当时第一感觉是很庆幸。 第一,2005年就经受了李博士给我的洗脑,已经知道这个信息。第二,我所在的公司,刚好叫泛云,广泛的云计算,没有比这个名字再好了,紧接着就被卷入这场浪潮。刚开始说老实话,有点被动,但是被动状况没有持续多久。因为徐明强博士点拨了我们。他说,HPC将来也是云计算的趋势。我清楚的记住一句话,高性能计算以后不再是阳春白雪,给我印象很深。徐博士团队的产品,HPC Server 2008,已经可以让所有用Windows的人,能够使用高性能计算。我们泛云科技作为系统集成商,我们的目标是让所有会上网,会用IE的人,就能使用高性能计算。我们得到徐博士的指点之后,我个人有点膨胀,认为自己也算是HPC圈子内的人士了。但是今年上半年,张博士跟我说了一句话,给我当头一棒,他说泛云科技最大的价值,不在于HPC应用集成,说泛云科技的最大价值,就是能够实现企业一直想实现,但难以实现的叫计算资源管理策略。 这个立马浇了我一盆冷水,我心里想,一句话将我踢出了HPC的圈子。但是张博士又说了一句话,他说,如果你们泛云科技能跟微软一起合作,把上海超算中心的资源,和我们企业内部资源整合起来,那才是我们需要的云计算。张博士有水平,立刻将我的失落弥补了。紧接着直接促成四家单位的合作。这是我们合作的渊源,分享给大家。也希望大家对我们的平台多提意见。最后,再次感谢三位博士对泛云的支持和建议。同时希望在座各位专家,以后给泛云科技更多的帮助和支持。谢谢!

0

高性能云计算展望(中)

高性能云计算展望(上) 云计算 – Beowulf 续集 好,刚才谈到是否缩水?要说我画的图,今天是一个零和或者负和的图片的话,我不想上来讲。但是好消息就是,云计算将会成为Beowulf 续集。大家看到的数据,是我们HPC市场部门的初步估计,他们的用户模型告诉我们,说在2017年,将会有40万个节点是专门用来负载HPC计算。很有意思的是其中超过三分之二出于企业用户,已经有高性能计算资源的用户,三分之一不到,是非企业,或者全新的用户。 那么,我们就有希望,7000万的科学家和工程师,每一个科学家、工程师都可以使用。以Beowulf为核心的时候,我们看到第一层解决的是能否购买得起机器的矛盾。第二个云计算解决的问题,虽然可以购买得起,但是管理不起,或者复杂度管理不了的矛盾。之所以,我们看到会有三分之二的企业用户,意味着私有云和公有云的无缝集成就显得特别的重要。 Windows Azure – 开放、灵活、共赢的平台 这样的转型当中,微软会扮演什么样的角色呢?现在我就要谦卑一点,我们现在所扮演的角色,就是我所站的地方,注意,不是讲台,是舞台。我们要为大家提供的是一个平台。说起平台,大家知道做一个平台最重要的秘诀是什么?加入微软才知道,最重要的秘诀很简单,就是要吃自己的狗粮。有一句口诀就是说,书到用时方恨少,然后平台到用时方嫌低,然后中间一栏,当吃狗粮。要知道平台干什么,就得把主角请上来,所以我请了三位主角上来。那么,我不妨从这三个角色的四个场景来说明我们未来为大家提供的平台,是什么样的功用。 第一,应用开发商,就用我们的PaaS平台,就可以快速启动云应用。说到这里,就必须和我们的朋友,我们的亚马逊的EC2做一个比较。我半年前跟一个应用商谈过,他们说,我们把我们的应用移植到亚马逊EC2上,我原来以为IaaS,以为是市场部的东西。现在我特别清楚了,在这上面,IaaS系统只能说给一个虚拟机,或者两三个,但拿到手上怎么办?还要自己弄成一个集群,自己还要弄做一个作业调度器把它们管理起来。他说,跟你们PaaS就不一样,我说给一个集群,就把一个集群给我,还说把应用安装上面,就把应用安装上。然后我给你一个作业,你帮我运行。那么要知道差别吗?从量化给一个例子。在一个月以前,有一个应用商只用了一个星期的时间,就将他的应用移植到Azure平台上。 那么,系统集成商,将来可以安装Windows Azure Appliance,自己就成了一个Azure的负载运营商,装我们的软件,会立刻提升竞争力。 再回到应用厂商,可以用我们的Marketplace,只要放上去,全世界各地可以帮助他做营销,最后只是take一个cut。所以,这就是另外一个商业模式,云运营商如何写支票给应用厂商。 第四个,Value Added Reseller (增值分销商), 那也是一个受冲击的行业。但他们用我们的SDK,再加上我们的Billing System (支付系统),就可以很快的搭建一个SaaS平台,为用户提供增值的服务。 其实这个框还有很多,我个人只是被我的想象力局限。 待续 作者介绍:徐明强博士 现任微软亚太研发集团服务器与开发工具事业部的部门经理,领导高性能云计算中国团队,负责并行计算运行时系统、编程模式、管理和用户门户系统的设计和开发。2008年,徐明强博士回国担任微软亚太研发集团高性能计算首席架构师。2010年10月撰写出版《微软高性能计算服务器》一书,首次全面、系统地向集群用户、管理员和开发人员深入浅出地介绍微软高性能计算服务器的使用、管理和编程的各项技术及实战技能。 徐明强博士拥有23年高性能计算领域专业经历,包括8年学术、政府实验室的研究和15年的业界经验。

0

高性能云计算展望 (上)

10月28日,2011年全国高性能计算学术年会(HPC China 2011)在山东济南举行。在这一国内规格最高的HPC盛会上,HPC云计算成为一大热点,如何利用云的资源来实现高性能计算成为IT企业、科研院所和超算中心等会议代表广泛关注的话题。微软亚太研发集团服务器与开发工具事业部高性能云计算部门经理徐明强博士在会上做了《高性能云计算展望》的主题报告,提出云计算是继X86集群之后,高性能计算产业的第二个拐点,将进一步促进高性能计算的普及应用。以下是徐明强博士演讲速记。 大家好,我叫徐明强,非常感谢中国高性能计算2011年会给我们这样宝贵的机会,向各位领导、各位老师、同学们汇报,我们微软在高性能计算方面的工作。今天的汇报就是三句话。第一句话,微软在HPC领域坚持不懈。第二句话,我们相信高性能计算的未来是在云里。第三句话,我们愿意与大家共同携手,共创云计算的未来。 三句话讲完了。那么,我就该回到第一句话,首先讲到承诺呢,我告诉大家,只有一张幻灯片,为什么承诺只有一张幻灯片呢?我妻子给我上了非常重要的一课,她说,承诺你要记住八个字,那就是“简单明了,少说多做”。所以今天我就用一张幻灯片说明我们的承诺。首先,我相信在座同意对高性能计算的承诺,第一是对应用性能的承诺。张云泉老师经常说,Linpack是非常重要,但不能忽视应用性能。所以我们和诸多的应用厂商合作,经由他们测试的结果,Windows跟Linux性能是相匹敌的。除了对应用性能的承诺以外,还要对应用需要高性能I/O应用有一定的承诺。那么Windows 8基于InfinBand,我们实现了SMB这样一个RVMA,初期测试的结果非常令人欣喜,将来有机会向大家详细汇报,今天就不细讲了。 除了对传统HPC应用要支持,更重要的还是要对新兴的HPC应用,比如说Big Data处理的应用也要支持,很高兴的向大家宣布,我们马上就要发布一个叫LinQ to HPC这样一个工具。如果在座有.NET的程序员,就知道,LinQ是.NET当中应用非常广阔的数据。PlinQ就是用在多核上的LinQ工具。而LinQ to HPC,会将它扩展到集群上。所以基本上大多数程序只要将一行程序改动,就可以将多核当中的程序,变成集群上的应用。 第二句话,就是要看一看,到云当中我们的转型将会是什么样子。给大家看一个照片,来自于这张照片,我们都会同意我们所看见的是一个怪物,这样的东西能飞到云里,或者能飞到云里,还有哪些部件是必须的。很多人说,轮子可能需要用,但是不需要四个,可能只需要三个。也有人说这样的轮子没有办法落地。 还有人说,你这样赌云计算会落地吗?下面给大家讲三方面。 首先,要了解HPC产业如何转型,我们必须了解HPC产业的过去,现在和将来。过去有很多说法,虽然我原来是技术出身,架构师出身,但是现在更愿意从商业和市场方面进行探讨。大家所看见的这个图片,都不陌生。Cluster刚出来的时候,我记得很多人就说玩具而已!但是往往在IT领域,玩具枪最后就变成真枪了。你看在张云泉博士的报告当中,有多少个Beowulf Cluster? 我们就不仔细数了,但是就是Cluster的出现,使得原来的高性能计算冲破了国家实验室的封锁,冲破了先进国家的边界,到了大型企业里,到了世界各地。那么从人数上来说,所有7000万科学家和工程师当中,有1500万人能使用高性能计算机。但是在座的孙凝晖老师和我有一个共同的理想,那就是让每一个科学家和每一个工程师都可以访问高性能计算机资源。但是我们从这个图看出来,好像Beowulf Cluster的普及遇到了阻力,很多人把阻力归结为投行的错,金融风暴的错,所以我要告诫大家,千万不要当替罪羊,因为全世界的罪都要归在你头上。那么,我觉得还是要从我们产业本身内部找到原因。 云激发的HPC产业结构转型 下面要给大家看到的行业内部的结构,刚才一位院士讲到了国外在应用方面投入超过了硬件,正如这个图表示出来,在2010年,为什么用2010年的过时数据?是有原因的。因为我们现在看的产业结构,我们在一眨眼就会产生变化。那么在2010年的时候,应用是占用最多的,588亿美元的高性能计算总共的市场份额当中,占了近1/3,187亿美金。服务器硬件毫无疑问,处于第二,116亿。服务,78亿。以前所说的操作系统到底占多少呢?操作系统其实是占管理工具软件以及操作系统34亿当中的不到10%,只有2亿。所以我要告诉大家,操作系统是否会免费,不会影响最终用户在HPC上的投入。 讲完这些,大家会说,这个产业将怎样变革,这个变化将是翻天覆地的。借用一个在座爱美的女孩子所了解的一个说法,就是瘦身手术,是什么意思?瘦身手术,开刀之后,现有获得的财富或者价值,就会转移到新的Player,就叫做公有云运营商,一共要开多少刀呢?我粗略估计,不多,就五刀。 这五刀的第一刀就是开在服务器硬件这里。因为进入了云,许多的运营商采购服务器都是数以万计,所以这样就不是一个一个的买,而是一个机柜一个机柜这样去做的。所以规模效应必定让最终用户在硬件方面产生大量的节省。 第二,硬件的维护上,因为如果用户只用云的资源,他将不用再直接花费在维护上,运营商再次显示出规模效应,因为是标准的硬件,所以在维护上也会大打折扣,最终才会实现在用户开销节省上。 第三刀,砍在服务上,服务包括哪些?今天高性能计算的集群实施还是非常复杂的。不少的企业客户非要叫系统集成商帮助他们实施。如果他们只用云里的资源,那么这一部分的价值又再次转到了运营商那里去。 第四刀,开到微软自己身上,操作系统这边。就是说,以后用户也不会单独购买操作系统,如果使用云计算的话,操作系统的部分价值转移到运营商里。 最后一刀,很多人没有想到的一刀,没有地方再切了,就是切在应用上。应用怎么切?云计算运营商怎么会把应用的价值拿过去呢,并不是那么显然易见的。但是有做ISV的就会晓得,光看开销架构,发现一大部分是做在营销方面。如果在国外的话,中国必定要找代理商,这方面的开销非常大。将来云计算,昨天中计报首席记者和我聊,他觉得云计算将来会像黑洞的效应,他非常有洞见。将来云计算成为主要的资源提供商,必定会成为一个主要的应用渠道。因为在渠道方面,就像今天一个用上了Windows Marketplace,就可以免费得到全世界26个国家的免费广告,他们都意识到,将来应用的主要渠道就在云的Marketplace里面。 讲了这么多,虚线的箭头不代表简单的财富转移。公有云向用户收取的费用金额只是它为用户创造巨大节省当中的一小部分。所以,整个市场缩水了吗?其实并不如此。再谈到是否缩水之前,给大家看一下,转型之后会对产业链上各个角色带来的挑战和机遇。 第一,系统集成商,就可以变成云运营商,在英国我遇到两个系统集成商,他们说我们已经看清这个趋势了,必须要转移到云上,必须成为一个Hoster运营商,而为设计和渲染服务。 再往下,应用代理商,也是受影响的行业,他们可以在云上变成高附加值的SaaS Player,其实很多的ISV并不愿意想成为SaaS,因为他们并不是非常了解他们的最终用户,而只有应用代理商,做过培训的非常了解应用场景。 再往下,中间件市场要整合。我指的中间件,比如说作为调度器,最近IBM购买了Platform Computing。前一阵甲骨文购买了Sun。剩下的就不是很多了,也不会增多,因为这个市场将被整合。 最后,ODM,也将会加入OEM的队伍,为云计算运营商提供硬件。 待续 作者介绍:徐明强博士 现任微软亚太研发集团服务器与开发工具事业部的部门经理,领导高性能云计算中国团队,负责并行计算运行时系统、编程模式、管理和用户门户系统的设计和开发。2008年,徐明强博士回国担任微软亚太研发集团高性能计算首席架构师。2010年10月撰写出版《微软高性能计算服务器》一书,首次全面、系统地向集群用户、管理员和开发人员深入浅出地介绍微软高性能计算服务器的使用、管理和编程的各项技术及实战技能。徐明强博士拥有23年高性能计算领域专业经历,包括8年学术、政府实验室的研究和15年的业界经验。

0

视频采访剪辑:微软研发团队的私有云应用之道 (二)

3. 物理服务器增加而维护人员并未增加   原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302330   谭茂:背后的话,这1,500台服务器,加上上边的几千个虚拟机,维护人员是什么样的变化? 刘擎:维护人员我们其实没有人数的变化,最早的时候,其实是三位在上海,北京这边业务还没开始,事实上从09年开始在北京增加了新的团队,我们增加了1位工程师在北京。那么人数的增加,从服务器相当于增长了2.5倍,人数没有增加。   谭茂:像这1,500台服务器,按照业界标准它大概需要多少人管理? 刘擎:这个各个地方都不太一样,我举个美国的微软内部的一个指标。我们其实还没有达到微软内部的指标,微软内部的指标是数据中心是1,000台服务器配备一位工程师。这是微软数据中心的标准。   4. 传统物理服务器如何无缝迁移   原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302331   谭茂:还想回到技术这一块来聊,其实我们也想了解,包括现在很多客户他们也想去建私有云,但他们比较为难的一点,就说他们做传统的物理的服务器怎么去无缝的迁移到私有云上,这块你们有没有一些经验? 刘擎:这块其实我们和传统的工业碰到相同的问题,在我们做迁移的时候,我们第一步想解决的问题,就是你刚才提到的问题,就是我们怎么把现有应用往虚拟化去迁。在微软的System Center产品里面,就设置了一个P2V功能,就是指从是为了把一些早期的服务和应用,从物理机迁移到虚拟机时,通过这个功能话,基本上在10到20分钟左右,就可以把一个运行在硬件层面上的Windows、Linux以及应用,转到虚拟机当中。可以保留所有的设置,可以保留所有的团队关系,所有的应用的设置,包括存储、数据库。 其实当初我们还用了一个方法,就是说在我们把物理机的资源迁到虚拟机以后,我们把物理机重新安装,就是我们把它叫做Reprepare,重新放回到资源库来,让它变成虚拟化可用的资源。原来它干一件事情,现在它干三件事情。这样的话,我们就可以最大化。   谭茂:还有一点,其实我们知道在云里边是用了微软相当多的微软的一些技术,一些产品在里面,其实过去的数据中心都会有些管理工具,一些程序,将来这种,特别是基于平台的这种服务器,管理可能是个大的麻烦。微软在管理中,因为微软自己也有本身的产品。这块? 刘擎:这个其实也是我们全体工程师,就说一步步走过来说碰到的最多问题。我们最开始在看,我们各家厂商的意见,有惠普、戴尔、联想、浪潮的服务器,每家有自己的管理工具,像惠普有Insight manager和Dell 的OpenManage,同时我们还要管理实验室的交换机和存储。这时候就像你刚刚提到的,我们怎么去管理这么多的系统,我们看了挺多的开源管理工具和商用管理工具。最后我们看下来,还是使用微软的System Center最方便。 我们可以和思科的设备,我们可以和戴尔的OpenManage,可以和惠普的Ingisht Manager,可以和联想的管理工具,可以全部整合在一起,我们通过一个平台看到思科的交换机里面的CPU的负载是什么情况,可以看到戴尔服务器的功耗,风扇的速度、CPU内存,可以在一个平台可以看到所有的信息。并且每个设备的健康状态,都会通过email实时地反馈,我们可以在第一时间主动的去做相应的行动。   谭茂:像这种管理,它是通过跟思科标准,开发的人员自己是根据这个接口去做的? 刘擎:这个没有,因为所有的厂商都遵循共同标准,比方说思科是遵循SNMP网络管理标准,戴尔有自己专门设计的符合微软COM标准的套件。那你把这些套件,这是一个自由下载的软件包,实际上是描述它的硬件。它们都是免费下载的。通过这些,就可以监控这些服务器,一直到硬件这个层面。包括比方说内存的插槽出现了错误,硬盘可能马上要损坏,第几个硬盘,第几个内存,都可以把这些进行实时报告。     5. 微软虚拟化的安全和性能 原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302332   谭茂:其实虚拟化,可能大家现在不容易接受,他们仍然对他们的一些安全是有质疑的,在虚拟化的安全? 刘擎:的确很多用户除了在安全化虚拟上有很多的疑问,我们包括实际测试,还有微软内部,其实微软的虚拟化它的产品目标,因为我们设计每个产品都有产品的目标,比如这个产品要解决什么样的问题。所以我们会从我们产品设计的目标和我们实现的目标,我们可以看到基本上在98%的转化效率以上,这样的话,基本可以说做到了1:1这样一个转化效率,你可以理解成一个虚拟机它的性能和实体机是完全一致的,在CPU转换上。内存就肯定原来就是那么多,而在磁盘效率上它是根据运行虚拟机,你只要达到I/O的最大值,就是安全的。刚才你提到安全这一块,实际上这个和业界的虚拟化上,实际上有些标准,你怎么去做虚拟机的分块。   谭茂:98%的转化效率,是基于Windows平台之上? 刘擎:实际上所有的东西,它CPU转换效率,下面在执行的时候,不管是Windows还是Linux。它实际作为一个假的CPU,所以虚拟化有一个假的CPU,你的那个虚拟机是在这个假的CPU上。转换效率是把那个虚拟机pass掉。   谭茂:现在整个系统,你们也在做一些调优,优化? 刘擎:我们日常工作中,第一个是不停的往里加新的机器,因为我们有很多项目会进来,同时我们会把一些资源做淘汰。实际上我们日常的管理工作就是在这个平台上维护。 还有一块,就是我们在这个平台的自服务门户上加新的东西,我们在做比方说我一级的管理,我这个管理在上海,但我们现在已经有一些美国的,北京的一些数据中心的服务器加到上海这边来。这样的话,我就可以一个平台上管理微软本身。因为我们这个项目的要求,异地同时工作,但至少他需要两个人工作在同一个平台上,我们就需要把它整合到一起。   谭茂:另外还有一个我们比较关心的是在这种战略当中,因为基于虚拟化的自动化,管理服务化,这是虚拟化最核心的工作。其实这块的话,您也谈到一点,微软也做了很多工作在自动化管理这一块,具体谈一下。 刘擎:虚拟化实际上在真正的对生产力提供影响,让虚拟化技术,让这个云技术变得像电、水这样更方便的使用,你肯定得需要一些配套设施,比如你必须有大楼的强弱电布线,然后才能够送到用户。实际上虚拟化技术把计算能力也是以这种形式出现的,首先你看我们工程师需要什么,他需要几个虚拟机,我们怎么能更快地通过服务门库这样一个简单的方式,然后选择。在我们的库里面提前准备好几千个虚拟机的模板,用户需要的话,就是根据他的选择,就像点菜一样,是要一个中式的,西式的,湘菜还是粤菜,他测试中需要选择什么,我们把这些都准备好,这就是料。他可以直接去选择,需要通过我们自动化的机制,那么他选择他的那个菜,直接就可以变成他要用的东西。 所以我们会为用户去选拔,虚拟化技术,自动化整合在一起,为内部客户们服务。   谭茂:目前你们通过什么来实现的? 刘擎:通过VMM的SDK,它会有一个基于Power shell的自动化脚本。我们首先会理解用户需求,他可能会需要三个机器,我们把这个共同需求抽象出来,因为我们和很多团队谈,他们有一些共同的需求,把这些共同需求抽象出来,我们作为一个服务包,然后这下面是通过VMM的自动化脚本,可以把很多东西都自动化。这样的话,用户用起来就不需要重复自动化的工作,这也解决了我之前所提到的一个问题,就是团队和团队之间会重复。我们现在把这个重复全部抽象起来,变成一个层次的东西,我们把它叫Virtualization Infrastructure…

0

视频采访剪辑:微软研发团队的私有云应用之道 (一)

    不久前,我们中国团队的研发工程实验室经理刘擎先生接受了CSDN云计算频道负责人谭茂先生的视频采访,在CSDN的帮助下,我们选取了11个视频片段和相关的文字速记与大家在此分享。   1. 微软私有云环境介绍 原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302328 谭茂:各位网友大家好,今天我非常高兴请到了微软亚太研发集团,服务器与开发工具事业部研发工程实验室的经理刘擎先生,他主要负责STB 中国团队内部私有云。我们知道业界其实大家对于云计算这块也是关注了很久,那么微软的云计算也是大家,包括很多客户所关心的一些东西。 首先想请刘先生,您能简单介绍一下,您在上海的一些主要工作。 刘擎:大家好,我在上海,在2007年加入STB中国团队。负责服务器与工具开发事业部在上海的研发工程实验室管理。主要负责向微软的开发、测试和产品经营的团队提供实验室服务。其中包括Test和Build,就是产品构建,还有产品的性能,产品设计。 我们在上海实验室主要的工作包括管理一个1,500多台服务器的实验室,同时在上面我们从2007年开始去构建微软一个私有云。那么这个私有云会基于微软的平台,就是System Center的产品,其中包括有微软虚拟化服务管理系统,然后有服务器管理,还有管理客户端,包括微软的数据库管理,这四块帮助我们管理整个微软在上海1,500多台服务器。 下面我们会用到微软的Opalis,这是一个微软的IT流程自动化的管理工具。 谭茂:您刚才也是介绍了对微软整个实验室的介绍,我们还想了解一下更细节一点的,它现在有没有一个比较明确的一些数字? 刘擎:在我们上海的话,我们会把上海实验室其中有1,500台服务器中,有400台是性能比较不错的服务器,构建了一个私有云,这个会有412台物理机器,同时运行5,000多台虚拟机,这样一个能力,400台到5,000台。其中这5,000台基本总有3,000多台是处于激活的状态。在整个管理平台上,我们把团队的资源就是按照分组的方式,大概有超过13到15个产品组,我们会把他们分配到不同的组里面,每个用户会在自己的组里面分配他的虚拟机资源。       2. 微软私有云的创新 原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302329 谭茂:和传统的数据中心相比的话,你觉得微软目前的私有云最大的一个区别或者说有创意的地方在哪? 刘擎:对我们来说,最大的一个优势在于微软平台和Windows兼容性非常好,我们用了Hyper-V,它实际上是基于微软的虚拟化平台的一个管理工具,它对我们的第一个优势就是说它兼容性好。其次就是说它可以很方便地把我们对数据中心,对服务器的管理,变成了一个对资源的管理。我觉得这是一个很大的云对我们的优势。因为讲云的话,最能够体现出云的优势就是自服务,资源化,这两块就是说能够通过这个软件,完全是看到了物理器这一块,对用户来说,他是看到了资源,而不是一台一台服务器。 在我们的内部设置的一个用户的自主网站,他可以很清楚看到,他有多少CPU,有多少虚拟机,有多少内存可用。对于他计划他能用的预算,他就可以有一个很好的安排,我现在资源可能是40%,明年他就不要升级。如果说他90%,他明年就要升级。 同时对我来说,团队之间的调度。其实在云里面,刚才我讲了资源池。 还有一块就是资源利用率的最大化,原先的话,每个团队把自己的资源放在一个实验室里面,相互之间没有一个很好的共享平台,在有了这个虚拟化管理,他可以很容易地去共享团队资源。就类似这个项目A,他有自己忙的时候,繁忙阶段。在另外一个团队繁忙,他没有更多的机器的时候,他除了购买新的机器的时候。现在有个选择,可以从别的团队调一部分资源过来,因为所有的机器都是虚拟化的话,他不会相互干扰。 第二个,他可以很容易地把他的虚拟机迁移到他的服务器上做负载,这样的话,就变成完全像用电一样,在以前我小时候有电的调度,我父母单位里面会有调电这种说法,就说周三他必须要休息,因为他工业用电调给民用电去使用。现在我们在一个微软团队内部,就可以实现这种调度,很容易把物理机的资源从这个团队调到另外一个团队,就是要鼠标移动一下就行了。 谭茂:这个硬件利用现在有一个没有新的? 刘擎:我们从2007、2008、2009年就慢慢在做,首先我们机器的利用率是一步一步在往上提高。当初我们在看的时候,可能和业界的标准比较像,从12%到14%-15%的利用率。现在的话,我们基本上把这翻了八倍,到今年我们2011年5月份,数字已经到八倍。可以看到每台机器可以跑八倍。这是一个平均值。 谭茂:我们注意到业界,国内目前来说还没有特别成熟的私有云案例,很多也是处于这种创新跟市场研发,从您的技术角度来讲的话,您觉得这种研发到应用,就是生产率这一块目前主要的瓶颈是在哪方面会比较多? 刘擎:其实我是这样看这个问题的。那么当我接受这份工作,我在看我们团队,实际上我就在一个研究问题,微软研发团队它的工作的瓶颈在什么地方,什么问题需要去解决的。其实从去年接手工作,花半年时间在调研内部的流程,资源,内部的工程师的工作习惯,内部工程师在使用这个系统的时候,会有哪些地方是好的,哪些地方是不好的。我们在设计这个虚拟云的时候,目标就是解决最优先的三个问题。实际上我觉得比较理想一个方案去解决一些业界问题,就是说你先理解你现在的企业,你现在碰到什么样的问题,哪些是需要最先解决的问题。 我们当初其实谈到了,一个是说团队之间的资源的共享。然后团队与团队之间有很多的重复劳动,因为微软软件开发它不同的项目实际上是有挺多的情况,他会做相同的工作。举一个简单的例子,他们在做测试的时候,是要先把Windows部署到一个环境中,然后构建一个网络环境,跑没有发布的产品。实际上建立这个Windows环境,构建一个网络环境,其实不同的团队都要做相同的事情,所以原先的做法,就说每个团队有自己一套自动化、脚本,团队A写了一遍,团队B写了一遍,团队C也写了一遍。这是一个问题。 第二个问题,我们看到在我们问题表里边,就是说工程师对于部署完所花的时间非常有意见,因为你部署完这个东西,比如Windows装完至少要20分钟,再安装所有的最新的补丁至少要40分钟,这样的话,整套完成时间至少要一个小时。如果说物理机在做这个测试的时候,你如果做一个AD,通过服务器,没有两个半小时是完不成的。一天八个小时,你准备一套花两个半小时,就是你一天最多只能做四套。现在我们虚拟化技术可以并行去做,我们可以看到每一个虚拟器,从开始部署到结束只需要20分钟左右时间。你从两个半小时缩减到30分钟,那这样的话,他至少可以做八倍的事情。这是一个提升。这就是我们去评估我们私有云怎么去提高生产利用率这块。而且可以并行的。 谭茂:这在过去也是不可想象,从生产效率而言,应该是大大提高。 刘擎:对。

0

SQL Server Migration Assistant简介

SQL Server Migration Assistant(简称SSMA)是由微软发布的帮助客户更容易地从Oracle/Sybase/MySQL/Access迁移到SQL Server以及SQL Azure的一个工具集,几周前我们刚刚发布了SSMA 5.0版本,该版本支持了最新的代号为Denali的SQL Server的CTP版本,并且增加了对SQL Azure迁移的支持。   SQL Server中国团队近期连续发布了两篇博客,简要介绍了 使用SSMA for Oracle 5.0做Oracle数据库迁移之前的评估, 如何做Schema迁移和数据迁移。 如您有相关问题,请直接在SQL Server中国研发团队的博客上留言,谢谢!  

0

博客摘要:StreamInsight手札

StreamInsight是SQL Server 2008 R2的新模块。它是一个基于.NET的平台,用于复杂事件处理(CEP,Complex Event Processing),即对于来自多数据源的无限事件序列提供近乎零延时的连续处理。StreamInsight是一个临时查询处理引擎,它可以支持应用程序对时间窗口内的事件进行查询处理。它对流数据的处理范围包括简单聚合、多数据源事件相关性、事件模式检测、甚至建立复杂事件序列和分析模型。StreamInsight的程序模型可以让用户通过LINQ定义这些查询,同时支持将查询结果无缝整合到C#的代码中。 最近,SQL Server 中国研发团队连续发表了一系列有关StreamInsight的博文,在此邀请感兴趣的朋友围观。如有问题,请直接在他们MSDN博客或SQL Server中文论坛上留言和提问,谢谢。 StreamInsight手札(一)——初识 http://blogs.msdn.com/b/sqlcrd/archive/2011/03/18/streaminsight-notes-1.aspx StreamInsight手札(二)——构建HelloInsight程序 http://blogs.msdn.com/b/sqlcrd/archive/2011/03/29/streaminsight-notes-2.aspx StreamInsight手札(三)——使用IObservable接口创建StreamInsight程序 http://blogs.msdn.com/b/sqlcrd/archive/2011/04/12/streaminsight-notes-3.aspx StreamInsight手札(四)——使用IEnumerable接口创建StreamInsight程序 http://blogs.msdn.com/b/sqlcrd/archive/2011/04/12/streaminsight-notes-4.aspx StreamInsight手札(五)——使用EventFlowDebugger调试事件流 http://blogs.msdn.com/b/sqlcrd/archive/2011/04/15/streaminsight-notes-5.aspx

1

第8章 用户体验:上海汽车工业集团(下)

刚参加完中国高性能计算2010年会 (HPC China 2010),HPC的几位工程师们忙着相互校审徐博士的《微软高性能计算服务器》的英文翻译,准备在几周后的SuperComputing10上发表。某日下午,突然传来一声”惨叫“,原来有人发现有几段文字漏了翻译,尤其这些段落读来极具有“娱乐性”,又鲜活地展现了高性能计算在目前工业界应用的现实挑战,因此在这里与各位读者分享。 8.4 SimCloud: 基于Windows HPC Server 的门户环境 上汽使用了泛云公司提供的高性能计算门户系统——SimCloud。 8.4.1 平台架构 SimCloud仿真云计算平台是将CAE/CFD等仿真应用、高性能计算集群管理、SOA(Service-Oriented Architecture,面向服务架构)等IT技术高度融合的企业级高性能计算中心软件系统方案。 我们可以从多个角度分享、剖析这个全新的云计算平台。 平台的整体网络架构如图8-1所示。 图8‑1 高性能计算平台网络架构 平台架构的中心是仿真云管理门户,它负责联通客户端与HPC集群,实现活动目录(AD) 用户管理、邮件服务、仿真流程/数据管理、仿真数据存储等功能的表现层服务。仿真云管理门户的左侧主要是HPC集群及相关附属设备,右侧主要是各种类型的仿真应用(图中仅为示例,可拓展至所有仿真应用客户端)。 8.4.2 功能架构 SimCloud平台的功能架构可以分为资源层、服务层、业务层与表现层,具体如图8‑2所示。 图8‑2 SimCloud系统栈 资源层主要负责整合硬件资源、网络资源与软件资源,Windows HPC架构下的SimCloud平台主要利用Windows HPC Server操作系统进行这一整合工作,通过.NET服务将仿真软件封装成Web Service接口。 服务层封装了Windows HPC Server R2,Email Server,FTP Server,AD Server等服务器角色功能,为整个平台提供丰富的服务接口与扩展功能接口。 业务层囊括了用户管理、作业管理、数据管理、邮件通知、调度策略管理、系统资源管理、日志管理、统计报表等业务功能,并为PLM等工作流系统提供业务流程扩展接口。 表现层通过SimCloud仿真云管理门户,以Web Portal的方式统一整合了任务提交、资源监控、管理作业、文件传输、License管理、使用统计、用户管理、决策分析等一系列应用功能。 8.4.3 仿真工程师”常用场景: SimCloud仿真云计算平台具有操作便捷、功能丰富的特点,其应用流程也紧密贴合企业内部不同角色的使用人员,在功能完备的基础上力求逻辑简洁。 图 8‑3 仿真工程师常用场景 如图 8‑3所示,一般仿真用户可以使用企业域用户帐号登录SimCloud仿真云管理门户,通过简单操作之后即可将仿真任务提交到高性能计算集群头节点,头节点遵循既定任务调度策略,根据当前硬件资源利用情况以及仿真软件License使用情况,提交任务至计算队列并进行自动的任务分配,计算完成后,计算节点整合仿真数据,通过邮件通知仿真用户,用户即可从SimCloud门户获取仿真结果文件。 8.5 应用集成案例 SimCloud仿真云计算平台可以集成多种仿真应用软件,包括计算结构力学、计算流体力学、计算声学、多体动力学、计算电磁学等多种学科常用商业软件,并且提供开放的接口方便集成各类软件应用。架构于Windows HPC Server 2008…

0

第8章 用户体验:上海汽车工业集团(上)

刚参加完中国高性能计算2010年会 (HPC China 2010),HPC的几位工程师们忙着相互校审徐博士的《微软高性能计算服务器》的英文翻译,准备在几周后的SuperComputing10上发表。某日下午,突然传来一声”惨叫“,原来有人发现有几段文字漏了翻译,尤其这些段落读来极具有“娱乐性”,又鲜活地展现了高性能计算在目前工业界应用的现实挑战,因此在这里与各位读者分享。 中国是个制造业的大国。但在制造业中高性能计算普及度并不高。原因如同郎咸平教授所说,中国制造业企业大部分从事来料加工,处在制造业下游利润最低处。没有自主产品的设计,就无法获取丰厚的利润,也无法使企业的可持续增长有任何保障。本章我们走近我国一个具有自主设计能力的制造业公司——上海汽车公司。在上汽,高性能计算在产品设计中起到了举足轻重的作用。 过去,基于Linux系统的集群给IT部门和工程师带来诸多管理和使用的障碍,使高性能计算技术在上汽各部门难以推广。从2009年开始,上汽IT部门成功地部署了Windows HPC Server集群及应用,成功地将高性能计算资源提供给多部门、上百个设计工程师,大大地提高工程师的设计的效率,同事降低了IT部门的管理开销。 我们在本章介绍上汽的商务需求,过往使用Linux系统遇到的挑战和Windows HPC Server 解决方案带来的优势。 在以前的章节里,读者了解到Windows HPC Server 如何能够简化上汽系统和作业调度的配置、定制和管理。在本章,我们着重介绍简化提高工程师运行应用、监控结果的另外一个常用的解决方案 —— 仿真门户系统。 本章的8.3~8.6节内容是摘录泛云公司的《仿真云计算平台SimCloud解决方案—Windows HPC 架构》白皮书,8.3~8.6节的内容属泛云公司的知识产权。笔者得到泛云公司对8.3~8.6节内容的书面许可,特此鸣谢! 本章要点 上海汽车工业集团简介和商务需求 计算机辅助仿真(CAE)在高性能计算环境的应用现状和挑战 泛云SimCloud:基于Windows HPC Server 的门户环境 8.1 上海汽车工业集团简介和商务需求 作为中国三大汽车制造商之一,上海汽车工业公司(简称上汽)主要致力于生产、销售、研发客车、商务车及其部件。在2008年,上汽销售超过182.6万辆车、营业额超248.8亿美金居全国榜首,在全球五百强企业中居第359位。上汽也在自主设计、生成和销售自己的品牌的小轿车,包括荣威750、550,MG 3-SW,MG 7和MG TF的品牌在中国成功推出,增强了上汽的品牌形象。上汽高性能计算中心是为了支撑自主品牌的小轿车的设计和安全分析。 上汽开始主要为其他汽车厂商,如大众和通用。 自2004年其, 上汽开始自主设计和生产自己品牌的汽车。一开始他们使用的是租用的设计和测试设备。到了2006年,上汽开始创建自己的设计中心。 2007年,上汽购买一个基于RedHat Linux操作系统高性能计算集群并使用此集群运行汽车设计模拟仿真应用。上汽在此集群上运行多种商业计算机辅助设计应用,包括FLUENT, STAR-CD, STAR-CCM, LS-DYNA, MSC.Nastran 和 ABAQUS。 对于熟悉Windows工作站的工程师和管理人员来说, 管理、定制和使用一个基于Linux的集群是有很大的挑战的。 工程师被迫使用Linux的命令行界面与集群交互。这种体验既不友好又费时,极大地限制了IT部门向其他部门推广计算资源的能力。许多工程师情愿继续使用安装在Windows工作站上的应用。 8.2 基于Windows HPC Server解决方案和优势 2009年夏, 上汽决定采纳基于惠普刀片机和Windows HPC…

0