“高性能计算 —— 中国金融服务业创新发展的助推剂“六大盘点

11月25日的“微软—摩根士丹利杯”2011金融超级计算挑战赛颁奖典礼上,大赛主办方代表——微软亚太研发集团高性能云计算部门经理徐明强博士、摩根士丹利管理服务(上海)有限公司董事总经理赵长飞女士、上海超级计算机中心主任奚自立先生,以及大赛数据提供方万得信息技术股份有限公司的高级副总裁周立先生,就“高性能计算——中国金融服务业创新发展的助推剂”议题与三支获得比赛大奖的团队、媒体代表进行了深入交流,并碰撞出诸多火化。 1、在发达国家,8%-9%的高性能计算机用于金融领域,中国至今没有一台用于金融计算。 奚自立:始于1993年的全球高性能计算排行榜 (Top 500)中有16%用于科研,其次就是金融计算,约占8%-9%。截至今年11月,中国已拥有74台,但没有一台用于金融领域。 徐明强:11年前我被推入金融高性能计算的洪流,当时西方金融机构就开始以月、甚至以星期为产品开发周期,中国金融机构与他们有着相当的差距。 2、高性能计算已是投行的核心竞争力。 赵长飞:金融行业非常适合利用高性能计算,金融机构的核心竞争力体现在运用高性能计算使整个业务系统跑得更快且计算更精准,金融机构只需要考虑业务所需要的逻辑,后台的大量计算可以交由高性能计算平台完成。 3、高性能计算、云计算对金融服务业将大有可为。 奚自立:金融计算模型相当复杂,数据收集越多,计算结果越精确。金融计算的复杂性、数据的海量性和使用的广泛性决定云计算是其最佳模式。事实上彭博社、路透社数据终端就是云计算方式。 徐明强: 三周前与一家伦敦投行交流,每天下午闭市后两小时内他们要完成当天投资风险分析,以便在下一时区的市场开市前完成投资对冲策略。但其自有的计算资源已无法满足这样需求,有时程序运行一段时间后甚至发现市场数据错误,需要重新计算,而结合高性能计算与云计算,只需即时买入几千个核就可以快速完成这一任务,同时省下了IT采购和日常维护的巨额投入。 4、一旦中国金融市场崛起,就会是本土金融机构的机会。 周立:中国金融机构在上世纪80年代末90年代初由各个子公司独立建设各自的信息管理系统和数据库;过去十年,各家机构解决最基础的问题即统一客户数据。随着复杂金融产品的出现,我们开始寻求科学的量化方法控制风险,因而正逐渐向关注、管理公司的资产组合状况转变,这就需要模型和高性能计算。 过去五年中,中国金融信息服务业的平均增长速度是30%到40%。我们的机会在于中国市场还是需要中文表述,随着人民币国际化,全球投资者需要投资人民币债券,给中国公司提供了很好的机会,但前提是中国的金融市场变得足够大以及开放。 5、金融计算人才稀缺,在校大学生缺少实战机会。 奚自立:国内金融计算的模型及其研制人才极度缺乏,研究气氛也十分薄弱。国内不少高校都希望在金融工程领域有所建树,但总觉得心有余而力不足。中国GDP发展太快,人们的心态普遍浮躁,学术界对金融计算未来学科的兴趣不大,造成这个领域的人才稀缺。 赵长飞:国内高性能计算还很少涉及金融领域,这次大赛让同学们对金融计算有更深入的了解。同时,中国在努力建设国际金融中心,对金融人才会有越来越多的需求,这次大赛是个开始,希望未来能够与上海超级计算中心以及微软一起为中国金融人才培养尽一份力。 徐明强:这次挑战赛就像华尔街的一个缩影,尽管只是自学了两、三个星期,同学们已能用高性能计算和计算模型,根据真实的金融产品历史数据,在最短时间内最高效率地把金融风险控制到最低。 6、金融计算人才培养重在计算机基础知识的系统积累,高性能计算让专业人士专注于业务创新。 赵长飞:我的部门负责摩根士丹利业务系统的开发,包括交易系统、定价系统、风险管理系统,因此我们的招聘对象一直是计算机相关专业。金融知识学习相对容易,但计算机基础需要时间积累和系统培训。 徐明强: 刚结束的2011年全球超级计算大会 (SC11)上,一位南安普顿大学的教授告诉我,过去两年工作日志显示,他花了一年半搞计算机科学(computer science),而不是真正科学研究(real science)。因为他用的是Linux,大半时间都在解决计算机问题,而非课题研究。微软将坚持不懈让全球7,000万科学家、工程师都可以使用上高性能计算加速其创新进程,现在仅有1,500万人,所以革命尚未成功,同志仍需努力。

1

金融与高性能计算的华丽碰撞

当金融遇到计算,我们赋予它一个新名词:金融计算。早在20世纪90年代末,纽约、伦敦、日本的诸多金融机构就已经开始了金融计算相关应用,始于1993年全球超级计算机500强排行榜(Top500)中,约450台为国际一流金融机构所用,中国先后已有70多台超级计算机跻身Top 500,但至今仍无一台用于金融领域。   自2008年以来,上海超级计算中心主任的奚自立先生一直在积极呼吁以打造国际金融中心为目标的上海加紧建设金融计算共同平台,在他看来国外同行早已利用高性能计算创造出一批批金融衍生产品,并演算出未来走势变化;国内机构还停留在简单计算银行信用卡风险,或是通过随机过程分析计保费。这其间的差距恰如大学生与中学生之间的较量,在全球化势头无法阻挡之际,我们能做的只有迎头赶上,否则未来的某一天与国外金融机构真正地同台竞技,也许我们会输得倾家荡产。   高性能金融计算应用三场景 西方金融机构到底如何利用高性能计算提升其核心竞争力?我先举三个简单例子:   案例一:为金融产品高效定价 客户委托金融机构购买期权时,交易员需要快速计算出期权价格。期权价格的计算是要看所在资产(如股票或其他金融资产)的未来走势,这可能需要对上百万甚至上千万种价格走势路径都计算一边。以往,交易员们都是在笔记本电脑上用Excel计算,至少需要几分钟的时间。有了高性能计算后,所有路径可以采用并行计算,整体计算时间被缩短到了七秒钟,客户端计算机也只需16个核,交易员再也不用为需要拖住客户而绞尽脑汁为了。 案例二:更准确评估潜在风险 金融计算容易产生的一个误区是,大家都想算出能赚多少钱,这确实可以算出来,但更重要的是计算投资组合的风险值(value-at- risk),这不仅是对每个头寸重新定价,还要考虑各种参数的变化,例如金融系数、利率、汇率等因素都可能随时改变,这些变化会是一个巨大的组合,再乘上金融组合数,所需要的计算量通常需要花一整晚的时间,最后算出来的报告就是回答一个问题:这么多组合在第二天开市后,价值突然缩水到现有5%的可能性有多大? 案例三:增强快速反应能力,提升程序交易效率 当机构投资者买进大量股票时,往往会分拆成一百、几十股的买,这就要求金融机构的系统能从小小的一百股中发现,哪些来自个人,哪些来自机构,一旦发现有机构出动,就把周围能买到的股票全部买下,然后价格抬高就出货。要让系统做到如此智能,就必须通过神经元网络进行算法训练,其中的难点在于如何算出不同股票持有人之间的关联,不同公司的资产结构有时很复杂,只有大规模的计算才能核算出来。 金融计算离不开数据、模型、计算平台和人 这四大要素中,数据排第一。金融说到底就是数据。相比国内金融行业的严重信息不对称,国外的信息完全开放,所有金融衍生品都会明白告诉客户,它们是怎么计算出来的。中国要发展金融计算,首先要解决数据真源性的问题,然后才能去考虑对数据的分析。谁都知道,针对二十年数据的分析比十年的精确,针对三十年数据的分析比二十年的精确。从现在开始积累我们的真实数据,亡羊补牢,为时不晚。 模型和金融计算平台,不妨借鉴国际上最为主流的模型和技术。随着高性能计算与云计算的结合,金融服务业或可成为这一领域的主流商业应用。在美国,为各大机构提供风险分析服务的RiskMetrics,已经将其计算搬到了云计算平台Windows Azure上,启动初期就已提出6,000个核的需求,是我们之前预期的12倍;为保险业提供精算软件的Milliman,目前也已搬到了Windows Azure平台上。目前欧洲、日本的发展形势非常喜人,与美国相当。 数据、模型、金融计算平台,再加上另一个不可或缺的因素——人才,我们的金融计算就完整了。中国最缺的就是交叉学科人才,尤其在金融领域。为此,我们日前与摩根士丹利和上海超级计算中心联合举办了“微软—摩根士丹利杯”2011金融超级计算挑战赛,即国内首个金融与高性能计算的跨学科竞赛。我们希望通过此次竞赛为金融和计算机等专业的同学提供一个学以致用的平台,也希望以此引起高校、业界和政府部门对高性能金融计算的关注与重视。在为期五天的挑战赛期间,参赛队伍在上海超算中心的曙光5000A超级计算机平台上,运用Windows HPC Server 2008 R2等软件,根据万得资讯提供的金融产品的真实历史数据,对摩根士丹利提供的多种虚拟金融衍生产品进行建模定价与评估,去解决国际金融交易员、风险管理员、分析师每天面对的真实问题。 曾有一位参赛选手在挑战赛论坛上说到,“这几天起早贪黑和高强度的作业,我们理解了更多程序语言的新方法,熟悉了各种期权条款,接触到不少市场股票数据,以及解决问题的基本方法。还有更加体会到市场的无情。” 尤其这最后一句话让我颇有感触,正如《冰与火之歌》中所说的那样“Winter is coming”,惟有无情的市场才能让我们在磨练中成长。 入世十年,中国金融业在规模上取得了长足进步,单论资产规模,中国银行已经位居世界前列;而下一个“十年”,无疑将会面对更加广泛和激烈的国际竞争,中国金融机构如何实现质的飞跃?如何借助高性能计算等尖端IT技术,帮助以上海为代表的中国城市成为国际金融中心?这些悬念,或许要留待通过此次大赛成长起来的一代人,来为我们解开。 徐明强 高性能云计算部门经理

0

高性能云计算展望(下)

高性能云计算展望(上) 高性能云计算展望(中) 徐明强:好,由此我们可以看见,微软将是各位进入云计算最好的合作伙伴,是作为一个平台。为了印证这一点,就是第三句话,就是跟大家共同携手,创造美好未来。 从全球合作伙伴来说,我们有硬件厂商、网络设备厂商、存储设备厂商、应用厂商、中间件厂商,都是我们的合作伙伴。我们在中国也有很多的合作伙伴,我们举办了不少竞赛,跟学校合作。去年我们在同样的舞台上,也展示了我们和中科院孙凝晖老师开发的龙芯,怎么支持Excel商务效能应用。 下面介绍一下我们和上汽集团,上海超算,以及VanCloud(泛云科技)系统集成商三家一起做的仿真门户,三家演示一个私有云和公有云的无缝迁移。下面就有请三位代表上台介绍一下。 李根国:各位好,我是来自上海超级计算中心的李根国。感谢本次大会组织和微软提供这个机会。上海超算已经成立十年,已经为广大用户提供高性能计算服务。但是实际上,提供随需应变,安全可靠,方便操作的高性能计算,是用户的要求,也是我们一直追求的效率。特别是工业企业的用户,工程师希望平台系统跟超级计算门户作为的平台,做到无缝连接。无缝连接就是他操作一个工作,他不去关心作业交到哪里去,实际上我们后台都可以解决了。 跟微软长期合作过程中,特别是近两年,云计算契机之后,我们找到一条可以走的路。特别是跟上汽集团做这个工作的时候,他们也感觉到云计算的模式,真正达到前面所希望的效率。今天发布的主题,也是我们超算中心,希望借助云计算的模式,能够为广大的用户提供更好的高性能计算的服务。我们觉得微软是一个很好的合作伙伴。 张鲲鹏:大家好,我是来自于上海汽车集团汽车中心。我们的企业是在2009年和微软以及泛云科技,一起建立了我们自己的Windows HPC的Cluster集群。这个集群我们经过两年多的发展和完善,已经成为我们的汽车虚拟工程研发的支柱性的平台。现在每天在这个平台上运行大型的工程仿真作业超过100个。今天微软推出的架构,就是把我们企业的HPC平台,以上海超算中心为代表的公共云的平台,完整的整合在一起。我们相信,这样的模式必将会促进我们汽车工业的虚拟计算能力的提升,为中国汽车的自主研发创新,带来新的动力,谢谢! 龚炜:大家好,我是泛云科技的,我叫龚炜,今天有这个机会跟大家见面,感谢徐博士给予的好机会。我们是一家系统集成商,现在主要给上汽提供HPC的解决方案。关于这次合作,我想分享一下小故事。我大概在2005年的时候,那个时候就认识李根国博士,那个时候他就跟我说,你知道超算中心是做什么的吗?我当时说,对于软件我不太清楚。他就跟我说,未来的超算中心,就像是现在你所用的电厂、水厂,只要打开水龙头就可以使用高性能计算,当时我听完之后非常激动,这是一个行业的机会。等我的激动稍微平复之后,我听到一个新的名词叫云计算。紧接着看到一场IT产业的革命了。当时看到IT产业的革命之后,我当时第一感觉是很庆幸。 第一,2005年就经受了李博士给我的洗脑,已经知道这个信息。第二,我所在的公司,刚好叫泛云,广泛的云计算,没有比这个名字再好了,紧接着就被卷入这场浪潮。刚开始说老实话,有点被动,但是被动状况没有持续多久。因为徐明强博士点拨了我们。他说,HPC将来也是云计算的趋势。我清楚的记住一句话,高性能计算以后不再是阳春白雪,给我印象很深。徐博士团队的产品,HPC Server 2008,已经可以让所有用Windows的人,能够使用高性能计算。我们泛云科技作为系统集成商,我们的目标是让所有会上网,会用IE的人,就能使用高性能计算。我们得到徐博士的指点之后,我个人有点膨胀,认为自己也算是HPC圈子内的人士了。但是今年上半年,张博士跟我说了一句话,给我当头一棒,他说泛云科技最大的价值,不在于HPC应用集成,说泛云科技的最大价值,就是能够实现企业一直想实现,但难以实现的叫计算资源管理策略。 这个立马浇了我一盆冷水,我心里想,一句话将我踢出了HPC的圈子。但是张博士又说了一句话,他说,如果你们泛云科技能跟微软一起合作,把上海超算中心的资源,和我们企业内部资源整合起来,那才是我们需要的云计算。张博士有水平,立刻将我的失落弥补了。紧接着直接促成四家单位的合作。这是我们合作的渊源,分享给大家。也希望大家对我们的平台多提意见。最后,再次感谢三位博士对泛云的支持和建议。同时希望在座各位专家,以后给泛云科技更多的帮助和支持。谢谢!

0

高性能云计算展望(中)

高性能云计算展望(上) 云计算 – Beowulf 续集 好,刚才谈到是否缩水?要说我画的图,今天是一个零和或者负和的图片的话,我不想上来讲。但是好消息就是,云计算将会成为Beowulf 续集。大家看到的数据,是我们HPC市场部门的初步估计,他们的用户模型告诉我们,说在2017年,将会有40万个节点是专门用来负载HPC计算。很有意思的是其中超过三分之二出于企业用户,已经有高性能计算资源的用户,三分之一不到,是非企业,或者全新的用户。 那么,我们就有希望,7000万的科学家和工程师,每一个科学家、工程师都可以使用。以Beowulf为核心的时候,我们看到第一层解决的是能否购买得起机器的矛盾。第二个云计算解决的问题,虽然可以购买得起,但是管理不起,或者复杂度管理不了的矛盾。之所以,我们看到会有三分之二的企业用户,意味着私有云和公有云的无缝集成就显得特别的重要。 Windows Azure – 开放、灵活、共赢的平台 这样的转型当中,微软会扮演什么样的角色呢?现在我就要谦卑一点,我们现在所扮演的角色,就是我所站的地方,注意,不是讲台,是舞台。我们要为大家提供的是一个平台。说起平台,大家知道做一个平台最重要的秘诀是什么?加入微软才知道,最重要的秘诀很简单,就是要吃自己的狗粮。有一句口诀就是说,书到用时方恨少,然后平台到用时方嫌低,然后中间一栏,当吃狗粮。要知道平台干什么,就得把主角请上来,所以我请了三位主角上来。那么,我不妨从这三个角色的四个场景来说明我们未来为大家提供的平台,是什么样的功用。 第一,应用开发商,就用我们的PaaS平台,就可以快速启动云应用。说到这里,就必须和我们的朋友,我们的亚马逊的EC2做一个比较。我半年前跟一个应用商谈过,他们说,我们把我们的应用移植到亚马逊EC2上,我原来以为IaaS,以为是市场部的东西。现在我特别清楚了,在这上面,IaaS系统只能说给一个虚拟机,或者两三个,但拿到手上怎么办?还要自己弄成一个集群,自己还要弄做一个作业调度器把它们管理起来。他说,跟你们PaaS就不一样,我说给一个集群,就把一个集群给我,还说把应用安装上面,就把应用安装上。然后我给你一个作业,你帮我运行。那么要知道差别吗?从量化给一个例子。在一个月以前,有一个应用商只用了一个星期的时间,就将他的应用移植到Azure平台上。 那么,系统集成商,将来可以安装Windows Azure Appliance,自己就成了一个Azure的负载运营商,装我们的软件,会立刻提升竞争力。 再回到应用厂商,可以用我们的Marketplace,只要放上去,全世界各地可以帮助他做营销,最后只是take一个cut。所以,这就是另外一个商业模式,云运营商如何写支票给应用厂商。 第四个,Value Added Reseller (增值分销商), 那也是一个受冲击的行业。但他们用我们的SDK,再加上我们的Billing System (支付系统),就可以很快的搭建一个SaaS平台,为用户提供增值的服务。 其实这个框还有很多,我个人只是被我的想象力局限。 待续 作者介绍:徐明强博士 现任微软亚太研发集团服务器与开发工具事业部的部门经理,领导高性能云计算中国团队,负责并行计算运行时系统、编程模式、管理和用户门户系统的设计和开发。2008年,徐明强博士回国担任微软亚太研发集团高性能计算首席架构师。2010年10月撰写出版《微软高性能计算服务器》一书,首次全面、系统地向集群用户、管理员和开发人员深入浅出地介绍微软高性能计算服务器的使用、管理和编程的各项技术及实战技能。 徐明强博士拥有23年高性能计算领域专业经历,包括8年学术、政府实验室的研究和15年的业界经验。

0

高性能云计算展望 (上)

10月28日,2011年全国高性能计算学术年会(HPC China 2011)在山东济南举行。在这一国内规格最高的HPC盛会上,HPC云计算成为一大热点,如何利用云的资源来实现高性能计算成为IT企业、科研院所和超算中心等会议代表广泛关注的话题。微软亚太研发集团服务器与开发工具事业部高性能云计算部门经理徐明强博士在会上做了《高性能云计算展望》的主题报告,提出云计算是继X86集群之后,高性能计算产业的第二个拐点,将进一步促进高性能计算的普及应用。以下是徐明强博士演讲速记。 大家好,我叫徐明强,非常感谢中国高性能计算2011年会给我们这样宝贵的机会,向各位领导、各位老师、同学们汇报,我们微软在高性能计算方面的工作。今天的汇报就是三句话。第一句话,微软在HPC领域坚持不懈。第二句话,我们相信高性能计算的未来是在云里。第三句话,我们愿意与大家共同携手,共创云计算的未来。 三句话讲完了。那么,我就该回到第一句话,首先讲到承诺呢,我告诉大家,只有一张幻灯片,为什么承诺只有一张幻灯片呢?我妻子给我上了非常重要的一课,她说,承诺你要记住八个字,那就是“简单明了,少说多做”。所以今天我就用一张幻灯片说明我们的承诺。首先,我相信在座同意对高性能计算的承诺,第一是对应用性能的承诺。张云泉老师经常说,Linpack是非常重要,但不能忽视应用性能。所以我们和诸多的应用厂商合作,经由他们测试的结果,Windows跟Linux性能是相匹敌的。除了对应用性能的承诺以外,还要对应用需要高性能I/O应用有一定的承诺。那么Windows 8基于InfinBand,我们实现了SMB这样一个RVMA,初期测试的结果非常令人欣喜,将来有机会向大家详细汇报,今天就不细讲了。 除了对传统HPC应用要支持,更重要的还是要对新兴的HPC应用,比如说Big Data处理的应用也要支持,很高兴的向大家宣布,我们马上就要发布一个叫LinQ to HPC这样一个工具。如果在座有.NET的程序员,就知道,LinQ是.NET当中应用非常广阔的数据。PlinQ就是用在多核上的LinQ工具。而LinQ to HPC,会将它扩展到集群上。所以基本上大多数程序只要将一行程序改动,就可以将多核当中的程序,变成集群上的应用。 第二句话,就是要看一看,到云当中我们的转型将会是什么样子。给大家看一个照片,来自于这张照片,我们都会同意我们所看见的是一个怪物,这样的东西能飞到云里,或者能飞到云里,还有哪些部件是必须的。很多人说,轮子可能需要用,但是不需要四个,可能只需要三个。也有人说这样的轮子没有办法落地。 还有人说,你这样赌云计算会落地吗?下面给大家讲三方面。 首先,要了解HPC产业如何转型,我们必须了解HPC产业的过去,现在和将来。过去有很多说法,虽然我原来是技术出身,架构师出身,但是现在更愿意从商业和市场方面进行探讨。大家所看见的这个图片,都不陌生。Cluster刚出来的时候,我记得很多人就说玩具而已!但是往往在IT领域,玩具枪最后就变成真枪了。你看在张云泉博士的报告当中,有多少个Beowulf Cluster? 我们就不仔细数了,但是就是Cluster的出现,使得原来的高性能计算冲破了国家实验室的封锁,冲破了先进国家的边界,到了大型企业里,到了世界各地。那么从人数上来说,所有7000万科学家和工程师当中,有1500万人能使用高性能计算机。但是在座的孙凝晖老师和我有一个共同的理想,那就是让每一个科学家和每一个工程师都可以访问高性能计算机资源。但是我们从这个图看出来,好像Beowulf Cluster的普及遇到了阻力,很多人把阻力归结为投行的错,金融风暴的错,所以我要告诫大家,千万不要当替罪羊,因为全世界的罪都要归在你头上。那么,我觉得还是要从我们产业本身内部找到原因。 云激发的HPC产业结构转型 下面要给大家看到的行业内部的结构,刚才一位院士讲到了国外在应用方面投入超过了硬件,正如这个图表示出来,在2010年,为什么用2010年的过时数据?是有原因的。因为我们现在看的产业结构,我们在一眨眼就会产生变化。那么在2010年的时候,应用是占用最多的,588亿美元的高性能计算总共的市场份额当中,占了近1/3,187亿美金。服务器硬件毫无疑问,处于第二,116亿。服务,78亿。以前所说的操作系统到底占多少呢?操作系统其实是占管理工具软件以及操作系统34亿当中的不到10%,只有2亿。所以我要告诉大家,操作系统是否会免费,不会影响最终用户在HPC上的投入。 讲完这些,大家会说,这个产业将怎样变革,这个变化将是翻天覆地的。借用一个在座爱美的女孩子所了解的一个说法,就是瘦身手术,是什么意思?瘦身手术,开刀之后,现有获得的财富或者价值,就会转移到新的Player,就叫做公有云运营商,一共要开多少刀呢?我粗略估计,不多,就五刀。 这五刀的第一刀就是开在服务器硬件这里。因为进入了云,许多的运营商采购服务器都是数以万计,所以这样就不是一个一个的买,而是一个机柜一个机柜这样去做的。所以规模效应必定让最终用户在硬件方面产生大量的节省。 第二,硬件的维护上,因为如果用户只用云的资源,他将不用再直接花费在维护上,运营商再次显示出规模效应,因为是标准的硬件,所以在维护上也会大打折扣,最终才会实现在用户开销节省上。 第三刀,砍在服务上,服务包括哪些?今天高性能计算的集群实施还是非常复杂的。不少的企业客户非要叫系统集成商帮助他们实施。如果他们只用云里的资源,那么这一部分的价值又再次转到了运营商那里去。 第四刀,开到微软自己身上,操作系统这边。就是说,以后用户也不会单独购买操作系统,如果使用云计算的话,操作系统的部分价值转移到运营商里。 最后一刀,很多人没有想到的一刀,没有地方再切了,就是切在应用上。应用怎么切?云计算运营商怎么会把应用的价值拿过去呢,并不是那么显然易见的。但是有做ISV的就会晓得,光看开销架构,发现一大部分是做在营销方面。如果在国外的话,中国必定要找代理商,这方面的开销非常大。将来云计算,昨天中计报首席记者和我聊,他觉得云计算将来会像黑洞的效应,他非常有洞见。将来云计算成为主要的资源提供商,必定会成为一个主要的应用渠道。因为在渠道方面,就像今天一个用上了Windows Marketplace,就可以免费得到全世界26个国家的免费广告,他们都意识到,将来应用的主要渠道就在云的Marketplace里面。 讲了这么多,虚线的箭头不代表简单的财富转移。公有云向用户收取的费用金额只是它为用户创造巨大节省当中的一小部分。所以,整个市场缩水了吗?其实并不如此。再谈到是否缩水之前,给大家看一下,转型之后会对产业链上各个角色带来的挑战和机遇。 第一,系统集成商,就可以变成云运营商,在英国我遇到两个系统集成商,他们说我们已经看清这个趋势了,必须要转移到云上,必须成为一个Hoster运营商,而为设计和渲染服务。 再往下,应用代理商,也是受影响的行业,他们可以在云上变成高附加值的SaaS Player,其实很多的ISV并不愿意想成为SaaS,因为他们并不是非常了解他们的最终用户,而只有应用代理商,做过培训的非常了解应用场景。 再往下,中间件市场要整合。我指的中间件,比如说作为调度器,最近IBM购买了Platform Computing。前一阵甲骨文购买了Sun。剩下的就不是很多了,也不会增多,因为这个市场将被整合。 最后,ODM,也将会加入OEM的队伍,为云计算运营商提供硬件。 待续 作者介绍:徐明强博士 现任微软亚太研发集团服务器与开发工具事业部的部门经理,领导高性能云计算中国团队,负责并行计算运行时系统、编程模式、管理和用户门户系统的设计和开发。2008年,徐明强博士回国担任微软亚太研发集团高性能计算首席架构师。2010年10月撰写出版《微软高性能计算服务器》一书,首次全面、系统地向集群用户、管理员和开发人员深入浅出地介绍微软高性能计算服务器的使用、管理和编程的各项技术及实战技能。徐明强博士拥有23年高性能计算领域专业经历,包括8年学术、政府实验室的研究和15年的业界经验。

0

视频采访剪辑:微软研发团队的私有云应用之道 (一)

    不久前,我们中国团队的研发工程实验室经理刘擎先生接受了CSDN云计算频道负责人谭茂先生的视频采访,在CSDN的帮助下,我们选取了11个视频片段和相关的文字速记与大家在此分享。   1. 微软私有云环境介绍 原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302328 谭茂:各位网友大家好,今天我非常高兴请到了微软亚太研发集团,服务器与开发工具事业部研发工程实验室的经理刘擎先生,他主要负责STB 中国团队内部私有云。我们知道业界其实大家对于云计算这块也是关注了很久,那么微软的云计算也是大家,包括很多客户所关心的一些东西。 首先想请刘先生,您能简单介绍一下,您在上海的一些主要工作。 刘擎:大家好,我在上海,在2007年加入STB中国团队。负责服务器与工具开发事业部在上海的研发工程实验室管理。主要负责向微软的开发、测试和产品经营的团队提供实验室服务。其中包括Test和Build,就是产品构建,还有产品的性能,产品设计。 我们在上海实验室主要的工作包括管理一个1,500多台服务器的实验室,同时在上面我们从2007年开始去构建微软一个私有云。那么这个私有云会基于微软的平台,就是System Center的产品,其中包括有微软虚拟化服务管理系统,然后有服务器管理,还有管理客户端,包括微软的数据库管理,这四块帮助我们管理整个微软在上海1,500多台服务器。 下面我们会用到微软的Opalis,这是一个微软的IT流程自动化的管理工具。 谭茂:您刚才也是介绍了对微软整个实验室的介绍,我们还想了解一下更细节一点的,它现在有没有一个比较明确的一些数字? 刘擎:在我们上海的话,我们会把上海实验室其中有1,500台服务器中,有400台是性能比较不错的服务器,构建了一个私有云,这个会有412台物理机器,同时运行5,000多台虚拟机,这样一个能力,400台到5,000台。其中这5,000台基本总有3,000多台是处于激活的状态。在整个管理平台上,我们把团队的资源就是按照分组的方式,大概有超过13到15个产品组,我们会把他们分配到不同的组里面,每个用户会在自己的组里面分配他的虚拟机资源。       2. 微软私有云的创新 原视频地址:http://v.csdn.hudong.com/s/article.html?arcid=302329 谭茂:和传统的数据中心相比的话,你觉得微软目前的私有云最大的一个区别或者说有创意的地方在哪? 刘擎:对我们来说,最大的一个优势在于微软平台和Windows兼容性非常好,我们用了Hyper-V,它实际上是基于微软的虚拟化平台的一个管理工具,它对我们的第一个优势就是说它兼容性好。其次就是说它可以很方便地把我们对数据中心,对服务器的管理,变成了一个对资源的管理。我觉得这是一个很大的云对我们的优势。因为讲云的话,最能够体现出云的优势就是自服务,资源化,这两块就是说能够通过这个软件,完全是看到了物理器这一块,对用户来说,他是看到了资源,而不是一台一台服务器。 在我们的内部设置的一个用户的自主网站,他可以很清楚看到,他有多少CPU,有多少虚拟机,有多少内存可用。对于他计划他能用的预算,他就可以有一个很好的安排,我现在资源可能是40%,明年他就不要升级。如果说他90%,他明年就要升级。 同时对我来说,团队之间的调度。其实在云里面,刚才我讲了资源池。 还有一块就是资源利用率的最大化,原先的话,每个团队把自己的资源放在一个实验室里面,相互之间没有一个很好的共享平台,在有了这个虚拟化管理,他可以很容易地去共享团队资源。就类似这个项目A,他有自己忙的时候,繁忙阶段。在另外一个团队繁忙,他没有更多的机器的时候,他除了购买新的机器的时候。现在有个选择,可以从别的团队调一部分资源过来,因为所有的机器都是虚拟化的话,他不会相互干扰。 第二个,他可以很容易地把他的虚拟机迁移到他的服务器上做负载,这样的话,就变成完全像用电一样,在以前我小时候有电的调度,我父母单位里面会有调电这种说法,就说周三他必须要休息,因为他工业用电调给民用电去使用。现在我们在一个微软团队内部,就可以实现这种调度,很容易把物理机的资源从这个团队调到另外一个团队,就是要鼠标移动一下就行了。 谭茂:这个硬件利用现在有一个没有新的? 刘擎:我们从2007、2008、2009年就慢慢在做,首先我们机器的利用率是一步一步在往上提高。当初我们在看的时候,可能和业界的标准比较像,从12%到14%-15%的利用率。现在的话,我们基本上把这翻了八倍,到今年我们2011年5月份,数字已经到八倍。可以看到每台机器可以跑八倍。这是一个平均值。 谭茂:我们注意到业界,国内目前来说还没有特别成熟的私有云案例,很多也是处于这种创新跟市场研发,从您的技术角度来讲的话,您觉得这种研发到应用,就是生产率这一块目前主要的瓶颈是在哪方面会比较多? 刘擎:其实我是这样看这个问题的。那么当我接受这份工作,我在看我们团队,实际上我就在一个研究问题,微软研发团队它的工作的瓶颈在什么地方,什么问题需要去解决的。其实从去年接手工作,花半年时间在调研内部的流程,资源,内部的工程师的工作习惯,内部工程师在使用这个系统的时候,会有哪些地方是好的,哪些地方是不好的。我们在设计这个虚拟云的时候,目标就是解决最优先的三个问题。实际上我觉得比较理想一个方案去解决一些业界问题,就是说你先理解你现在的企业,你现在碰到什么样的问题,哪些是需要最先解决的问题。 我们当初其实谈到了,一个是说团队之间的资源的共享。然后团队与团队之间有很多的重复劳动,因为微软软件开发它不同的项目实际上是有挺多的情况,他会做相同的工作。举一个简单的例子,他们在做测试的时候,是要先把Windows部署到一个环境中,然后构建一个网络环境,跑没有发布的产品。实际上建立这个Windows环境,构建一个网络环境,其实不同的团队都要做相同的事情,所以原先的做法,就说每个团队有自己一套自动化、脚本,团队A写了一遍,团队B写了一遍,团队C也写了一遍。这是一个问题。 第二个问题,我们看到在我们问题表里边,就是说工程师对于部署完所花的时间非常有意见,因为你部署完这个东西,比如Windows装完至少要20分钟,再安装所有的最新的补丁至少要40分钟,这样的话,整套完成时间至少要一个小时。如果说物理机在做这个测试的时候,你如果做一个AD,通过服务器,没有两个半小时是完不成的。一天八个小时,你准备一套花两个半小时,就是你一天最多只能做四套。现在我们虚拟化技术可以并行去做,我们可以看到每一个虚拟器,从开始部署到结束只需要20分钟左右时间。你从两个半小时缩减到30分钟,那这样的话,他至少可以做八倍的事情。这是一个提升。这就是我们去评估我们私有云怎么去提高生产利用率这块。而且可以并行的。 谭茂:这在过去也是不可想象,从生产效率而言,应该是大大提高。 刘擎:对。

0

我们为中国的“云”而来(下)

大家好!在我的上一篇博文 中,向大家简单介绍了微软中国云计算创新中心(以下简称CCIC)这个充满激情的年轻团队——身处其中的我时常觉得,如果说结构转型的中国经济是一辆高速列车,那么CCIC所身处的“云经济“潮流将是其重要引擎之一。   在过去几个月中我们从各种渠道获得了来自各方的问题,因此在第二篇博文开始前,我想简单回答博客园读者提出的两个问题:   1. 微软云何时对中国用户开放使用? 微软的云计算战略包括三大部分,目的是为客户和合作伙伴提供三种不同的云计算运营模式:微软运营、伙伴运营、客户自建。和其他公司的云计算战略不同,微软的云计算战略有三个典型特点:即软件+服务、平台战略和自由选择。微软在动态数据中心、私有云以及公共云等方面开展了卓有成效的探索和实践。具体到中国,用户同样可以通过多种方式获得微软云服务。除了选择微软丰富的私有云技术,用户也可以通过微软合作伙伴以托管方式获得云服务。目前,国内已经有一些客户在尝试使用微软云,希望能在不久后与大家分享这些案例的细节。 2. 什么是AppFabric? AppFabric目前分为两种。Windows Server AppFabric 是一组集成技术,可更轻松地生成、扩展和管理 IIS 上运行的 Web 应用程序和复合应用程序。而Windows Azure AppFabric 则是一套全面的云端中间件,服务于开发、部署和管理Windows Azure平台应用。我们兄弟团队之一AppFabric Developer Experience团队会在未来适当的时候,通过技术大会和博客等形式向大家介绍相关内容。   此外,还有一个被多次提及的问题就是,“究竟有没有中国企业级用户会把业务放在 ‘ 云 ’ 端?“,我希望能通过这篇博文进行解答。   几个月来,通过与国内合作伙伴的密切接触,我发现虽然中国软件产业以及云计算起步稍晚,但正如钱币之两面,相较其他国家和地区,中国在云计算方面的机会更多。   首先,中国政府对云计算在政策和资金支持上很给力,尤其是北京、上海和成都等地方政府;其次,因为中国的IT产业和企业比较新,有股初生牛犊不怕虎的劲儿,很多事情敢想敢闯,可以将劣势转变为优势”;第三,正因为中国起步晚,不像许多欧美企业那样,IT基础架构复杂到让管理员抓狂,这反而能够轻装上阵,绝大多数中国企业更愿意尝试新技术。比如有的企业将云计算视为降低产品开发成本的途径,有的企业将它视为加快推向市场的途径……   云计算是一段不可阻挡又循序渐进的征程,CCIC希望通过微软丰富的云计算实践经验,以专著于开发IT基础架构和平台产品的研发团队为坚强后盾,帮助合作伙伴和客户开始在自身环境中逐步获得云计算的好处,可能是帮助他们在自己的数据中心构建私有云,或是拓展他们的计算能力到Windows Azure这样的公共云环境上,或是在Windows Azure运行各种应用,开拓客户范围。这些都是企业和组织在云征程上的不同要素,不同的需求将采用不同云应用。   STB中国研发工程实验室在私有云上的实践  在团队建立的前三年,由于研发项目的扩展,我们的服务器数量从300多台骤增至800 多台,由我们研发工程实验室的三位工程师进行日常维护,此外,他们还需要不断为十几个产品组搭建、维护产品测试环境。为提高对服务器资源的合理有效应用、实现灵活的服务器资源配置管理、缩短服务周期,工程师们采用了微软私有云基础架构,搭建了属于一套开发测试云平台和自助服务门户,管理、维护着超过1,500台物理服务器,不仅成功整合、集中、扩展各类开发测试资源,还提升了这个STB中国的协作和开发测试效率。更重要的是,这个云实践帮助我们在 2010 年减少了大约9,000多吨二氧化碳排放。同时也节省了14.85 万千瓦时的电能,以中国每户家庭年均用电2,500 千瓦时计算,以上节省的电能可供5941 户中国家庭使用一年。感兴趣的读者可以下载我们的案例文档 (本文结尾处),如果有相关的具体问题也欢迎通过留言和站内消息向我们的实验室经理提问。    CCIC与本地企业合作的几个实例 相对来说,大型机构的“云”策略相对稳健。某石油化工企业 “云”化的第一步就是,把企业内部的资源整合之后作为服务提供给企业内部使用,也就是说从应用的角度去推动整个“云”化,而不一定是先将基础设施“云”化之后再去找应用——务实和高效,这或许可以代表政府机构与大型企业云计算的趋势。   中小型企业会更加大胆。例如国内某服装零售企业在全国有几千家门店,有的是直营店,有的是加盟店,一个很大的问题是加盟店的管理往往跟不上直营店,因为他们不愿意在管理方面进行额外投入。现在他们正在通过云计算把整个公司的IT转型为服务,让加盟店初期在管理上的成本变得经济。当IT部门转型为服务商之后,还能进一步提供多种细分服务,例如供应链管理等。通过CCIC良好的整体规划,同时深度参与技术架构和具体实施(如系统设计和性能调优),如今这家企业已经有几百家门店开始使用上述服务,它的成功甚至可以推动整个零售连锁业务模式的转型,拓展新的商业机会。   上个月24日,我们的首席执行官Steve…

0

我们为中国的“云”而来(上)

各位网友好!我是微软中国云计算创新中心的梁戈碧。很高兴有机会通过这个博客平台向各位关心微软亚太研发集团的网友分享信息,汇报我们云计算创新中心的工作进展。   作为微软云战略的一部分,去年秋天,微软中国云计算创新中心(Microsoft China Cloud Innovation Center,我们“昵称”为CCIC)在上海成立。CCIC是一个隶属于微软亚太研发集团服务器与工具事业部的组织,它的使命是全力以赴助力中国政府、合作伙伴和客户向云迁移,帮助他们启动云的力量。加盟微软亚太研发集团之前,我曾在英特尔公司服务了15年,此番转赴微软领导中国云计算创新中心的工作,对我而言,不啻为很大的挑战。但我还是相信,挑战的背面是千载难逢的机遇,因为目前无论是云计算的技术成熟度、还是中国政府的支持力度以及国内企业的接受程度,都预示着云计算已初步具备了天时、地利与人和的优势。此前,工信部在北京、上海、深圳、杭州、无锡等五城市建立了云计算创新试点;北京市启动了个投资高达500亿元的“祥云工程”,并将由此带动云计算产业链形成2000亿元的产值;上海市制定了三年“云海计划”,预计新增1000亿元的服务业收入,并计划培育出十家年收入超亿元的龙头企业和十个云计算示范平台;不仅如此,越来越多的国内大中小企业也都在积极寻求利用云计算提高自身竞争优势。越往云端走,我越觉得,这是一朵祥云!   “中国+云计算”这是一个让人激动人心的组合。中国是全球最具潜力的市场,而云计算又是未来20年来IT领域最大的创新。微软新成立的CCIC恰恰将中国与云紧密联系在一起。这样的机会我很珍惜——而且我加入的是微软公司,是目前唯一有能力提供一整套云服务的IT厂商,也是最最重视中国市场的跨国企业之一。它在这样的时刻决定投资创建中国云计算创新中心,代表了微软对中国云计算市场的信心和承诺。这些都成为我做出加入微软这一决定的重要动力。   值得一提的是,微软将CCIC放在服务器与开发工具事业部中国研发团队下面,这个事业部的职责是为企业级用户开发多种私有云和公有云的产品和开发平台。这样,我们团队一方面可与微软市场销售部门和合作伙伴、客户紧密联系;另一方面,我们也会担当起中国IT市场与微软产品组的重要沟通桥梁,帮助中、美产品开发团队深入理解中国客户对云计算的需求与期待。   让我欣慰的是,我的团队成员各自身怀绝技,他们中有的人来自微软产品开发团队,有的人则多年从事技术支持、咨询工作,这样的组合共同承托起一个全新的、顶尖的云顾问和实施团队。同时,我们团队也和市场部门紧密合作,将为中国的合作伙伴和客户提供最好的云设计方案,这种CCIC专署团队模式在微软全球是首创的,也是独一无二的。   为了更好地帮助我们的合作伙伴和客户解决问题,我们还特意投资搭建了一个专属的云计算实验室,装配各个厂商的服务器设备,只需很短的时间,我们就能搭建出真实的私有云环境。合作伙伴和客户的工程师们可以在这里实施快速建模、概念验证和测试。做完一个项目后,我们可以迅速再将系统还原,进行下一个项目。   微软内部的很多团队都堪称“小联合国”。我们这个团队也不例外,而且他们的工作地点也横跨太平洋,有的在西雅图,有的在香港,有的在北京,当然更多在上海。这样我们就可以因地制宜地支持各地客户,并把各地的云计算最佳实践和解决方案集思广益与客户分享。我们常常会邀请客户、合作伙伴到实验室进行交流,看到我们会议室里的两个LCD屏幕和一个投影幕布上的内容,你就会理解为什么需要这么多的“屏”,有的时候我们会通过视频会议邀请西雅图或香港的同事一同参与讨论,另一个LCD同时可以用作产品演示,投影幕布上当然可以用来播放PPT。   实验室会议室与机房之间的玻璃隔墙是一个亮点,打开其中的照明灯,它就变成了写字用的白板    可以看到,在微软内部,我们是一个很特殊的团队,我们的职能和使命也非常清晰——帮助中国客户和合作伙伴向云平台平滑迁移。因此,我们的“独特之处”可以概括为以下三点:一,成为云计算领域的技术专家,俗称“大拿”;二,要做中国客户需求的专家,了解不同机构、企业对云的需求,帮助他们更好地应用云计算;三,把中国客户的新需求反馈到微软的产品研发团队,进一步改善原有产品和技术。   最后,非常高兴有机会在这里给大家介绍CCIC团队,希望不久之后能继续跟大家分享我们团队所做的事情,以及与中国政府、客户、合作伙伴的合作项目最新进展。也欢迎各位网友通过留言、电子邮件分享你们的建议和意见。         梁戈碧 微软中国云计算创新中心 高级总监

1