“高性能计算 —— 中国金融服务业创新发展的助推剂“六大盘点

11月25日的“微软—摩根士丹利杯”2011金融超级计算挑战赛颁奖典礼上,大赛主办方代表——微软亚太研发集团高性能云计算部门经理徐明强博士、摩根士丹利管理服务(上海)有限公司董事总经理赵长飞女士、上海超级计算机中心主任奚自立先生,以及大赛数据提供方万得信息技术股份有限公司的高级副总裁周立先生,就“高性能计算——中国金融服务业创新发展的助推剂”议题与三支获得比赛大奖的团队、媒体代表进行了深入交流,并碰撞出诸多火化。 1、在发达国家,8%-9%的高性能计算机用于金融领域,中国至今没有一台用于金融计算。 奚自立:始于1993年的全球高性能计算排行榜 (Top 500)中有16%用于科研,其次就是金融计算,约占8%-9%。截至今年11月,中国已拥有74台,但没有一台用于金融领域。 徐明强:11年前我被推入金融高性能计算的洪流,当时西方金融机构就开始以月、甚至以星期为产品开发周期,中国金融机构与他们有着相当的差距。 2、高性能计算已是投行的核心竞争力。 赵长飞:金融行业非常适合利用高性能计算,金融机构的核心竞争力体现在运用高性能计算使整个业务系统跑得更快且计算更精准,金融机构只需要考虑业务所需要的逻辑,后台的大量计算可以交由高性能计算平台完成。 3、高性能计算、云计算对金融服务业将大有可为。 奚自立:金融计算模型相当复杂,数据收集越多,计算结果越精确。金融计算的复杂性、数据的海量性和使用的广泛性决定云计算是其最佳模式。事实上彭博社、路透社数据终端就是云计算方式。 徐明强: 三周前与一家伦敦投行交流,每天下午闭市后两小时内他们要完成当天投资风险分析,以便在下一时区的市场开市前完成投资对冲策略。但其自有的计算资源已无法满足这样需求,有时程序运行一段时间后甚至发现市场数据错误,需要重新计算,而结合高性能计算与云计算,只需即时买入几千个核就可以快速完成这一任务,同时省下了IT采购和日常维护的巨额投入。 4、一旦中国金融市场崛起,就会是本土金融机构的机会。 周立:中国金融机构在上世纪80年代末90年代初由各个子公司独立建设各自的信息管理系统和数据库;过去十年,各家机构解决最基础的问题即统一客户数据。随着复杂金融产品的出现,我们开始寻求科学的量化方法控制风险,因而正逐渐向关注、管理公司的资产组合状况转变,这就需要模型和高性能计算。 过去五年中,中国金融信息服务业的平均增长速度是30%到40%。我们的机会在于中国市场还是需要中文表述,随着人民币国际化,全球投资者需要投资人民币债券,给中国公司提供了很好的机会,但前提是中国的金融市场变得足够大以及开放。 5、金融计算人才稀缺,在校大学生缺少实战机会。 奚自立:国内金融计算的模型及其研制人才极度缺乏,研究气氛也十分薄弱。国内不少高校都希望在金融工程领域有所建树,但总觉得心有余而力不足。中国GDP发展太快,人们的心态普遍浮躁,学术界对金融计算未来学科的兴趣不大,造成这个领域的人才稀缺。 赵长飞:国内高性能计算还很少涉及金融领域,这次大赛让同学们对金融计算有更深入的了解。同时,中国在努力建设国际金融中心,对金融人才会有越来越多的需求,这次大赛是个开始,希望未来能够与上海超级计算中心以及微软一起为中国金融人才培养尽一份力。 徐明强:这次挑战赛就像华尔街的一个缩影,尽管只是自学了两、三个星期,同学们已能用高性能计算和计算模型,根据真实的金融产品历史数据,在最短时间内最高效率地把金融风险控制到最低。 6、金融计算人才培养重在计算机基础知识的系统积累,高性能计算让专业人士专注于业务创新。 赵长飞:我的部门负责摩根士丹利业务系统的开发,包括交易系统、定价系统、风险管理系统,因此我们的招聘对象一直是计算机相关专业。金融知识学习相对容易,但计算机基础需要时间积累和系统培训。 徐明强: 刚结束的2011年全球超级计算大会 (SC11)上,一位南安普顿大学的教授告诉我,过去两年工作日志显示,他花了一年半搞计算机科学(computer science),而不是真正科学研究(real science)。因为他用的是Linux,大半时间都在解决计算机问题,而非课题研究。微软将坚持不懈让全球7,000万科学家、工程师都可以使用上高性能计算加速其创新进程,现在仅有1,500万人,所以革命尚未成功,同志仍需努力。

1

我们为中国的“云”而来(下)

大家好!在我的上一篇博文 中,向大家简单介绍了微软中国云计算创新中心(以下简称CCIC)这个充满激情的年轻团队——身处其中的我时常觉得,如果说结构转型的中国经济是一辆高速列车,那么CCIC所身处的“云经济“潮流将是其重要引擎之一。   在过去几个月中我们从各种渠道获得了来自各方的问题,因此在第二篇博文开始前,我想简单回答博客园读者提出的两个问题:   1. 微软云何时对中国用户开放使用? 微软的云计算战略包括三大部分,目的是为客户和合作伙伴提供三种不同的云计算运营模式:微软运营、伙伴运营、客户自建。和其他公司的云计算战略不同,微软的云计算战略有三个典型特点:即软件+服务、平台战略和自由选择。微软在动态数据中心、私有云以及公共云等方面开展了卓有成效的探索和实践。具体到中国,用户同样可以通过多种方式获得微软云服务。除了选择微软丰富的私有云技术,用户也可以通过微软合作伙伴以托管方式获得云服务。目前,国内已经有一些客户在尝试使用微软云,希望能在不久后与大家分享这些案例的细节。 2. 什么是AppFabric? AppFabric目前分为两种。Windows Server AppFabric 是一组集成技术,可更轻松地生成、扩展和管理 IIS 上运行的 Web 应用程序和复合应用程序。而Windows Azure AppFabric 则是一套全面的云端中间件,服务于开发、部署和管理Windows Azure平台应用。我们兄弟团队之一AppFabric Developer Experience团队会在未来适当的时候,通过技术大会和博客等形式向大家介绍相关内容。   此外,还有一个被多次提及的问题就是,“究竟有没有中国企业级用户会把业务放在 ‘ 云 ’ 端?“,我希望能通过这篇博文进行解答。   几个月来,通过与国内合作伙伴的密切接触,我发现虽然中国软件产业以及云计算起步稍晚,但正如钱币之两面,相较其他国家和地区,中国在云计算方面的机会更多。   首先,中国政府对云计算在政策和资金支持上很给力,尤其是北京、上海和成都等地方政府;其次,因为中国的IT产业和企业比较新,有股初生牛犊不怕虎的劲儿,很多事情敢想敢闯,可以将劣势转变为优势”;第三,正因为中国起步晚,不像许多欧美企业那样,IT基础架构复杂到让管理员抓狂,这反而能够轻装上阵,绝大多数中国企业更愿意尝试新技术。比如有的企业将云计算视为降低产品开发成本的途径,有的企业将它视为加快推向市场的途径……   云计算是一段不可阻挡又循序渐进的征程,CCIC希望通过微软丰富的云计算实践经验,以专著于开发IT基础架构和平台产品的研发团队为坚强后盾,帮助合作伙伴和客户开始在自身环境中逐步获得云计算的好处,可能是帮助他们在自己的数据中心构建私有云,或是拓展他们的计算能力到Windows Azure这样的公共云环境上,或是在Windows Azure运行各种应用,开拓客户范围。这些都是企业和组织在云征程上的不同要素,不同的需求将采用不同云应用。   STB中国研发工程实验室在私有云上的实践  在团队建立的前三年,由于研发项目的扩展,我们的服务器数量从300多台骤增至800 多台,由我们研发工程实验室的三位工程师进行日常维护,此外,他们还需要不断为十几个产品组搭建、维护产品测试环境。为提高对服务器资源的合理有效应用、实现灵活的服务器资源配置管理、缩短服务周期,工程师们采用了微软私有云基础架构,搭建了属于一套开发测试云平台和自助服务门户,管理、维护着超过1,500台物理服务器,不仅成功整合、集中、扩展各类开发测试资源,还提升了这个STB中国的协作和开发测试效率。更重要的是,这个云实践帮助我们在 2010 年减少了大约9,000多吨二氧化碳排放。同时也节省了14.85 万千瓦时的电能,以中国每户家庭年均用电2,500 千瓦时计算,以上节省的电能可供5941 户中国家庭使用一年。感兴趣的读者可以下载我们的案例文档 (本文结尾处),如果有相关的具体问题也欢迎通过留言和站内消息向我们的实验室经理提问。    CCIC与本地企业合作的几个实例 相对来说,大型机构的“云”策略相对稳健。某石油化工企业 “云”化的第一步就是,把企业内部的资源整合之后作为服务提供给企业内部使用,也就是说从应用的角度去推动整个“云”化,而不一定是先将基础设施“云”化之后再去找应用——务实和高效,这或许可以代表政府机构与大型企业云计算的趋势。   中小型企业会更加大胆。例如国内某服装零售企业在全国有几千家门店,有的是直营店,有的是加盟店,一个很大的问题是加盟店的管理往往跟不上直营店,因为他们不愿意在管理方面进行额外投入。现在他们正在通过云计算把整个公司的IT转型为服务,让加盟店初期在管理上的成本变得经济。当IT部门转型为服务商之后,还能进一步提供多种细分服务,例如供应链管理等。通过CCIC良好的整体规划,同时深度参与技术架构和具体实施(如系统设计和性能调优),如今这家企业已经有几百家门店开始使用上述服务,它的成功甚至可以推动整个零售连锁业务模式的转型,拓展新的商业机会。   上个月24日,我们的首席执行官Steve…

0

梦想、执行力与新起点

各位网友好!我是微软服务器与开发工具事业部中国研发团队(STB China)的王枫,这是我2009年从总部回到中国担任商务运营总监以来的第一篇博文。与之前大多数同事发表的技术文章不同,我的博文会浅显直白一些,希望能为大家从一个全新的角度呈现STB China团队,同时也想向大家分享个人的一些职业经历与感悟。 最初构思这篇文章时,我本想按部就班地介绍STB China在不同舞台上,近年来所扮演的角色与所取得的成绩:比如我们与本地IT伙伴们的最新合作,在绿色科技运营方面的经验,以及与本地开发人员、IT专业人员和高校之间互动。但转念一想,在讲述“我们做了些什么?”之前,更应该谈的或许是“我们为什么要做这些?“   如果要回答“STB China为什么要做这些”,我想最合适的答案,或许要从比尔·盖茨的最初梦想当中去寻找—— “让每个人的桌面上都有一台电脑“。在我看来,这一梦想只是他新梦想的技术基础 —— 因为拥有了信息平等权,才有可能在未来社会中”让每个人的生命都得到平等对待“。实际上,STB China也好,STB全球也好,乃至整个微软,这些年来所做的,也正是为了追逐并实现这个越来越逼真的梦想。 作为”曾经专业”的数据库开发人员,我一直认为比起制造性能更强、更便宜的设备来说,如何让设备变得更好用、更好地让客户实现梦想或许更重要。比如现在Windows Phone 7的硬件性能,远远超过了当年“阿波罗“登月计划中大型主机的性能,但这并不意味着,普通人能使用Windows Phone 7完成复杂的任务 —— 因为对于普通用户而言,很难自己去编写充分发挥设备潜力的应用。 对我个人而言,在很大程度上也是因为想要实现这样的个人梦想,从而选择加入到微软。当年,我加入SQL Server美国团队的时候,作为项目经理,我的工作重点之一就是与客户交流,设计能满足用户需求的产品功能,也正是这段工作经历让我迅速的从一个单纯的技术人员,成长为一个技术型管理者,继而过渡到现在的商务运营管理。 其实,现在我的职责就是担任这个近400人团队的项目经理,其中五分之一的时间负责系统地组织、协调各产品团队与政府、合作伙伴、客户、高校之间的有效互动,促成各个层面的合作与沟通。当然,我不再有时间直接从事一线的技术工作了,这很是遗憾 —— 但更大的成就感来自于,能让更多的同事、伙伴和客户,去更好地追逐梦想,成就梦想。 当然,只有梦想是不够的。“黄粱美梦”许多人都会做,但如果不付诸行动,往往就会沦为笑谈。微软最神奇的地方,除了能把许多拥有“I want to change the world“志趣的人才聚集到一起之外,更重要的是拥有把这些梦想变成现实的执行力。 作为研发机构,STB China这方面的例子实在太多,但最令我印象深刻的,莫过于在去年的中国高性能计算学术年会上,我们发布了Windows HPC Server R2。在这个版本上,我的同事们不仅独立完成了面向服务架构编程模型和运行时系统模块,还引领了这个产品与Windows Azure的结合。更重要的是,我们同时和中科院计算所合作完成了“基于微软高性能计算平台和中国龙芯PC-Mate的Excel计算加速应用“,携手推动高性能计算在中国的商业应用发展,向帮助中国产业提升技术创新能力、速度和成本又迈进了一步—— 作为一个中国的微软人,我感到双重自豪。 作为一个研发团队,STB China的首要职责是参与服务器产品和开发工具的全球研发,但正如团队组建时设想的,这个研发团队承担着理解本地合作伙伴和客户需求的重任,因此我们每位同事都必须留出5%的工作时间通过某种方式与本地同行做交流。在微软每年的技术大会、MVP开放日、MSDN和TechNet论坛和博客上向IT专业人士和开发者介绍我们最新的产品或技术;为周边高校提供技术讲座、联合开发课程、辅导做应用开发;拜访客户收集产品反馈,以战略外包的形式帮助本地软件企业提高软件开发能力和市场竞争力,研究中国IT用户体验等等。 作为产业生态圈的积极构建者,微软在全球各地都以合作为导向。作为公司的一小部分,STB China也是积极的实践者。对细节有兴趣的朋友,可以去读一读我的同事梁戈碧女士所写的这篇博文。 作为绿色科技的信徒,STB China不仅身体力行还是积极的推广者。每次我们邀请客户来上海园区开会,或是接待政府、学校的访问,我们都会留出至少15分钟带大家近距离“围观”各项绿色科技举措,从建筑设计构思、装修材料、设备运作,暂时无法参观园区的朋友们可以去读读这篇文章。此外,我们团队的工程实验室可以称得上是“中国最大的基于Windows Server 2008 R2的私有云“,也因此在过去的一年中成为了来访企业的“必游景点”之一。 两周前,我和梁戈碧女士代表STB China参加了第四届微软(中国)外包事业高峰论坛,并一同做了“在云里我们共赢”的演讲,与大家探讨如何通过微软战略外包,合作伙伴们可以更早、更深入地了解我们的产品和技术,搭建自己的私有云以降低开发成本,或在云平台上开发新应用服务,开启新的契机。 最后我想说,云计算作为一种技术,本身并不是目的,而是为了更好地帮助合作伙伴、客户和微软,为社会提供一种新的商业模式——或者可以称之为云经济模式。毋庸置疑的是,在接下来的五年、十年,我们会迎来属于云经济的大潮。—— 这是STB China正在追逐的新梦想。 朋友们,你们准备好了吗?   王枫 商务运营总监

0

我们为中国的“云”而来(上)

各位网友好!我是微软中国云计算创新中心的梁戈碧。很高兴有机会通过这个博客平台向各位关心微软亚太研发集团的网友分享信息,汇报我们云计算创新中心的工作进展。   作为微软云战略的一部分,去年秋天,微软中国云计算创新中心(Microsoft China Cloud Innovation Center,我们“昵称”为CCIC)在上海成立。CCIC是一个隶属于微软亚太研发集团服务器与工具事业部的组织,它的使命是全力以赴助力中国政府、合作伙伴和客户向云迁移,帮助他们启动云的力量。加盟微软亚太研发集团之前,我曾在英特尔公司服务了15年,此番转赴微软领导中国云计算创新中心的工作,对我而言,不啻为很大的挑战。但我还是相信,挑战的背面是千载难逢的机遇,因为目前无论是云计算的技术成熟度、还是中国政府的支持力度以及国内企业的接受程度,都预示着云计算已初步具备了天时、地利与人和的优势。此前,工信部在北京、上海、深圳、杭州、无锡等五城市建立了云计算创新试点;北京市启动了个投资高达500亿元的“祥云工程”,并将由此带动云计算产业链形成2000亿元的产值;上海市制定了三年“云海计划”,预计新增1000亿元的服务业收入,并计划培育出十家年收入超亿元的龙头企业和十个云计算示范平台;不仅如此,越来越多的国内大中小企业也都在积极寻求利用云计算提高自身竞争优势。越往云端走,我越觉得,这是一朵祥云!   “中国+云计算”这是一个让人激动人心的组合。中国是全球最具潜力的市场,而云计算又是未来20年来IT领域最大的创新。微软新成立的CCIC恰恰将中国与云紧密联系在一起。这样的机会我很珍惜——而且我加入的是微软公司,是目前唯一有能力提供一整套云服务的IT厂商,也是最最重视中国市场的跨国企业之一。它在这样的时刻决定投资创建中国云计算创新中心,代表了微软对中国云计算市场的信心和承诺。这些都成为我做出加入微软这一决定的重要动力。   值得一提的是,微软将CCIC放在服务器与开发工具事业部中国研发团队下面,这个事业部的职责是为企业级用户开发多种私有云和公有云的产品和开发平台。这样,我们团队一方面可与微软市场销售部门和合作伙伴、客户紧密联系;另一方面,我们也会担当起中国IT市场与微软产品组的重要沟通桥梁,帮助中、美产品开发团队深入理解中国客户对云计算的需求与期待。   让我欣慰的是,我的团队成员各自身怀绝技,他们中有的人来自微软产品开发团队,有的人则多年从事技术支持、咨询工作,这样的组合共同承托起一个全新的、顶尖的云顾问和实施团队。同时,我们团队也和市场部门紧密合作,将为中国的合作伙伴和客户提供最好的云设计方案,这种CCIC专署团队模式在微软全球是首创的,也是独一无二的。   为了更好地帮助我们的合作伙伴和客户解决问题,我们还特意投资搭建了一个专属的云计算实验室,装配各个厂商的服务器设备,只需很短的时间,我们就能搭建出真实的私有云环境。合作伙伴和客户的工程师们可以在这里实施快速建模、概念验证和测试。做完一个项目后,我们可以迅速再将系统还原,进行下一个项目。   微软内部的很多团队都堪称“小联合国”。我们这个团队也不例外,而且他们的工作地点也横跨太平洋,有的在西雅图,有的在香港,有的在北京,当然更多在上海。这样我们就可以因地制宜地支持各地客户,并把各地的云计算最佳实践和解决方案集思广益与客户分享。我们常常会邀请客户、合作伙伴到实验室进行交流,看到我们会议室里的两个LCD屏幕和一个投影幕布上的内容,你就会理解为什么需要这么多的“屏”,有的时候我们会通过视频会议邀请西雅图或香港的同事一同参与讨论,另一个LCD同时可以用作产品演示,投影幕布上当然可以用来播放PPT。   实验室会议室与机房之间的玻璃隔墙是一个亮点,打开其中的照明灯,它就变成了写字用的白板    可以看到,在微软内部,我们是一个很特殊的团队,我们的职能和使命也非常清晰——帮助中国客户和合作伙伴向云平台平滑迁移。因此,我们的“独特之处”可以概括为以下三点:一,成为云计算领域的技术专家,俗称“大拿”;二,要做中国客户需求的专家,了解不同机构、企业对云的需求,帮助他们更好地应用云计算;三,把中国客户的新需求反馈到微软的产品研发团队,进一步改善原有产品和技术。   最后,非常高兴有机会在这里给大家介绍CCIC团队,希望不久之后能继续跟大家分享我们团队所做的事情,以及与中国政府、客户、合作伙伴的合作项目最新进展。也欢迎各位网友通过留言、电子邮件分享你们的建议和意见。         梁戈碧 微软中国云计算创新中心 高级总监

1

第8章 用户体验:上海汽车工业集团(下)

刚参加完中国高性能计算2010年会 (HPC China 2010),HPC的几位工程师们忙着相互校审徐博士的《微软高性能计算服务器》的英文翻译,准备在几周后的SuperComputing10上发表。某日下午,突然传来一声”惨叫“,原来有人发现有几段文字漏了翻译,尤其这些段落读来极具有“娱乐性”,又鲜活地展现了高性能计算在目前工业界应用的现实挑战,因此在这里与各位读者分享。 8.4 SimCloud: 基于Windows HPC Server 的门户环境 上汽使用了泛云公司提供的高性能计算门户系统——SimCloud。 8.4.1 平台架构 SimCloud仿真云计算平台是将CAE/CFD等仿真应用、高性能计算集群管理、SOA(Service-Oriented Architecture,面向服务架构)等IT技术高度融合的企业级高性能计算中心软件系统方案。 我们可以从多个角度分享、剖析这个全新的云计算平台。 平台的整体网络架构如图8-1所示。 图8‑1 高性能计算平台网络架构 平台架构的中心是仿真云管理门户,它负责联通客户端与HPC集群,实现活动目录(AD) 用户管理、邮件服务、仿真流程/数据管理、仿真数据存储等功能的表现层服务。仿真云管理门户的左侧主要是HPC集群及相关附属设备,右侧主要是各种类型的仿真应用(图中仅为示例,可拓展至所有仿真应用客户端)。 8.4.2 功能架构 SimCloud平台的功能架构可以分为资源层、服务层、业务层与表现层,具体如图8‑2所示。 图8‑2 SimCloud系统栈 资源层主要负责整合硬件资源、网络资源与软件资源,Windows HPC架构下的SimCloud平台主要利用Windows HPC Server操作系统进行这一整合工作,通过.NET服务将仿真软件封装成Web Service接口。 服务层封装了Windows HPC Server R2,Email Server,FTP Server,AD Server等服务器角色功能,为整个平台提供丰富的服务接口与扩展功能接口。 业务层囊括了用户管理、作业管理、数据管理、邮件通知、调度策略管理、系统资源管理、日志管理、统计报表等业务功能,并为PLM等工作流系统提供业务流程扩展接口。 表现层通过SimCloud仿真云管理门户,以Web Portal的方式统一整合了任务提交、资源监控、管理作业、文件传输、License管理、使用统计、用户管理、决策分析等一系列应用功能。 8.4.3 仿真工程师”常用场景: SimCloud仿真云计算平台具有操作便捷、功能丰富的特点,其应用流程也紧密贴合企业内部不同角色的使用人员,在功能完备的基础上力求逻辑简洁。 图 8‑3 仿真工程师常用场景 如图 8‑3所示,一般仿真用户可以使用企业域用户帐号登录SimCloud仿真云管理门户,通过简单操作之后即可将仿真任务提交到高性能计算集群头节点,头节点遵循既定任务调度策略,根据当前硬件资源利用情况以及仿真软件License使用情况,提交任务至计算队列并进行自动的任务分配,计算完成后,计算节点整合仿真数据,通过邮件通知仿真用户,用户即可从SimCloud门户获取仿真结果文件。 8.5 应用集成案例 SimCloud仿真云计算平台可以集成多种仿真应用软件,包括计算结构力学、计算流体力学、计算声学、多体动力学、计算电磁学等多种学科常用商业软件,并且提供开放的接口方便集成各类软件应用。架构于Windows HPC Server 2008…

0

第8章 用户体验:上海汽车工业集团(上)

刚参加完中国高性能计算2010年会 (HPC China 2010),HPC的几位工程师们忙着相互校审徐博士的《微软高性能计算服务器》的英文翻译,准备在几周后的SuperComputing10上发表。某日下午,突然传来一声”惨叫“,原来有人发现有几段文字漏了翻译,尤其这些段落读来极具有“娱乐性”,又鲜活地展现了高性能计算在目前工业界应用的现实挑战,因此在这里与各位读者分享。 中国是个制造业的大国。但在制造业中高性能计算普及度并不高。原因如同郎咸平教授所说,中国制造业企业大部分从事来料加工,处在制造业下游利润最低处。没有自主产品的设计,就无法获取丰厚的利润,也无法使企业的可持续增长有任何保障。本章我们走近我国一个具有自主设计能力的制造业公司——上海汽车公司。在上汽,高性能计算在产品设计中起到了举足轻重的作用。 过去,基于Linux系统的集群给IT部门和工程师带来诸多管理和使用的障碍,使高性能计算技术在上汽各部门难以推广。从2009年开始,上汽IT部门成功地部署了Windows HPC Server集群及应用,成功地将高性能计算资源提供给多部门、上百个设计工程师,大大地提高工程师的设计的效率,同事降低了IT部门的管理开销。 我们在本章介绍上汽的商务需求,过往使用Linux系统遇到的挑战和Windows HPC Server 解决方案带来的优势。 在以前的章节里,读者了解到Windows HPC Server 如何能够简化上汽系统和作业调度的配置、定制和管理。在本章,我们着重介绍简化提高工程师运行应用、监控结果的另外一个常用的解决方案 —— 仿真门户系统。 本章的8.3~8.6节内容是摘录泛云公司的《仿真云计算平台SimCloud解决方案—Windows HPC 架构》白皮书,8.3~8.6节的内容属泛云公司的知识产权。笔者得到泛云公司对8.3~8.6节内容的书面许可,特此鸣谢! 本章要点 上海汽车工业集团简介和商务需求 计算机辅助仿真(CAE)在高性能计算环境的应用现状和挑战 泛云SimCloud:基于Windows HPC Server 的门户环境 8.1 上海汽车工业集团简介和商务需求 作为中国三大汽车制造商之一,上海汽车工业公司(简称上汽)主要致力于生产、销售、研发客车、商务车及其部件。在2008年,上汽销售超过182.6万辆车、营业额超248.8亿美金居全国榜首,在全球五百强企业中居第359位。上汽也在自主设计、生成和销售自己的品牌的小轿车,包括荣威750、550,MG 3-SW,MG 7和MG TF的品牌在中国成功推出,增强了上汽的品牌形象。上汽高性能计算中心是为了支撑自主品牌的小轿车的设计和安全分析。 上汽开始主要为其他汽车厂商,如大众和通用。 自2004年其, 上汽开始自主设计和生产自己品牌的汽车。一开始他们使用的是租用的设计和测试设备。到了2006年,上汽开始创建自己的设计中心。 2007年,上汽购买一个基于RedHat Linux操作系统高性能计算集群并使用此集群运行汽车设计模拟仿真应用。上汽在此集群上运行多种商业计算机辅助设计应用,包括FLUENT, STAR-CD, STAR-CCM, LS-DYNA, MSC.Nastran 和 ABAQUS。 对于熟悉Windows工作站的工程师和管理人员来说, 管理、定制和使用一个基于Linux的集群是有很大的挑战的。 工程师被迫使用Linux的命令行界面与集群交互。这种体验既不友好又费时,极大地限制了IT部门向其他部门推广计算资源的能力。许多工程师情愿继续使用安装在Windows工作站上的应用。 8.2 基于Windows HPC Server解决方案和优势 2009年夏, 上汽决定采纳基于惠普刀片机和Windows HPC…

0

高性能计算成就光荣与梦想

     中国高性能计算大会(HPC China 2010)今天在北京举行,微软高性能计算产品的第三个版本Windows HPC Server 2008 R2也将于同期发布。这是高性能计算领域的两大盛事,加之我的新书《微软高性能计算服务器》也将一起与读者见面,这三者交织在一处令我异常激动。想当初,我就是被一股无法逆转的大趋势 —— 高性能计算的普及所推动,才义无反顾地投身这一激动人心的领域。也是这一全身心的投入带我穿越迷雾,走向明朗的未来,成就了我生命中的光荣与梦想。        什么是高性能计算?高性能计算是提高仿真和决策支撑应用性能相关的硬件、网络和软件技术的总称。高性能计算通过整合、管理和调度硬件和网络资源,提供强大的计算和数据处理能力,帮助人们随时随地精确的模拟现实,认识现实,使得现实为己所用,为己造福。从应用方面看,高性能计算最开始都是用在先进国家的一些科学前沿的基础研究上面,而现在已经普及到了普通的通用产品,象汽车、飞机、医药和金融风险分析等。事实证明,高性能计算有效地压缩了从建立模型和分析数据到提出解决方案所需的时间,被誉为名副其实的创新催化剂,也是各个国家创新竞争力的重要指标之一。        这股时代的浪潮从20世纪80年代末开始,把高性能计算技术从发达国家的实验室推向全球的实验室;从高等学府和研究院推向工业界;从制造最先进的杀人武器推向研究将生命从绝症中挽回的药物;从研究大自然的规律的应用推向预测市场风险和决策支撑的应用;从少数几个推进科技前沿的项目的数据中心里,推向普通学校、研究院教授和研究人员桌面。        我是一名六零后。八十年代初,我作为大学生见证了高性能计算普及浪潮的开端。1987年,我获得“中英友好奖学金”赴英留学。我选择了并行计算——这一我认为当时最先进的技术。同年,我以英国埃克塞特大学博士生的身份去伦敦参加研讨会。会上,我遇到一个工业界人士,当他问及我的研究方向时,表达了他的观点:“你这是在浪费青春。第一,未来会有越来越快的向量机;第二,没有人会修改自己的应用,并让这些程序运行在并行机上。”然而,我还是偏执地认为,并行一定是未来的方向。后来回想,正是这种偏执,让我在这条路上,披荆斩棘,迎接曙光;更让我明白了,哪怕是权威人士,一样会有局限性,自己的抉择才是最重要的。这两点道理,让我不论在研究方面,还是职业选择方面,都能够听凭自己内心的声音,做出无悔的选择。        今天,我在中国、在微软从事高性能计算技术的研发——从某种意义上来说,微软是最具草根精神的企业之一。比尔·盖茨在创立微软的时候,有个家喻户晓的愿景:“让每个家庭有台电脑。”微软所培育出来的600万名开发者,给整个PC产业带来了杰出的贡献,这也为微软成为整个软件界的霸主奠定了坚实的基础。全面的通用化给整个产业带来了快速的发展和进步,而包括以TCP/IP为基础的互联网产业的兴起,更是将原来神神秘秘的企业计算、网格计算等云端的技术带到了一般开发者面前。        2004年,微软成立了高性能计算产品组。在一次产品组策略审核会议上,盖茨看了高性能计算产品组的演示。演示包括两步,使用的是一个制造业的应用。第一步是串行应用运行,花了很多时间。第二步,把应用连到集群,很快就结束。盖茨当时就说了一句话,在创建公司的时候,他的愿景是让每个家庭都有台电脑,看了这个演示后,他觉得高性能计算的下一个目标就是让每个科技人员都拥有高性能计算机!        也正是在2004年,在从事了8年时间集群、网格作业调度系统、并行应用运行时环境的产品架构和开发工作后,我意识到了我的职业理想与微软的草根精神、公司愿景是一致的,于是我加入其中,决心将HPC的事业彻底贡献给每一个专业用户。        在过去6年中,我和中国研发团队一起顺利完成了新平台作业调度模块中的全新用户界面、SOA(面向服务架构)编程模型的开发和测试工作。在上述几个重要功能中,全新用户界面包括图形用户界面和传统的命令行界面,不仅使系统管理人员能直观、快捷地管理整个HPC集群,更帮助桌面用户在熟悉的界面上使用高计算能力解决复杂问题;SOA编程模型为开发人员提供了简单易用的并行计算编程方法,为并行计算进入主流应用打下坚实基础;报表功能帮助系统管理人员及时收集集群运行和作业执行信息,以图表形式显示集群、各个用户、作业等的“健康”状况;基于PowerShell的全新命令行管理工具,加速系统管理和提交作业任务的自动化。   此时,整个高性能系统栈的重建几近完成,原来的向量机系统已开始出现被通用型微机体系取代的真正可能。最初偏执的信念,让我抓住了趋势的发展。用我的总结来说,微软具备做高性能计算,并且完成高性能系统栈所缺乏的关键的优势在于以下方面:   1、拥有600万程序员用户——了解他们的编程习惯和模式。 2、拥有最流行的编程环境——Visual Studio的多年积累。 3、一流的作业调度和管理系统——Windows 高性能计算服务器。 4、基于WCF的高性能面向服务的平台作为运行时环境。        这些优势全都是独一无二并令人心动的。加上微软长期以来在大规模客户端和服务器平台的丰富经验,让我对微软充满信心。我坚信,我将伴随微软最终能实现整个高性能计算普及的目标;我也相信,微软的理想足以打动那些有志于此的同仁加入,并为之奋斗。        美国总统杜鲁门在二战后和冷战期间的1950年发表如下讲话:“我们已经意识到我们国家生存和发展的能力在极大的程度上取决于我们的推进科技的步伐。此外,仅仅跟上世界其他国家科学的脚步是不够的。我们必须保持我们的领先地位。”的确,美国在科学和工程领域的领先地位得益于杜鲁门政府所设立的目标。今天,杜鲁门所说的话对于任何希望通过创新来维持可持续的竞争力和经济增长力的国家依然有极大的可借鉴价值。        有人说:“要与他国竞争取胜,必须在计算模拟上取胜。”在计算模拟上取胜是什么概念呢?IDC 2009年发表的“全球高性能计算硬件、网络设备和软件销售数据”显示:高性能市场份额中北美占了50%,欧洲32%,日本5%,亚太12%,其他地区1%。北美绝大部分是美国所占有。所以,从资金投入上,我们清楚地看出美国在高性能计算上的投入超过世界上任何国家,显示出美国要在计算模拟领域继续保持领先地位的决心。因此,高性能计算技术的重要性不言而喻。        承载了我多年来在高性能计算领域积累的思想和经验,我希望通过《微软高性能计算服务器》一书帮助专业领域的读者一步步掌握HPC服务器的使用诀窍。它有几百张截图,而且书中所有的示例代码、脚本文件、Visual Studio项目都可以从TechNet下载。  …

0

穿越成长:我在微软总部的丝绸之路(二)

穿越成长:我在微软总部的丝绸之路(一)   办公室的大门永远敞开        在上海工作久了,刚到总部的时候,拥有了想去找美国同事就能直接去他们办公室找的权利,还真是不适应!在总部工作最大的好处就是大多数同事随时在线或在办公室里,有邮件说不清的事情可以立刻当面讨论,让人心里特别踏实。而在上海的时候,常常是一封邮件过去要等一个晚上才能得到回复,如果碰巧有理解错误,得再一封信过去解释,来来回回地一个问题可能要几天才能解决。而在总部,可能解决同样的问题只需要一个小时!        很多同事的大门永远敞开着,随时就能过去请教问题或讨论问题。我也从中受益匪浅。面对面的交流,让我更深地感受到微软人的友好和亲切。有一次,我们遇到一个SharePoint问题,需要确认特定情况下的用户输入和期待的产品行为。几个邮件来回之后,我们意识到最有效的方法应该是见面讨论。于是当天我们就赶到了17号办公楼的SharePoint团队,坐进了一个测试人员的办公室,和他一同在电脑前仔细讨论了产品行为,一个小时后,问题解决了!我们击掌相庆!        另一次我印象很深的是去Team Foundation Server(TFS)团队的一名资深PM的办公室,在半小时内完成了我之前以为很艰巨的任务,也让我感受到微软信息渠道的通畅!在Developer Division(开发工具部),我们已广泛使用TFS来跟踪多种工作项,而每个工作项的模板是由TFS团队统一设计管理的。一次我们团队希望能在模板中添加一个域来记录每个功能的性能测试结果。这虽然是小小的要求,但是模板的改动将会影响到上千名开发工具部工程师的使用。于是,我先向产品组提交了这个要求,经同意后又提交给了整个Visual Studio大组,一番讨论之后得到批准,接下来就需要决定如何进行这个改动。就这样,我找到了TFS团队的PM。在他的办公室里,我们在电脑前仔细查看了TFS工作项现有的结构和已有的工作项的域,讨论了可能的添加和设计的方式,最后决定复用一个已有的域来满足我们的需求。半个小时之后,我刷新了TFS工作项,看到了新的域已经准备就绪!        开放的办公室文化,同事们的友善和帮助,让我很快适应了总部的工作节奏,也让我了解到一些看起来困难的事(尤其是在上海的话!)其实并没有那么难。   我在微软三年啦!        今年3月29日是我来微软三周年的纪念日。一早我就在办公室门口摆上了三磅的巧克力。这是微软的传统 —— 一年=一磅巧克力。路过的同事停下拿块巧克力,认识的不认识的,我们也顺便聊几句。很喜欢这样的传统。其实不仅是纪念日、生日、刚来微软的新人、产品里程碑的时候,大家都会在办公室门口摆上一些零食,所以很多时候能在走廊里找些吃的!即使是去到其他办公楼,在不相识的同事办公室门口也可以拿块糖,顺便打个招呼。        有时候大的产品里程碑时,还会有更大规模的庆祝Party。整个产品组聚到一起,有啤酒和各种饮料,还有薯片等零食,然后大家一起开心的玩Xbox 360的“吉他英雄”。看平时严肃的老板拿着麦克风吼着摇滚,大家都乐不可支。        还有一次,我们集体庆祝了St. Patrick’s Day ( “爱尔兰日”)。大家准备了许多绿色的道具,把每个人都打扮得“绿色洋溢”,又享受了一个放松的周五下午!:-)   硝烟纷飞的Ship-room        Ship-room是很有微软特色的会议之一。        当产品临近发布的时候,Ship-room便成立了,会议上会决定哪些缺陷会在这个版本中修复、哪些缺陷不修复,并审查整个项目的进度,确保产品能按时发布。参与者通常是Release Manager(产品发布经理)及每个功能团队的代表。临近发布的时候,气氛开始紧张,即使一个很小的改动,都可能引发连锁问题,进而影响产品的如期发布。因此Ship-room会议必须严格把关,确保只有极其必要的修复才能签入到产品代码中。另一方面,每个功能团队都希望能尽可能多得修复缺陷。因此Ship-room的会议时常硝烟纷飞。        进入询问阶段 (Ask Mode)以后,如果一个功能团队希望签入一个修复,则必须由一个代表将缺陷提交Ship-room审批,而这个代表最好有超强的抗压力,因为在这个会议上各种问题和不同意见会从四面八方狂轰滥炸过来。我在总部期间有幸来到这著名的“战场”,目睹各位代表们舌战群儒,深切地感受到了公司对产品质量的严格把关精神,也学习到了唯有从用户至上的角度出发才能在这场“战争”中取胜。衡量每一个缺陷的关键中的关键是,这个修复带给用户什么样的利益?如果一个修复无法为用户提供更好的体验,那么其它一切都免谈。代表们需要为每一个缺陷提供一个扎实的用户体验的场景,对用户有益的修复才有可能获得Ship-room开出的签入通行证。        目睹了Ship-room的“严苛”要求,深知获得Ship-room通行证的艰难,给了我很多的启示。现在,每做一个设计的决定时,每遇到一个问题时,我都会想起那些在Ship-room中被“子弹”攻击得体无完肤的代表们。一个个隐藏着的问题,都像一个不定时炸弹,随时发生。而炸得越晚,伤亡越惨,几乎没有补救的机会。让前线战士免受伤害的方法,就是及早发现并解决问题!   直面客户 – 你希望我们怎么做?        在总部期间,我还参加了好几次与客户面对面交流的活动。给我感受最深的一次莫过于3月的微软全球最有价值专家(MVP)峰会了。这个峰会聚集了全球MVP与微软开发团队直面互动。整整一个星期,开发团队向MVP们介绍各个正在开发的产品信息,其中很多信息都是未公开的。除此以外,MVP们也可以直接向开发团队提出他们对产品和技术的反馈和需求。与其它公开讲座不同,MVP峰会更像一场互动的讨论会。        峰会上,微软开发团队最常用的开场白就是“这些是我们正在考虑的新版本功能,你希望我们在其中怎么做选择?”有时,我们让MVP挑选他们希望我们做的优先级最高的三个功能;有时也用虚拟问题“如果你有100元,你会投资哪几个功能?”。但无论用哪种方式,我们都能从中获得许多宝贵的信息和意见。MVP们往往能提出很有见地的想法,也常常带给我们更多启发。这些反馈的意见都会成为我们产品设计的重要砝码,每做一个决定时,都会先问问自己“用户想要什么?”,再想想,用户会喜欢和赞同这个设计吗?如果这一关过不了,那么可能需要重新考虑了。   飞回上海        六个月的时光不短也不长,冬去春来,转眼六月了。我还意犹未尽之时,却要收拾行囊了。这次,我的大箱子里除了来时的生活用品,更是装满了沉甸甸的收获。学到了许多,却感觉还有更多的未知。六月的西雅图微风和熙,与来时的瑟瑟寒冬相比恍若隔世,而我,也仿佛经历了一次成长的穿越,在时空变换之间完成了一次历练。…

0

微软产品开发中的“战争与和平”

    冲突是微软开发工作时的常态,每个微软新产品的孕育过程概莫能外地充斥着质疑、抗争、苦闷、忐忑……理念的交击、智慧的冲撞让软件开发的各个阶段都弥漫着硝烟,直至产品发布,然后又要迈入下一个循环。对于微软工程师们来说,这样的经历就仿佛是一次次痛苦但不乏惊喜的涅槃。     这篇博客记录了微软Windows Server 2008 R2*中国团队的一些真实经历与感悟,例如“暗藏杀机”的季度性产品评审会议;微软工程师如何“向用户学习”;软件开发过程中只有对错、没有“权威”……     *Windows Server 2008 R2是与Windows 7同步研发、同时面世的微软新一代服务器操作系统。     Windows Server 2008 R2今天在北京正式发布,由我们负责开发的Active Directory Administrative Center(活动目录管理中心,以下简称“ADAC”)也将真正开始接受IT管理员们的检验。     为迎接这一天,我们准备了非同寻常的一年半。有过重重压力,有过混乱无序,甚至怀疑过这是否是“不可能完成的任务”。而当Windows Server 2008 R2预发布版本问市后,美国权威IT技术信息杂志《Windows IT Po》在一篇新功能点评文章中,将ADAC评价为最受关注新功能第一名,这让我们高兴了好一阵子——我们收获的不仅仅是一件令团队成员自豪的产品,更重要的是,我们证明了中国研发团队的能力。     在我们在踏上新的征程之时,谨以三个幕后故事来记录我们的努力和过往那些“硝烟弥漫”的日子。   测试主管Jun的故事:从虚无缥缈到事实     Windows Server 2008 R2即将发布第一个测试版时,Jun正在美国参加一个季度性产品评审会议。当时,他的测试团队因为对ADAC采取了与美国不一样的测试策略,在产品开发前期更激进地寻找bug,最后挖出了538个,“荣登”活动目录整个产品线所有新旧产品bug数榜首,并几乎与“活动目录”其他产品的总bug量相当——作为团队代表,如果Jun无法让管理层信服,整个中国开发团队能够在Windows Server 2008 R2发布前解决这些问题,那么这个项目很可能会被砍掉,这意味着十多位工程师一年多的努力将化为泡影。     当Jun不厌其烦地阐述、分析,并反复强调ADAC一定能够和Windows Server 2008 R2一起发布的时候,“活动目录”产品线的总经理,一位白胡子老者(真的很像圣诞老人)笑眯眯地转过头说:“你知道在英语中我如何来描述你的结论(可以和Windows Server 2008 R2 一起发布)吗?我比较喜欢这个单词:illusion (虚无缥缈)”。     那一刻,虽然Jun嘴上依然挂着笑容,但是阵阵冷汗已在后背泛起… …在强迫自己冷静之后,Jun回答道:“我们看到的不只是静态的数据,还是一个发展的趋势,基于bug数量递减的速度和趋势,我依然有信心,我们能够完成这一产品。”     不知道是被中国团队的执着所打动,还是真的相信了Jun的“趋势论”,总之“圣诞老人”在会后并未将这个项目从Windows…

4

11月6日、7日北京,我们TechEd见

      2009年微软技术大会(TechEd)中国下周就将在北京召开了,服务器与开发工具事业部的中国研发团队将派出31位项目经理、软件设计开发工程师和软件测试开发工程,与中国程序开发者和IT从业人员分享我们最新的产品开发。以下是我们负责的课程、动手实验室和专家交流区列表,希望能在大会现场与大家面对面交流。 针对程序开发者: 时间 课程标题 主讲人 课程简介 11/6 9:25-11:40 WUX301 用Silverlight进行高效的RIA商务应用开发 郭晓颖 类别:互联网新技术 本讲座将为您介绍用Silverlight 3构建商务应用的传统体验以及.NET RIA Services为基于Silverlight及ASP.NET的商业应用开发注入的新活力。 11/6 9:25-11:40 DEV201 在大型研发团队中玩转Agile — 微软研发团队敏捷开发最佳实践(英文课程) Ramesh Rajagopal 钟鸣 类别:开发工具与技术 本讲座将为您介绍微软的Visual Studio研发团队如何将敏捷方法具体应用于实际的软件开发,并且带来巨大效益的经验分享。 11/6 14:25-16:45 ARC321 多核时代: 并行计算进军主流 朱金生 类别:软件架构及云计算 本讲座将为您介绍微软正探索发掘的一种全新方法,让开发人员通过并行计算来充分利用多核性能,从而开发出在现代多核系统上运行的极具吸引力的全新用户体验。 11/6 15:50-17:00 DEV311 用Visual Studio 2010构建SharePoint 2010应用实战体验 陆榕 类别:开发工具与技术 本讲座将带您全面领略将在Visual Studio 2010中发布的SharePoint 开发工具,包括全新的工程和项目模板等。 11/6 17:15-18:15 BAP303 BizTalk Server…

0