深入探索PowerPivot客户端和服务器端架构

2008年,我们与聚集在微软技术大会的IT朋友们分享了商业智能的未来。在讲座中,我们谈到自助式商业智能的愿景。2009年,我们与聚集在微软技术大会的IT 朋友们分享了PowerPivot客户端的功能。 2010年12月1日- 2010年12月3日,许多IT朋友们聚集在北京参加微软技术大会(Microsoft TechEd China 2010)。在今年的技术大会上,我们与大家探索PowerPivot客户端和服务器端的总体架构。 当用户使用PivotTable连接到在 Excel 外的数据源(External Data Sources)时,Excel用不同的数据源连接器来做连接。其中,当连接到分析服务器时,Excel用了MSOLAP OLE DB Provider来做连接。在MSOLAP OLE DB Provider的连接字符串,我们提供了分析服务器的名字和连接方式(例如:Server Name, Credentials,等等)。MSOLAP Provider 通过TCP传输来与分析服务器沟通。此外,当连接字符串中有HTTP字符时,MSOLAP Provider 将通过HTTP传输来与安装在服务器的数据泵(data pump)与分析服务器沟通。当连接字符串中指定了部署在Sharepoint Farm中的Excel文件时,MSOLAP Provider也将用HTTP传输。 介绍了TCP 和HTTP传输后,我们也谈到了一个新的Inproc传输。MSOLAP OLEDB Provider通过Inproc传输来连接到内存中的PowerPivot引擎。嵌入在Excel工作簿中的PowerPivot 数据在打开文件时被恢复到PowerPivot引擎。客户端的PowerPivot 插件用了熟悉的Analysis Management Objects(AMO)和ADOMD.Net来对PowerPivot引擎进行查询和操作。 最后,我们谈到了部署在Sharepoint Farm的PowerPivot。我们介绍了在Sharepoint Farm中的几个PowerPivot的组建。这包括了:PowerPivot Web Service(PWS)和PowerPivot  System Service(PSS)。PowerPivot Web Service(PWS)是一个在SharePoint前端的薄中间层。PWS 负责把来自Sharepoint Farm外的请求转发到服务器中的PowerPivot服务程序。我们也谈到了在Sharepoint Farm中,MSOLAP OLEDB Provider如何用Window Communication Foundation(WCF)为基础的Channel运输来与PowerPivot  System Service(PSS)沟通。   更多参考资源:…


应用于数据层开发、部署、升级和管理的标准解决方案——数据层应用程序

大家好! 在刚刚结束的Microsoft TechEd 2010,我们通过动手实验,让大家体验了如何使用数据层应用程序(DAC)进行轻松高效准确的数据层开发、部署、升级和管理,并收到了很好的反馈。为了能够和更多的开发人员和数据库管理员介绍和分享DAC,我们特撰文如下,以飨读者。 对于普通应用程序的部署和升级,大家已经非常熟悉和习惯的使用MSI或者Click Once了。那么对于数据层,微软有什么类似的标准而易用的解决方案,可以统一将所需的所有数据库和实例对象(例如,用户表、存储过程、视图、登录等)统一打包,能够对版本,部署和升级条件及策略的声明和控制呢?这就是数据层应用程序(Data-tier Application,DAC)。 数据层应用程序DAC可使用以下两个工具来实现: 可使用 Microsoft Visual Studio 2010 中的数据层应用程序项目编写和构建 DAC,并可以进行对 T-SQL 代码运行静态代码分析、重构 T-SQL 代码、声明 版本和部署意向的策略;升级DAC时还可以对数据层应用程序进行架构对比。 可以使用 SQL Server Management Studio 中的提取数据层应用程序向导从现有的数据库中提取 DAC,或进行DAC的部署、升级和统一管理。 数据层应用程序DAC在软件生命周期中的具体应用: 开发:Visual Studio 2010 中添加了一些新功能和增强功能: 全面支持数据层应用程序开发。 全新的 Transact-SQL 编辑器体验。 集成式编辑器、调试器、离线和在线 IntelliSense、语言服务和策略设计器。 静态代码分析和构建服务。 部署:引入全新的部署单元DAC包( DACPAC),从而轻松高效准确地从 Visual Studio 2010 和 SQL Server Management Studio 部署和升级数据层应用程序。DACPAC是.zip格式的,其中包含.XML和.SQL文件,以方便浏览和对比。 管理:SQL Server 2008 R2 引入了…


SQL @ TechEd 2010

2010微软技术大会将于2010年12月1日至3日在国家会议中心举办。除了Simon Leung 和Enwei Xie的主题演讲之外,大会将开设6个动手实验营、10个分会技术课程共16个技术分类的近200场精彩课程演讲。 按照时间顺序,SQL中国研发团队将贡献如下课程: SQL Server 2008 R2 数据压缩的最佳实践技巧和新增功能 方峻12/2, 9:45-10:45 分会场八 DAT-300-3SQL Server 2008 推出数据压缩后非常受用户欢迎,得到了广泛的采用。本讲座将简单回顾一下数据压缩的功能,然后重点讨论一些常见的客户问题,实践技巧,应用场景和性能影响,并通过这些来帮助您选择什么时候采用哪种压缩技术。之后讲座将介绍 SQL Server 2008 R2 上数据压缩的新功能,对 Unicode 字符数据的压缩。 如果构建企业级的ETL 孙巍12/2, 9:45-10:45 分会场九 BIC-300-3数据整合及清洗是企业实现BI的必要步骤,生成及输出的数据是BI系统的数据基石。微软的SQL Server Integration Service(SSIS)提供了一套完整的ETL解决方案,不但从功能上满足了整合及清理的要求,还提供了强大的流程控制及扩展功能。企业级ETL解决方案不但要考虑转换功能实现,更多的是要考虑流程、性能、可管理性、可扩展性。本讲座将从企业对于ETL解决方案的需求开始完整的阐述如何使用SSIS实现企业级ETL。 SQL Server Cluster 多子网支持和新的故障检测机制 何民12/2, 11:00-12:00 分会场二 DAT-300-4课程由两部分组成:(一)SQL Server 多子网故障转移集群(multi-subnet failover clustering)可用于部署高可用系统之上的灾难恢复系统。本讲座将介绍多子网集群概念,和V-LAN解决方案的比较及部署的最佳实践。(二)即将发布的SQL Server 下一版本中,故障转移集群使用了 全新的故障检测机制。这一部分讲座包含对新的系统存储过程sp_server_diagnostics的介绍, 新的故障检测机制与SQL Server 2008 R2 之前版本的故障检测机制的对比,如何定制故障条件级别,以及演示。 SQL Server 2008 R2/PowerPivot探秘 卓伟雄12/2, 14:30-15:30 分会场九…


TechEd 2009 SQL Server动手实验答疑

TechEd2009上的SQL Server动手实验得到了广大学员的欢迎,不但积极与讲师们互动,还提出了许多高质量问题。在这篇博文中,我们总结了一些代表性的问题与大家共享。 问:SQL分区的最佳实践是什么?微软建议一个SQL Server上有多少个分区最佳?是10-100么?每个分区的最佳的大小是多少?答:尽管分区表最多可以分成1000个分区(详见http://msdn.microsoft.com/en-us/library/ms143432.aspx),但数据库的性能和空间达到最佳优化的时候,应该是某一个平衡点,因为分区过少或过多都会有额外的开销。建议是根据具体条件,首先建立一个基准配置环境和基准性能尺度作为参考,然后逐步改变分区数和/或分区大小,分析变化,然后逐步找到最佳点。 问:在SQL Server 2005/2008上,当一个存储过程执行返回千万行的时候,SQL Server会占到16G的内存。有没有一个方法能让SQL Server自动的释放内存?答:SQL Server能够很好的管理和使用所分配的内存。需要更多可用内存时,SQL Server会自动根据最旧最少使用的算法分配一些内存。当系统内存不足时,SQL Server也会自动释放一些内存。不建议使用DBCC FREESYSTEMCACHE或DBCC DROPCLEANBUFFERS等命令释放内存,这样会严重损坏系统的总体性能。 问:在SQL 2005上,对一个视图做了一个索引,但是当查询表的时候,在执行计划中,查看到那个视图的索引被采用了,这是怎么回事? 答:SQL Server查询优化器会根据索引和统计自动选择最佳的查询执行计划。 问:有一个网站每天有大量的日志,大约每天3G。用户希望把这些日志数据保存到SQL数据库中然后进行分析,SQL server有相关的解决方案么? 听说MySQL有类似的方案 🙂答:可以使用SQL Server对网络日志进行分析。建议是按照日志格式建立表,然后BULK INSERT日志到表中,然后可以用SQL Server Analysis Service进行数据分析。详细步骤请参考http://support.microsoft.com/kb/296085。 问:有没有一个方法把一个表的数据存放在一个指定的数据文件中?用户的场景是这样的:有一个数据量很大的表,用户希望将经常查询的数据放在一个高速磁盘上,将很少查询的数据放在一个低速的磁盘上。注意,随着时间的推移,常用的数据会变成不常用的数据,但是,SQL Server表的分区只支持在同一个分区内进行切换(SWITCH),而且,在一个分区中,无法指定将数据放到哪一个文件中,当一部分常用数据变成不常用数据时,如何将这部分新的不常用数据移到低速磁盘上?答:SQL Server的表是基于文件组进行管理的。建议的解决方案有以下两种。第一,可以先创建一个文件组,然后在那个慢速磁盘上创建一个文件并归到这个文件组,然后用create table on filegroup 的语法方式创建表,最后将数据从表中迁移过来。第二,以2007年、2008年和2009年数据为例,可以先创建一个文件组FileGroupA,然后在那个慢速磁盘上创建一个文件并归到这个文件组FileGroupA,然后在这个文件上建表和分区PartitionA,如图1;然后SPLIT分区,从V1到V1+V2,将数据2008、2009分开为FileGroupB和FileGroupC上的分区PartitionB和PartitionC,如图2;最后合并MERGE分区PartitionB到PartitionA,如图3。 问:分析服务的备份和恢复时,选择文件路径的窗口没有 [浏览 … ] 功能,只支持用户手动输入。答:这个问题已反馈给产品组。 曾屹 林默


精彩的微软技术大会(TechEd)- 你去了吗?

每个微软技术大会(TechEd)对我来说都具有特别的意义。因为在这个里,我能遇到许多对微软技术有浓厚兴趣和热情的朋友们。在这个里,我们一起互动,一起讨论微软的最新技术。今年IT朋友们都共聚在北京的国家会议中心参加微软技术大会。  在这三天里,SQL Server 团队的讲师们也与大家分享了许多对云端数据库 (SQL Azure)、商业智能 (Business Intelligence)、数据库管理、虚拟化和跟踪及排错的最新发展。今年商业智能的巨人Donald Farmer 也前来赴约。Donald与大家分享了数据挖掘的技术和自助式商务智能。从数据挖掘的讲座中,大家深入了解如何应用数据挖掘的技术在 SQL Server 动态数据库管理视图(DMV) 的数据中找出异常。从自助式商务智功能的讲座中,Donald 介绍了自助式商务智能的重要性和PowerPivot 如何让熟悉Excel 的用户分析海量的数据。在演示中,大家都对PowerPivot 如何快速的分析了一亿行数据叹为观止,不约而同的热烈拍掌! 微软技术大会(TechEd)结束了!但我深信参加大会的朋友们都增加了对微软技术的了解与热情。真棒! 项目经理卓伟雄


我们TechEd见

2009年微软技术大会(TechEd)中国下周就将在北京召开了,SQL Server中国研发团队将派出多位项目经理、软件设计开发工程师和软件测试开发工程师,与中国程序开发者和IT从业人员分享我们最新的产品开发。以下是我们负责的课程、动手实验室和专家交流区列表,希望能在大会现场与大家面对面交流。 针对程序开发者 时间 课程标题 主讲人 课程简介 11/7 15:50-17:00 BAP302   SQL Server 2008 R2的自助式商务智能(英文课程) Donald Farmer 卓伟雄 类别:商务智能及商业应用平台本讲座将为您详尽介绍R2中的BI新特性,以及Gemini中的个人商务智能 针对IT专业人士 时间 课程标题 主讲人 课程简介 11/6 8:00-9:10 DAT331   先睹为快 微软云计算数据库平台 — SQL Azure 吴中伟 李刚毅 类别:数据平台管理与开发 本讲座将为您介绍清晰而全面的SQL Azure信息包括SQL Azure的架构、基本概念、目前支持的各种功能等。 11/6 13:00-14:10 DAT201 SQL Server 2008 数据库引擎: 产品发布十五个月后 王枫 类别:数据平台管理与开发 本讲座将对SQL Server 2008针对数据库引擎的主要新功能作一个全面的介绍。 11/6 14:25-15:35 DAT221   SQL Server…


体会Microsoft的更快、更高与更强——侧记TechEd 2008上海技术大会

2008年是奥运年,2008年对Microsoft来说也是至关重要的一年,多项重量级产品都在这一年发布。正如奥林匹克运动会所提倡的更快、更高与更强,在Microsoft这一年所发布的产品中,人们处处都可以看到Microsoft的更快、更高与更强的精神——在参加完TechEd 2008上海站的技术大会之后,我对此又有了更深切的感触。 TechEd 技术大会是Microsoft在全球为IT业内人士举办的年度技术教育大会。自1994年登陆中国以来,TechEd迄今为止已举办了13届。今年的TechEd技术大会分别在广州、上海和北京举办,与会者人数远远超过去年,达到6500多人。 图1 谢恩伟在2008 TechEd Keynote上介绍动态IT 2008年11月4日,上海站的TechEd技术大会在上海贵都大酒店盛大开幕了。微软中国研发集团服务器与开发工具事业部的总经理谢恩伟在Keynote上介绍了多款Microsoft服务器端最新产品和工具,包括Microsoft Virtualization、Windows HPC Server、SQL Server 2008以及Visual Studio 2008。在11月4日的Keynote上,微软及合作伙伴们对这些产品和工具进行了精彩的展示。对于IT经理们,最大的亮点莫过于Microsoft Virtualization产品的Demo。IT经理们在一天之中的忙碌工作以及遇到的各种问题被拍摄成一小段VCR,而Microsoft Virtualization产品针对VCR中各种问题都提供了快速而高效的解决方案。通过现场一位IT经理的现身说法,Microsoft产品的最新特性深深打动了在场听众的心。 作为TechEd 2008上海站SQL Server Booth中的一员,我也亲身感受到了TechEd与会者对SQL Server 2008新产品的热情和激动的心情。在SQL Server的展台周围有很多企业的IT架构人员和技术人员前来询问SQL Server产品的使用问题以及SQL Server 2008的新技术特性。与会者对SQL Server的存储能力和SQL Server商务智能(Business Intelligence – BI)中数据分析和挖掘关注度比较高。有些与会者所在公司的技术架构中并没有采用或者即将采用SQL Server数据库,他们对SQL Server新产品特性亦表现出了很高的关注度。我们展台派发的SQL Server 2008的试用光盘在当天下午第一节课程结束之前就被索取完毕。 图2 微软产品展区人头攒动 SQL Server 2008已经在今年7月份正式发布了,新产品同时凝结了Microsoft总部和中国SQL Server研发团队的努力和辛勤劳动。在4日、5日两天的课程中,来自美国 SQL Server Analysis Services的部门项目经理Donald Farmer和我所在SQL Server中 国研发中心SQL BI研发部门的部门经理赵晓燕一同主讲了《SQL Server 2008的BI新特性》和《商务智能的未来之路》两门课程。在4日的《SQL Server 2008的BI新特性》中,Donald和晓燕不仅对SQL…