《解剖PetShop》系列之三

简介:
< DOCTYPE html PUBLIC -WCDTD XHTML StrictEN httpwwwworgTRxhtmlDTDxhtml-strictdtd>

三.PetShop数据访问层之消息处理

在进行系统设计时,除了对安全、事务等问题给与足够的重视外,性能也是一个不可避免的问题所在,尤其是一个B/S结构的软件系统,必须充分地考虑访问量、数据流量、服务器负荷等问题。解决性能的瓶颈,除了对硬件系统进行升级外,软件设计的合理性尤为重要。

在前面曾提到,分层式结构设计可能会在一定程度上影响数据访问的性能,然而与它给设计人员带来的好处相比,几乎可以忽略。要提供整个系统的性能,还可以从数据库的优化着手,例如连接池的使用、建立索引、优化查询策略等等,例如在PetShot中就利用数据库的Cache,对于数据量较大的订单数据,则利用分库的方式为其单独建立Order和Inventory数据库。而在软件设计上,比较有用的方式是利用多线程与异步处理方式。

在PetShop4.0中,使用了Microsoft Messaging Queue(MSMQ)技术来完成异步处理,利用消息队列临时存放要插入的数据,使得数据访问因为不需要访问数据库从而提供了访问性能,至于队列中的数据,则等待系统空闲的时候再进行处理,将其最终插入到数据库中。

PetShop4.0中的消息处理,主要分为如下几部分:消息接口IMessaging、消息工厂MessagingFacroty、MSMQ实现MSMQMessaging以及数据后台处理应用程序OrderProcessor。从模块化上分,PetShop自始自终地履行了“面向接口设计”的原则,将消息处理的接口与实现分开,并通过工厂模式封装消息实现对象的创建,以达到松散耦合的目的。

由于在PetShop中仅对订单的处理使用了异步处理方式,因此在消息接口IMessaging中,仅定义了一个IOrder接口,其类图如下:

《解剖PetShop》系列之三 - netcorner - netcorner的博客

在对消息接口的实现中,考虑到未来的扩展中会有其他的数据对象会使用MSMQ,因此定义了一个Queue的基类,实现消息Receive和Send的基本操作:
public virtual object Receive()
{
     try
     {
         using (Message message = queue.Receive(timeout, transactionType))
         return message;
     }
     catch (MessageQueueException mqex)
     {
         if (mqex.MessageQueueErrorCode == MessageQueueErrorCode.IOTimeout)
         throw new TimeoutException();
         throw;
     }
}

public virtual void Send(object msg)
{
     queue.Send(msg, transactionType);
}
一旦IOrder接口的实现发生变化,这种实现方式就可以使得客户仅需要修改配置文件,而不需要修改代码,如此就可以避免程序集的重新编译和部署,使得系统能够灵活应对需求的改变。例如定义一个实现IOrder接口的SpecialOrder,则可以新增一个模块,如PetShop.SpecialMSMQMessaging,而类名则仍然为Order,那么此时我们仅需要修改配置文件中OrderMessaging的值即可:
<add key="OrderMessaging" value="PetShop.SpecialMSMQMessaging"/>

其中queue对象是System.Messaging.MessageQueue类型,作为存放数据的队列。MSMQ队列是一个可持久的队列,因此不必担心用户不间断地下订单会导致订单数据的丢失。在PetShopQueue设置了timeout值,OrderProcessor会根据timeout值定期扫描队列中的订单数据。

MSMQMessage模块中,Order对象实现了IMessaging模块中定义的接口IOrder,同时它还继承了基类PetShopQueue,其定义如下:

public class Order:PetShopQueue, PetShop.IMessaging.IOrder

方法的实现代码如下:
public new OrderInfo Receive()
{
    / This method involves in distributed transaction and need Automatic Transaction type
     base.transactionType = MessageQueueTransactionType.Automatic;
     return (OrderInfo)((Message)base.Receive()).Body;
}

public OrderInfo Receive(int timeout)
{    
     base.timeout = TimeSpan.FromSeconds(Convert.ToDouble(timeout));
     return Receive();
}

public void Send(OrderInfo orderMessage)
{
    / This method does not involve in distributed transaction and optimizes performance using Single type
     base.transactionType = MessageQueueTransactionType.Single;
     base.Send(orderMessage);
}
《解剖PetShop》系列之三 - netcorner - netcorner的博客 

注意在Order类的Receive()方法中,是用new关键字而不是override关键字来重写其父类PetShopQueue的Receive()虚方法。因此,如果是实例化如下的对象,将会调用PetShopQueue的Receive()方法,而不是子类Order的Receive()方法:

PetShopQueue queue = new Order();
queue.Receive();

从设计上来看,由于PetShop采用“面向接口设计”的原则,如果我们要创建Order对象,应该采用如下的方式:

IOrder order = new Order();
order.Receive();

考虑到IOrder的实现可能有变化,PetShop仍然利用了工厂模式,将IOrder对象的创建用专门的工厂模块进行了封装:

《解剖PetShop》系列之三 - netcorner - netcorner的博客

在类QueueAccess中,通过CreateOrder()方法利用反射技术创建正确的IOrder类型对象:
public static PetShop.IMessaging.IOrder CreateOrder()
{
     string className = path + ".Order";
     return PetShop.IMessaging.IOrder)Assembly.Load(path).CreateInstance(className);
}
path的值通过配置文件获取:
private static readonly string path = ConfigurationManager.AppSettings["OrderMessaging"];

而配置文件中,OrderMessaging的值设置如下:
<add key="OrderMessaging" value="PetShop.MSMQMessaging"/>

之所以利用工厂模式来负责对象的创建,是便于在业务层中对其调用,例如在BLL模块中OrderAsynchronous类:
public class OrderAsynchronous : IOrderStrategy
{
private static readonly PetShop.IMessaging.IOrder asynchOrder = PetShop.MessagingFactory.QueueAccess.CreateOrder();
public void Insert(PetShop.Model.OrderInfo order)
{
   asynchOrder.Send(order);
}
}

OrderProcessor是一个控制台应用程序,不过可以根据需求将其设计为Windows Service。它的目的就是接受消息队列中的订单数据,然后将其插入到Order和Inventory数据库中。它利用了多线程技术,以达到提高系统性能的目的。

在OrderProcessor应用程序中,主函数Main用于控制线程,而核心的执行任务则由方法ProcessOrders()实现:
private static void ProcessOrders()
    {
// the transaction timeout should be long enough to handle all of orders in the batch
TimeSpan tsTimeout = TimeSpan.FromSeconds(Convert.ToDouble(transactionTimeout * batchSize));
Order order = new Order();
while (true)
    {
         / queue timeout variables
     TimeSpan datetimeStarting = new TimeSpan(DateTime.Now.Ticks);
     double elapsedTime = 0;
     int processedItems = 0;
     ArrayList queueOrders = new ArrayList();
using (TransactionScope ts = new TransactionScope(TransactionScopeOption.Required, tsTimeout))
    {
    / Receive the orders from the queue
     for (int j = 0; j < batchSize; j++)
        {
         try
            {
            /only receive more queued orders if there is enough time
             if ((elapsedTime + queueTimeout + transactionTimeout) < tsTimeout.TotalSeconds)
                {
                 queueOrders.Add(order.ReceiveFromQueue(queueTimeout));
             }
             else
                {
                 j = batchSize;   / exit loop
             }
        /update elapsed time
elapsedTime = new TimeSpan(DateTime.Now.Ticks).TotalSeconds - datetimeStarting.TotalSeconds;
         }
         catch (TimeoutException)
            {
            /exit loop because no more messages are waiting
             j = batchSize;
         }
     }
    /process the queued orders
     for (int k = 0; k < queueOrders.Count; k++)
        {
         order.Insert((OrderInfo)queueOrders[k]);
         processedItems++;
         totalOrdersProcessed++;
     }
    /batch complete or MSMQ receive timed out
     ts.Complete();
     }
Console.WriteLine("(Thread Id " + Thread.CurrentThread.ManagedThreadId + ") batch finished, " + processedItems + " items, in " + elapsedTime.ToString() + " seconds.");
}
}


首先,它会通过PetShop.BLL.Order类的公共方法ReceiveFromQueue()来获取消息队列中的订单数据,并将其放入到一个ArrayList对象中,然后再调用PetShop.BLL.Order类的Insert方法将其插入到Order和Inventory数据库中。

在PetShop.BLL.Order类中,并不是直接执行插入订单的操作,而是调用了IOrderStrategy接口的Insert()方法:

public void Insert(OrderInfo order)
    {
    / Call credit card processor
     ProcessCreditCard(order);
    / Insert the order (a)synchrounously based on configuration
     orderInsertStrategy.Insert(order);
}


在这里,运用了一个策略模式,类图如下所示:

在这里,运用了一个策略模式,类图如下所示:

《解剖PetShop》系列之三 - netcorner - netcorner的博客

在PetShop.BLL.Order类中,让然利用配置文件来动态创建IOrderStategy对象:
private static readonly PetShop.IBLLStrategy.IOrderStrategy orderInsertStrategy = LoadInsertStrategy();
private static PetShop.IBLLStrategy.IOrderStrategy LoadInsertStrategy()
{
// Look up which strategy to use from config file
string path = ConfigurationManager.AppSettings["OrderStrategyAssembly"];
string className = ConfigurationManager.AppSettings["OrderStrategyClass"];
// Using the evidence given in the config file load the appropriate assembly and class
return (PetShop.IBLLStrategy.IOrderStrategy)Assembly.Load(path).CreateInstance(className);
}


由于OrderProcessor是一个单独的应用程序,因此它使用的配置文件与PetShop不同,是存放在应用程序的App.config文件中,在该文件中,对IOrderStategy的配置为:

<add key="OrderStrategyAssembly" value="PetShop.BLL">
<add key="OrderStrategyClass" value="PetShop.BLL.OrderSynchronous">


因此,以异步方式插入订单的流程如下图所示:

《解剖PetShop》系列之三 - netcorner - netcorner的博客

Microsoft Messaging Queue(MSMQ)技术除用于异步处理以外,它主要还是一种分布式处理技术。分布式处理中,一个重要的技术要素就是有关消息的处理,而在System.Messaging命名空间中,已经提供了Message类,可以用于承载消息的传递,前提是消息的发送与接收方的数据定义上应有统一的接口规范。

例如:在为一个汽车制造商开发一个大型系统时,分销商Dealer作为.NET客户端,需要将数据传递到管理中心,并且该数据将被Oracle的EBS(E-Business System)使用。由于分销商管理系统(DMS)采用的是C/S结构,数据库为SQL Server,而汽车制造商管理中心的EBS数据库为Oracle。这里就涉及到两个系统之间数据的传递。

实现架构如下:

《解剖PetShop》系列之三 - netcorner - netcorner的博客

首先Dealer的数据通过MSMQ传递到MSMQ Server,此时可以将数据插入到SQL Server数据库中,同时利用FTP将数据传递到专门的文件服务器上。然后利用IBM的EAI技术(企业应用集成Enterprise Application Itegration)定期将文件服务器中的文件,利用接口规范写入到EAI数据库服务器中,并最终写到EBS的Oracle数据库中。

上述架构是一个典型的分布式处理结构,而技术实现的核心就是MSMQ和EAI。由于我们已经定义了统一的接口规范,在通过消息队列形成文件后,此时的数据就已经与平台无关了,使得在.NET平台下的分销商管理系统能够与Oracle的EBS集成起来,完成数据的处理

本文转自 netcorner 博客园博客,原文链接: http://www.cnblogs.com/netcorner/archive/2007/06/23/2912353.html ,如需转载请自行联系原作者

相关文章
|
10月前
|
存储 编译器 C++
C嘎嘎~~[类 中篇]
C嘎嘎~~[类 中篇]
|
Java Android开发 索引
Android插件化开发基础之Java反射机制研究(2)
Android插件化开发基础之Java反射机制研究(2)
109 0
|
Java Android开发 数据库管理
Android插件化开发基础之Java反射机制研究(1)
Android插件化开发基础之Java反射机制研究(1)
105 0
|
Web App开发 JavaScript 开发者
揭开SAP Fiori编程模型规范里注解的神秘面纱 - @ObjectModel
揭开SAP Fiori编程模型规范里注解的神秘面纱 - @ObjectModel
114 0
揭开SAP Fiori编程模型规范里注解的神秘面纱 - @ObjectModel
|
设计模式 Java
掌握接口,从这三则案例开始! | 带你学《Java面向对象编程》之六十二
本节手把手带着读者借助接口和工厂设计模式完成获取类信息、处理绘图、设计图形类三则案例。
掌握接口,从这三则案例开始!  | 带你学《Java面向对象编程》之六十二
|
Java DataX
教你从实战中领悟继承(中) | 带你学《Java面向对象编程》之四十三
本节通过介绍字符串统计算法在两种思路下的不同实现方式,为读者展示了简单实现与结构化设计下的程序的不同。
|
Web App开发 缓存 前端开发
艾伟_转载:WCF版的PetShop之一:PetShop简介
本系列文章导航 WCF版的PetShop之一:PetShop简介 WCF版的PetShop之二:模块中的层次划分 WCF版的PetShop之三:实现分布式的Membership和上下文传递   在《WCF技术剖析(卷1)》的最后一章,我写了一个简单基于WCF的Web应用程序,该程序模拟一个最简单的网上订购的场景,所以我将其命名为PetShop。
1213 0
|
前端开发 JavaScript .NET
【ABP框架系列学习】介绍篇(1)
原文:【ABP框架系列学习】介绍篇(1)   0.引言 该系列博文主要在【官方文档】及【tkbSimplest】ABP框架理论研究系列博文的基础上进行总结的,或许大家会质问,别人都已经翻译过了,这不是多此一举吗?原因如下: 1.【tkbSimplest】的相关博文由于撰写得比较早的,在参照官方文档学习的过程中,发现部分知识未能及时同步(当前V4.0.2版本),如【EntityHistory】、【Multi-Lingual Engities】章节未涉及、【Caching】章节没有Entity Caching等内容。
1811 0