全球领先的電子商務系統開發及解决方案提供商

語言

幂等和高并发在电商系统中的使用

2018-11-07 1139
分类: 技术干货

关于幂等性将分别从高等代数中的幂等性、HTTP中的幂等性和订单生成系统中的幂等性阐述;并发性控制则提供了分布式锁等方式来对并发场景进行代码实现。

在Java web项目开发中,经常会听到在做订单系统中生成订单的时候,要做幂等性控制和并发控制,特对此部分内容作出总结,在高并发场景下,代码层面需要实现并发控制;但是幂等性,其实更多的是系统的接口对外的一种承诺,承诺一次请求和多次请求会返回同样的数据。关于幂等性将分别从高等代数中的幂等性、HTTP中的幂等性和订单生成系统中的幂等性阐述;并发性控制则提供了分布式锁等方式来对并发场景进行Java网上电子商城系统代码实现。

一、幂等性 idempotence  ['aɪdəmpoʊtəns]

1.高等代数中关于幂等idempotence概念解释:

独立商城网站的建设单目运算, x为某集合内的任意数, 如果满足f(x)=f(f(x)), 那么我们称f运算为具有幂等性(idempotent)。比如在实数集中,绝对值运算就是一个例子: abs(a)=abs(abs(a))。

双目运算,x为某集合内的任意数, f为运算子如果满足f(x,x)=x, f运算的前提是两个参数都同为x, 那么我们也称f运算为具有幂等性。比如在实数集中,求两个数的最大值的函数: max(x,x) = x, 还有布尔代数中,逻辑运算 "与", "或" 也都是幂等运算, 因为他们符合AND(0,0) = 0, AND(1,1) = 1, OR(0,0) = 0, OR(1,1) = 1。

在将幂等性应用到软件开发中,需要一些更深的理解,我的理解如下:数学处理的是运算和数值, 程序开发中往往处理的是对象和函数. 但是我们不能简单地理解为数学幂等中的运算就是函数,而数值就是对象。如Person对象有两个属性weight和age,但是所有的function只能对其中一个属性操作。所以从这个层面我们可以理解为: 函数只对该函数所操作的对象某个属性具有幂等性, 而不是说对整个对象有运算幂等性。 

幂等和高并发在电商系统中的使用

还有一点必须要澄清的是: 幂等性所表达的概念关注的是数学层面的运算和数值, 并没有提及到数值的安全性问题.如上面的Person的setAge函数, 有两种case不是幂等性所关心的, 但程序开发却又必须要关心的:

两个线程同时调用

因为age从业务上讲不可能递减, 如果前一次调用设置是30岁, 后一次调用变成了10岁或是更离谱的 -1 岁

幂等性是系统的接口对外一种承诺(而不是实现), 承诺只要调用接口成功, 外部多次调用对系统的影响是一致的。声明为幂等的接口会认为外部调用失败是常态, 并且失败之后必然会有重试。所以RESTful设计中将幂等性和安全性作为两个不同的指标来衡量POST,PUT,GET,DELETE操作的。因此,post不是幂等性的,put get delete都是幂等性的,也即在生成订单的post请求中,我们要做幂等性的控制。如下图,一个ajax请求是一次post请求的示例,如果这个post请求被调用多次,它会向表插入多条记录,很显然post请求并不是幂等性的,所以幂等性的控制交由我们程序中来控制。

幂等和高并发在电商系统中的使用

2.HTTP协议中的幂等性

项目中中的SOA和restful API接口的流行,都需要应用层HTTP协议的支持,目前的项目结构:Web API + RIA(Rich Internet Applications富互联网应用),Web API专注于提供业务服务,RIA专注于用户界面和交互设计,从此两个领域的分工更加明晰。正如简单的Java语言并不意味着高质量的Java程序,简单的HTTP协议也不意味着高质量的Web API。要想设计出高质量的Web API,还需要深入理解分布式系统及HTTP协议的特性。在HTTP1.1规范中定义幂等性。

Methods can also have the property of "idempotence" in that (aside from error or expiration issues) the side-effects   of N > 0 identical requests is the same as for a single request.

从定义上看,HTTP方法的幂等性是指一次和多次请求某一个资源应该具有同样的作用。幂等性是分布式系统设计中十分重要的概念,而HTTP的分布式本质也决定了它在HTTP中具有重要地位。比如有这样一个业务逻辑,假设有一个从账户取钱的远程API(可以是HTTP的,也可以不是),我们暂时定义接口:

bool withdraw(account_id, amount)

withdraw的语义是从account_id对应的账户中扣除amount数额的钱;如果扣除成功则返回true,账户余额减少amount;如果扣除失败则返回false,账户余额不变。值得注意的是:和本地环境相比,我们不能轻易假设分布式环境的可靠性。一种典型的情况是withdraw请求已经被服务器端正确处理,但服务器端的返回结果由于网络等原因被丢掉了,导致客户端无法得知处理结果。如果是在网页上,一些不恰当的设计可能会使用户认为上一次操作失败了,然后刷新页面,这就导致了withdraw被调用两次,账户也被多扣了一次钱。如下图所示:

幂等和高并发在电商系统中的使用

这个问题的解决方案一是采用分布式事务,通过引入支持分布式事务的中间件来保证withdraw功能的事务性。分布式事务的优点是对于调用者很简单,复杂性都交给了中间件来管理。缺点则是一方面架构太重量级,容易被绑在特定的中间件上,不利于异构系统的集成;另一方面分布式事务虽然能保证事务的ACID性质,而但却无法提供性能和可用性的保证。

另一种更轻量级的解决方案是幂等设计。我们可以通过一些技巧把withdraw变成幂等的,比如:

int create_ticket() bool idempotent_withdraw(ticket_id, account_id, amount)

create_ticket的语义是获取一个服务器端生成的唯一的处理号token,它将用于标识后续的操作。idempotent_withdraw和withdraw的区别在于关联了一个token,一个token表示的操作至多只会被处理一次,每次调用都将返回第一次调用时的处理结果。这样,idempotent_withdraw就符合幂等性了,客户端就可以放心地多次调用。也就是说,多次点击提交的时候,附带提交的还有服务端生成的token,由于多次提交带的是同一个token,所以服务端对于同一个token的post订单,至多只会处理一次,所以间接的实现了幂等性的控制。

基于幂等性的解决方案中一个完整的取钱流程被分解成了两个步骤:1.调用create_ticket()获取token;2.调用idempotent_withdraw(token, account_id, amount)。虽然create_ticket不是幂等的,但在这种设计下,它对系统状态的影响可以忽略,加上idempotent_withdraw是幂等的,所以任何一步由于网络等原因失败或超时,客户端都可以重试,直到获得结果。如图2所示:

幂等和高并发在电商系统中的使用

和分布式事务相比,幂等设计的优势在于它的轻量级,容易适应异构环境,以及性能和可用性方面。在某些性能要求比较高的应用中,幂等设计往往是唯一的选择。

HTTP GET方法用于获取资源,不应有副作用,所以是幂等的。比如:GET http://www.bank.com/account/123456,不会改变资源的状态,不论调用一次还是N次都没有副作用。请注意,这里强调的是一次和N次具有相同的作用,而不是每次GET的结果相同。GET http://www.news.com/latest-news这个HTTP请求可能会每次得到不同的结果,但它本身并没有产生任何副作用,因而是满足幂等性的。
HTTP DELETE方法用于删除资源,有副作用,但它应该满足幂等性。比如:DELETE http://www.forum.com/article/4231,调用一次和N次对系统产生的副作用是相同的,即删掉id为4231的帖子;因此,调用者可以多次调用或刷新页面而不必担心引起错误。
比较容易混淆的是HTTP POST和PUT。POST和PUT的区别容易被简单地误认为“POST表示创建资源,PUT表示更新资源”;而实际上,二者均可用于创建资源,更为本质的差别是在幂等性方面。在HTTP规范中对POST和PUT是这样定义的:

幂等和高并发在电商系统中的使用

POST所对应的URI并非创建的资源本身,而是资源的接收者。两次相同的POST请求会在服务器端创建两份资源,它们具有不同的URI;所以,POST方法不具备幂等性。而PUT所对应的URI是要创建或更新的资源本身。对同一URI进行多次PUT的副作用和一次PUT是相同的;因此,PUT方法具有幂等性。论坛网站防止重复发帖和订单生成都用到token方式的幂等性控制。

3.总结

在电商系统中,常见问题:如何防范post请求的重复提交?HTTP POST 操作既不是安全的,也不是幂等的。当我们因为反复刷新浏览器导致多次提交表单,多次发出同样的POST请求,导致远端服务器重复创建出了资源。所以,对于电商应用来说,第一对应的后端 WebService 一定要做到幂等性,第二服务器端收到 POST 请求,在操作成功后必须跳转到另外一个页面,这样即使用户刷新页面,也不会重复提交表单。

二、高并发

1.分布式锁的定义

分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候,往往需要互斥来防止彼此干扰来保证一致性,在这种情况下,便需要使用到分布式锁。分布式锁是一个在很多环境中非常有用的原语,它是不同的系统或是同一个系统的不同主机之间互斥操作共享资源的有效方法。如在电商系统中,需要保证整个分布式系统内,对一个重要事物(订单,账户等)的有效操作线程 ,同一时间内有且只有一个。比如交易中心有N台服务器,订单中心有M台服务器,如何保证一个订单的同一笔支付处理,一个账户的同一笔充值操作是原子性的。

常见的实现分布式锁的服务有:memcache zookeeper redis chubby hazelcast。

2.分布式锁实现

分布式锁在分布式应用当中是要经常用到的,主要是解决分布式资源访问冲突的问题。传统的锁ReentrantLock在去实现的时候是有问题的,ReentrantLock的lock和unlock要求必须是在同一线程进行,而分布式应用中,lock和unlock是两次不相关的请求,因此肯定不是同一线程,因此导致无法使用ReentrantLock。

 

文章来源:博客园

编者:云朵匠 | 数商云(微信ID:shushangyun_com)

<数商云(www.shushangyun.hk)是全球知名的企业级电子商务系统开发商,为企业提供专业的电商系统开发解决方案,其产品服务包含:B2B电子商务系统建设B2B2C多用户商城系统开发B2C电商平台搭建、新零售电商、社交电子商务平台、视频直播平台、大数据电商平台、跨境进出口电商平台等等各行业大型电子商务平台搭建服务,其产品优势:系统安全性高、可扩展性强、集群式部署、支持高并发量和高访问量>

網站聲明:以上內容為數商雲電子商務系統網站的原創文章,如需轉載,請註明出處,謝謝合作!
電商頭條文章
1 肺炎疫情防控背后,有多少“大数据”在支撑?
春节假期已近尾声,返程高峰即将到来,疫情防控工作进入关键期。1月29日召开的中央应对疫情工作领导小组会议对此做出判断“当前疫情正处于扩散阶段,局部地区有迅速上升趋势”。在此背景下,如何有效防控疫情“返程传播”成为对战疫情的重中之重。
2 瞄准靶向精准发力,全面驱动传统企业加速驶入供应链4.0时代
最近产业互联网圈子动不动就提数字化转型,再赶时髦点就是“中台”、“供应链4.0”、“赋能”、“人工智能”…… 传统企业的IT建设理念一下子进入一个混乱的时期,各种新理论满天飞,产业互联网的确在发生革命,但这种变革实质上更多的是解决企业内部价值链协作系统如何适应外部多变环境的问题。
3 如何构建高效、灵活扩展、面向大数据的实时分析平台?
随着互联网、移动互联网、物联网和各种智能终端的快速发展,各种数据无时无刻地生成,新数据的产生成大爆炸趋势,如此大数据量的实时查询和分析能力已然成为企业报表分析系统的重要考量指标。
4 锦囊微课 | 加速数据驱动价值,工业企业数字中台如何搭建?
数字经济时代的到来将“数字中台”这一概念炒的火热。回看2019年,不仅有行业内对于中台定义的百家争鸣,更有华为、腾讯、万科、京东等诸多行业头部企业带动了对数字中台落地实践的探索热潮。
5 数据中台是真火还是炒作?
马云老师在2019年说了一段话,“很多人会把数据比作石油,我们现在搭建的数据中台,就是希望扮演发电厂的角色”,这一段话,现在被大众认为是“数据中台”这个概念的起源。那么数据中台是否真的火了呢?
console.log();