微办事框架的完成：舍与不舍

doreen_c

糊口中充溢了各种trade-off（衡量），编程开发中也是如斯。本文将经过实战的角度，分享在开发微办事框架的过程当中，针对不同的组件做的一些决定，包罗，协定反对的多少？数据传输采取TCP仍是UDP？网络处置是普通处置模型仍是定制的epoll？序列化框架那末多，该用哪一种？注册核心选哪家？路由形式哪一种好，如何限流等等。


▲资深工程师晁岳攀（鸟窝）
佳宾引见：Go微办事框架RPCx的作者，具有20余年的软件开发教训，前后在清华同方、Motorola、微博等公司任务，出版了国际第一来源根基创Scala图书《Scala聚拢技术手册》，并在台湾发行了繁体版。Go言语的布道者，在GopherChina meetup/GopherChina大会上分享过《Go微办事框架理论》、《Go并发编程》等主题。
下列是晁岳攀教师在SACC2022大会的演讲实录：


▲rpcx微办事框架
协定的完成事实上，每个具有一定范围的互联网大厂都有本人的微办事框架。好比，阿里巴巴、哔哩哔哩、百度、今日头条、学而思、好将来等。由于业务单一需求微办事来划分，两头的调用瓜葛必需经过框架来完成。


▲框架独有接口（rpcx）
如上图所示，采取紧缩的形式来完成。第一个是Magic number（魔法数字），使用特殊的字节（0x08）来表明Request结尾。第二个是Version（版本号），在做微办事设计的时分，要尽可能做到协定的兼容性。
前面几个字节，好比Message Type、Heartbeat、Oneway、Compress Type、Message Status Type、Serialize Type、Reserred，使用bit做设置，将其紧缩在一同，尽可能增加内存的占用。
接上去，Message ID使用了8个字节的数据。最初是size of rest data，size of serrice Path，size of serrice Method，size of meta，size of payload等数据的处置。


▲框架独有接口（dubbo）
dubbo的处置形式与rpcx是相似的，它使用两个字节做魔法数，分别是高位和低位。前面是标志它的申请响应、需求来回、事情、序列化ID、形态、RPC申请ID等信息，接上去是动静体数据长度。


▲框架独有接口（motan）
motan的协定设计与rpcx是相似的。grpc是架构在HTTP2.0根底之上的协定，它的申请是Request-Headers，加一系列的Message。关于申请，EOS（流完结）是经过在最初接纳到的数据帧上泛起END_STREAM标记来表现的。
Response-Headers和Trailers-Only都在单个HTTP2报头帧块中传递。关于响应，流的完结是经过在最初一个接纳到的带有Trailers的报头帧上的END_STREAM标记来唆使的。
Thrift框架中的message表现一次接口调用、接口调用后果或者异样。这个函数中次要是调用相应的write函数来序列和写入thrift的版本、message的name以及seqid等根本信息，name字段是函数的名字。
假如使用通用的申请，罕用的协定有HTTP access、Restful API、json RPC2.0、WebSocket等。JSON-RPC是一个无形态且轻量级的近程进程调用（RPC）协定。从机能的角度来斟酌，完成特定的协定是对比罕用的一种伎俩。
数据传输在协定完成之后，客户端经过哪一种传输形式把动静传输给办事端，办事端又经过甚么形式将动静返还给客户端。常见的数据传输形式有几种，好比HTTP、TCP、UDP、Unix domain socket等。假如想要完成更高机能网络，咱们能够在特定网络协定根底之上做数据传输。


▲HTTP 1.1 vs HTTP pipelining
HTTP1.0的每一个次申请都伴有着一次三次握手的进程，而且是串行的申请，减少了不用要的机能开消。HTTP1.1新增了长链接的通信形式，增加了机能消耗。HTTP Pipelining是把多个HTTP申请放到一个TCP衔接中一一发送，而在发送过程当中不需求等候办事器对前一个申请的响应。


▲HTTP 1.1 vs HTTP 2.0 vs HTTP 3.0
HTTP1.1平安性缺乏和机能不高；HTTP2.0彻底兼容HTTP1.0，是“更平安的HTTP，更快的HTTPS”，头部紧缩，多路复用等技术充沛利用了带宽，升高了提早。HTTP3.0的底层撑持协定QUIC基于UDP完成，又含TCP的特征，完成了又快又牢靠的协定。


▲raw TCP
TCP提供了一个逻辑上的衔接，在进行数据传输以前必需建设衔接，在数据传输之后必需终止衔接。TCP为了包管数据的牢靠性，要求有应对机制，应对机制其实是经过一个根本的序列号和相对于应的回应号来进行实现的。TCP实质上是一种面向衔接的、十分牢靠的数据传输形式，是基于IP协定来做的。
KCP是一个基于UDP完成疾速、牢靠、向前纠错的的协定，能以比TCP挥霍10%-20%的带宽的代价，换取均匀提早升高30%-40%，且最大提早升高三倍的传输成果。纯算法完成，其实不担任底层协定（如UDP）的收发。
kcp-go是用go完成了KCP协定的一个库，其实KCP相似TCP，协定的完成也得多参考TCP协定的完成，滑动窗口，疾速重传，选择性重传，慢启动等。KCP和TCP同样，也分客户端和监听端。
Unix domain socket又叫IPC（inter-process co妹妹unication过程间通讯）socket，用于完成同一主机上的过程间通讯。它有SOKCET_DGRAM（数据包套接字）和SOCKET_STREAM（流套接字）两种模式，相似于UDP和TCP，然而面向动静的UNIX socket也是牢靠的，动静既不会丧失也不会程序紊乱。
网络处置库Go基于I/O multiplexing和goroutine构建了一个简洁而高机能的原生网络模型（基于Go的I/O多路复用netpoll），提供了goroutine-per-connection这样简略的网络编程模式。


▲connection per goroutine
虽然goroutine是轻量级的，但也并不是创立的越多越好。其中有几个缘故，goroutine只担任动静读取解析，当它的数量较大时，会占用很大的内存，损耗少量的CPU资源。
worker pool是一个Erlang过程池，其中的任务过程是Erlang的gen server模式过程。任务中罕用worker pool模式，能够管制goroutine的数量, 避免goroutine泄漏和暴跌。
Netpoll是一款Go言语高机能、I/O非梗阻（NIO）网络库，专一于RPC场景。因为EpollWait回调之后，SubReactor内是串行处置I/O事情的，致使排在最初的事情可能会有长尾问题。
序列化形式编解码次要有“通用跨平台”和“专有高机能”两种形式，通用跨言语库有Protobuf、MessagePack、JSON（规范库JSON、json-iterator/go、easyjson等）、XML、Thrift。特定言语的编解码形式有Hessian 2、andyleap/gencode、colfer、zebrapack。


▲序列化形式
上图参考http://github.com/smallnest/gosercomp，咱们能够看出，各个序列化形式Marshal与Unmarshal的数据。咱们不要把本人的平台限度在某一种序列化形式，而是应该反对定制化，将抉择权交给用户。
注册核心在微办事框架之下，咱们要引入注册核心，它是微办事框架依赖的一个根底办事。常见的注册核心有散布式统一性的平台，好比zookeeper（CP）、etcd（CP）、consul（CP）、Eureka（AP）。


▲散布式统一性
散布式注册核心遵守CAP原理，指的是在一个散布式零碎中，Consistency（统一性）、 Availability（可用性）、Partition Tolerance（分区容错性），三者无奈同时知足。
当知足CA时，要放弃数据统一性，就必需进行节点数据的同步；同时要知足可用性，则响应时间必需较短，就要去数据同步时间很短，这样就不克不及部署太多的节点，也就无奈满则高可用性。
当CP知足时，要进行数据同步，且机器数量较多，这样数据的同步时间就会对比长，无奈包管较快的响应。当知足AP时，既要有一定机器数量，又要包管较快的响应时间，就无奈进行节点数据的同步。
国际互联网大厂个别自研注册核心，完成AP零碎，来包管可用性。好比，阿里nacos、微博vintage、腾讯Polaris Mesh。那末，中小企业如何选择注册核心？能够选择etc, consul，做好zk +当地缓存的功用；使用dns、redis、mysql等云办事；采取大厂的AP零碎。
路由选择最简略的形式是利用随机函数选择节点，有没有法区别权重；无奈按照机能实时调剂；无奈进行繁杂状况下的选择；随机不随机，好比可能泛起十一十一十二222233333的状况等问题。
利用轮询的形式选择节点，每个节点能够平均，压力也均匀，但面临无奈区别权重；无奈按照机能实时调剂；无奈进行繁杂状况下的选择等问题。


▲基于权重的随机算法
基于权重，能够防止随机算法可能的压力集中。Nginx的算法能够均匀生成每个节点: smooth weighted round-robin balancing algorithm。
基于申请的办事和办法，以及申请参数，利用统一性哈希算法，老是选择固定的节点，静态调剂节点。
网络品质优先，client按期测试各节点的网络品质，按照网络品质调配权重。地舆地位优先，同机房优先，同区域优先，国际优先。
基于特殊的需要，允许用户定制，好比正常调用同机房优先；假如失败，第二次从备份机房调用。
限流与升级升级是暂时禁用非中心功用，好比明星出轨、结婚离婚等严重公同事件，秒杀、抢红包等流量激增的时分，功用屏蔽然而不下线。
限流是客户端和办事端限流，从“根”下限制，防止有意义的带宽传输；无奈防止业务偷偷放量；基于令牌桶和漏桶，需求处置burst场景。
测试rpc测试的难题，需求客户端和办事端能力真正摹拟，继续集成框架机器可能不允许网络衔接，配置办事端和客户端稍微繁杂。网络传输独自测试，客户端和办事端业务测试时使用mock。虚伪衔接，把客户端申请间接给办事端处置，把客户端申请间接给办事端处置github.com/akutz/memconn。