站長資訊網(wǎng)限流算法
令牌桶算法
算法思想是：
- 令牌以固定速率產(chǎn)生，并緩存到令牌桶中；
- 令牌桶放滿時，多余的令牌被丟棄；
- 請求要消耗等比例的令牌才能被處理；
- 令牌不夠時，請求被緩存。
漏桶算法
算法思想是：
- 水（請求）從上方倒入水桶，從水桶下方流出（被處理）；
- 來不及流出的水存在水桶中（緩沖），以固定速率流出；
- 水桶滿后水溢出（丟棄）。
- 這個算法的核心是：緩存請求、勻速處理、多余的請求直接丟棄。
相比漏桶算法，令牌桶算法不同之處在于它不但有一只“桶”，還有個隊列，這個桶是用來存放令牌的，隊列才是用來存放請求的。
從作用上來說，漏桶和令牌桶算法最明顯的區(qū)別就是是否允許突發(fā)流量(burst)的處理，漏桶算法能夠強行限制數(shù)據(jù)的實時傳輸（處理）速率，對突發(fā)流量不做額外處理；而令牌桶算法能夠在限制數(shù)據(jù)的平均傳輸速率的同時允許某種程度的突發(fā)傳輸。
Nginx按請求速率限速模塊使用的是漏桶算法，即能夠強行保證請求的實時處理速度不會超過設置的閾值。
Nginx官方版本限制IP的連接和并發(fā)分別有兩個模塊：
limit_req_zone用來限制單位時間內(nèi)的請求數(shù)，即速率限制,采用的漏桶算法 “leaky bucket”。limit_req_conn用來限制同一時間連接數(shù)，即并發(fā)限制。
limit_req_zone 參數(shù)配置
Syntax: limit_req zone=name [burst=number] [nodelay]; Default: — Context: http, server, locationlimit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
- 第一個參數(shù)：$binary_remote_addr 表示通過remote_addr這個標識來做限制，“binary_”的目的是縮寫內(nèi)存占用量，是限制同一客戶端ip地址。
- 第二個參數(shù)：zone=one:10m表示生成一個大小為10M，名字為one的內(nèi)存區(qū)域，用來存儲訪問的頻次信息。
- 第三個參數(shù)：rate=1r/s表示允許相同標識的客戶端的訪問頻次，這里限制的是每秒1次，還可以有比如30r/m的。
limit_req zone=one burst=5 nodelay;
- 第一個參數(shù)：zone=one 設置使用哪個配置區(qū)域來做限制，與上面limit_req_zone 里的name對應。
- 第二個參數(shù)：burst=5，重點說明一下這個配置，burst爆發(fā)的意思，這個配置的意思是設置一個大小為5的緩沖區(qū)當有大量請求（爆發(fā)）過來時，超過了訪問頻次限制的請求可以先放到這個緩沖區(qū)內(nèi)。
- 第三個參數(shù)：nodelay，如果設置，超過訪問頻次而且緩沖區(qū)也滿了的時候就會直接返回503，如果沒有設置，則所有請求會等待排隊。
例子：
http { limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s; server { location /search/ { limit_req zone=one burst=5 nodelay; } } 下面配置可以限制特定UA（比如搜索引擎）的訪問：
limit_req_zone $anti_spider zone=one:10m rate=10r/s; limit_req zone=one burst=100 nodelay; if ($http_user_agent ~* "googlebot|bingbot|Feedfetcher-Google") { set $anti_spider $http_user_agent; }其他參數(shù)
Syntax: limit_req_log_level info | notice | warn | error; Default: limit_req_log_level error; Context: http, server, location當服務器由于limit被限速或緩存時，配置寫入日志。延遲的記錄比拒絕的記錄低一個級別。例子：limit_req_log_level notice延遲的的基本是info。
Syntax: limit_req_status code; Default: limit_req_status 503; Context: http, server, location設置拒絕請求的返回值。值只能設置 400 到 599 之間。
ngx_http_limit_conn_module 參數(shù)配置
這個模塊用來限制單個IP的請求數(shù)。并非所有的連接都被計數(shù)。只有在服務器處理了請求并且已經(jīng)讀取了整個請求頭時，連接才被計數(shù)。
Syntax: limit_conn zone number; Default: — Context: http, server, locationlimit_conn_zone $binary_remote_addr zone=addr:10m; server { location /download/ { limit_conn addr 1; }一次只允許每個IP地址一個連接。
limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; server { ... limit_conn perip 10; limit_conn perserver 100; }可以配置多個limit_conn指令。例如，以上配置將限制每個客戶端IP連接到服務器的數(shù)量，同時限制連接到虛擬服務器的總數(shù)。
Syntax: limit_conn_zone key zone=name:size; Default: — Context: httplimit_conn_zone $binary_remote_addr zone=addr:10m;在這里，客戶端IP地址作為關鍵。請注意，不是$ remote_addr，而是使用$ binary_remote_addr變量。 $ remote_addr變量的大小可以從7到15個字節(jié)不等。存儲的狀態(tài)在32位平臺上占用32或64字節(jié)的內(nèi)存，在64位平臺上總是占用64字節(jié)。對于IPv4地址，$ binary_remote_addr變量的大小始終為4個字節(jié)，對于IPv6地址則為16個字節(jié)。存儲狀態(tài)在32位平臺上始終占用32或64個字節(jié)，在64位平臺上占用64個字節(jié)。一個兆字節(jié)的區(qū)域可以保持大約32000個32字節(jié)的狀態(tài)或大約16000個64字節(jié)的狀態(tài)。如果區(qū)域存儲耗盡，服務器會將錯誤返回給所有其他請求。
Syntax: limit_conn_log_level info | notice | warn | error; Default: limit_conn_log_level error; Context: http, server, location當服務器限制連接數(shù)時，設置所需的日志記錄級別。
Syntax: limit_conn_status code; Default: limit_conn_status 503; Context: http, server, location設置拒絕請求的返回值。
實戰(zhàn)
實例一 限制訪問速率
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s; server { location / { limit_req zone=mylimit; } }上述規(guī)則限制了每個IP訪問的速度為2r/s，并將該規(guī)則作用于根目錄。如果單個IP在非常短的時間內(nèi)并發(fā)發(fā)送多個請求，結果會怎樣呢？
我們使用單個IP在10ms內(nèi)發(fā)并發(fā)送了6個請求，只有1個成功，剩下的5個都被拒絕。我們設置的速度是2r/s，為什么只有1個成功呢，是不是Nginx限制錯了？當然不是，是因為Nginx的限流統(tǒng)計是基于毫秒的，我們設置的速度是2r/s，轉(zhuǎn)換一下就是500ms內(nèi)單個IP只允許通過1個請求，從501ms開始才允許通過第二個請求。
實例二 burst緩存處理
我們看到，我們短時間內(nèi)發(fā)送了大量請求，Nginx按照毫秒級精度統(tǒng)計，超出限制的請求直接拒絕。這在實際場景中未免過于苛刻，真實網(wǎng)絡環(huán)境中請求到來不是勻速的，很可能有請求“突發(fā)”的情況，也就是“一股子一股子”的。Nginx考慮到了這種情況，可以通過burst關鍵字開啟對突發(fā)請求的緩存處理，而不是直接拒絕。
來看我們的配置：
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s; server { location / { limit_req zone=mylimit burst=4; } }我們加入了burst=4，意思是每個key(此處是每個IP)最多允許4個突發(fā)請求的到來。如果單個IP在10ms內(nèi)發(fā)送6個請求，結果會怎樣呢？
相比實例一成功數(shù)增加了4個，這個我們設置的burst數(shù)目是一致的。具體處理流程是：1個請求被立即處理，4個請求被放到burst隊列里，另外一個請求被拒絕。通過burst參數(shù)，我們使得Nginx限流具備了緩存處理突發(fā)流量的能力。
但是請注意：burst的作用是讓多余的請求可以先放到隊列里，慢慢處理。如果不加nodelay參數(shù)，隊列里的請求不會立即處理，而是按照rate設置的速度，以毫秒級精確的速度慢慢處理。
實例三 nodelay降低排隊時間
實例二中我們看到，通過設置burst參數(shù)，我們可以允許Nginx緩存處理一定程度的突發(fā)，多余的請求可以先放到隊列里，慢慢處理，這起到了平滑流量的作用。但是如果隊列設置的比較大，請求排隊的時間就會比較長，用戶角度看來就是RT變長了，這對用戶很不友好。有什么解決辦法呢？nodelay參數(shù)允許請求在排隊的時候就立即被處理，也就是說只要請求能夠進入burst隊列，就會立即被后臺worker處理，請注意，這意味著burst設置了nodelay時，系統(tǒng)瞬間的QPS可能會超過rate設置的閾值。nodelay參數(shù)要跟burst一起使用才有作用。
延續(xù)實例二的配置，我們加入nodelay選項：
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s; server { location / { limit_req zone=mylimit burst=4 nodelay; } }單個IP 10ms內(nèi)并發(fā)發(fā)送6個請求，結果如下：
跟實例二相比，請求成功率沒變化，但是總體耗時變短了。這怎么解釋呢？實例二中，有4個請求被放到burst隊列當中，工作進程每隔500ms(rate=2r/s)取一個請求進行處理，最后一個請求要排隊2s才會被處理；實例三中，請求放入隊列跟實例二是一樣的，但不同的是，隊列中的請求同時具有了被處理的資格，所以實例三中的5個請求可以說是同時開始被處理的，花費時間自然變短了。
但是請注意，雖然設置burst和nodelay能夠降低突發(fā)請求的處理時間，但是長期來看并不會提高吞吐量的上限，長期吞吐量的上限是由rate決定的，因為nodelay只能保證burst的請求被立即處理，但Nginx會限制隊列元素釋放的速度，就像是限制了令牌桶中令牌產(chǎn)生的速度。
看到這里你可能會問，加入了nodelay參數(shù)之后的限速算法，到底算是哪一個“桶”，是漏桶算法還是令牌桶算法？當然還算是漏桶算法。考慮一種情況，令牌桶算法的token為耗盡時會怎么做呢？由于它有一個請求隊列，所以會把接下來的請求緩存下來，緩存多少受限于隊列大小。但此時緩存這些請求還有意義嗎？如果server已經(jīng)過載，緩存隊列越來越長，RT越來越高，即使過了很久請求被處理了，對用戶來說也沒什么價值了。所以當token不夠用時，最明智的做法就是直接拒絕用戶的請求，這就成了漏桶算法。
示例四 自定義返回值
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s; server { location / { limit_req zone=mylimit burst=4 nodelay; limit_req_status 598; } }默認情況下 沒有配置 status 返回值的狀態(tài)：
自定義 status 返回值的狀態(tài)：
limit_req zone=req_zone;
嚴格依照在limti_req_zone中配置的rate來處理請求
超過rate處理能力范圍的，直接drop
表現(xiàn)為對收到的請求無延時
limit_req zone=req_zone burst=5;
依照在limti_req_zone中配置的rate來處理請求
同時設置了一個大小為5的緩沖隊列，在緩沖隊列中的請求會等待慢慢處理
超過了burst緩沖隊列長度和rate處理能力的請求被直接丟棄
表現(xiàn)為對收到的請求有延時
limit_req zone=req_zone burst=5 nodelay;
依照在limti_req_zone中配置的rate來處理請求
同時設置了一個大小為5的緩沖隊列，當請求到來時，會爆發(fā)出一個峰值處理能力，對于峰值處理數(shù)量之外的請求，直接丟棄
在完成峰值請求之后，緩沖隊列不能再放入請求。如果rate＝10r/s，且這段時間內(nèi)沒有請求再到來，則每6 s 緩沖隊列就能回復一個緩沖請求的能力，直到回復到能緩沖5個請求位置。
load_module modules/ngx_stream_module.so; #動態(tài)加載模塊，必須寫道開頭
user nginx; #使用useradd nginx 添加一個nginx用戶
worker_processes 4; #cpu核心數(shù) * 2
worker_rlimit_nofile 102400; #配置nginx打開最大文件數(shù) (每個工作進程綁定一個cpu，worker_cpu_affinity配置)
worker_cpu_affinity 0001 0010 0100 1000; #工作進程使用哪個cpu的核心 （以四核為例） 0001是4核的第一個核心 0010是4核的第二個核心
#error_log logs/error.log;
#error_log logs/error.log notice;
error_log logs/error.log info;
pid logs/nginx.pid;
events {
use epoll;
worker_connections 10240;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for”‘;
#access_log logs/access.log main; #在server虛擬目錄里面配置日志，這里是全局日志
sendfile on;
#tcp_nopush on;
server_tokens off; #錯誤的時候關閉輸出版本號
#keepalive_timeout 0;
keepalive_timeout 30;
gzip on; #壓縮會占用cpu
gzip_buffers 4 16k;
gzip_comp_level 3; #壓縮等級
gzip_disable “MSIE[1-6]”; #ie瀏覽器1-6禁用gzip
gzip_min_length 1k;
gzip_http_version 1.0;
gzip_types text/plaion application/html application/css application/js; #可以壓縮的文件類型
gzip_vary on; #根據(jù)http頭判斷是否支持壓縮
client_max_body_size 8m; #默認允許客戶端最大上傳文件大小
#限流
#limit_conn_zone $binary_remote_addr zone=addr:10m; #并發(fā)限制（同時啟用一個）
limit_req_zone $binary_remote_addr zone=qps:10m rate=1r/s; #請求限制 每秒鐘處理一個請求
limit_conn_log_level error;
limit_conn_status 503; #超出限制時，返回狀態(tài)碼
server{
#limit_conn addr 1; #并發(fā)限制設置為1，是為了測試 addr是zone空間在53行（同時啟用一個）
#limit_req zone=qps; #請求限制
limit_req zone=qps burset=1 nodelay; #請求限制()
}
#限流end
}
