Server提供網路服務時，面臨到一台 Server 的 capacity 瓶頸，這時候，就可以用 L4 Load Balancer 或是 HAProxy 來進行網路分流與 load balance。

HAProxy 目前主要支援兩種 traffic，http 以及一般的 tcp，http traffic 是最主要支援的部份，HAProxy 可深入到 HTTP Traffic 的封包內容，並根據設定的條件修改封包資料。

安裝

我們可以選擇直接用 yum 安裝，目前的版本為 haproxy-1.5.2-2.el6.i686

yum install haproxy

安裝完成後，執行檔會放在 /usr/sbin 目錄中。

也可以選擇直接從 source code 編譯。

tar -zxvf haproxy-1.5.11.tar.gz
cd haproxy-1.5.11

make clean

#  linux 核心為 2.6.x 可以用使用 TARGET=linux26 參數進行最佳化，如果真的不知道可以用 TARGET=generic 即可
make TARGET=linux26 USE_OPENSSL=1 ADDLIB=-lz
make install

安裝完成後，執行檔會裝在 /usr/local/sbin 目錄中。

自行編譯後，還需要製作 service 啟動檔，這也是從 yum 安裝的 haproxy 抄來的，改一下執行檔的路徑就可以用了。

vi /etc/init.d/haproxy

#!/bin/sh
#
# haproxy
#
# chkconfig:   - 85 15
# description:  HAProxy is a free, very fast and reliable solution \
#               offering high availability, load balancing, and \
#               proxying for TCP and  HTTP-based applications
# processname: haproxy
# config:      /etc/haproxy/haproxy.cfg
# pidfile:     /var/run/haproxy.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

exec="/usr/local/sbin/haproxy"
prog=$(basename $exec)

[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog

lockfile=/var/lock/subsys/haproxy

check() {
    $exec -c -V -f /etc/$prog/$prog.cfg
}

start() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi

    echo -n $"Starting $prog: "
    # start it up here, usually something like "daemon $exec"
    daemon $exec -D -f /etc/$prog/$prog.cfg -p /var/run/$prog.pid
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    # stop it here, often "killproc $prog"
    killproc $prog 
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    stop
    start
}

reload() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    echo -n $"Reloading $prog: "
    $exec -D -f /etc/$prog/$prog.cfg -p /var/run/$prog.pid -sf $(cat /var/run/$prog.pid)
    retval=$?
    echo
    return $retval
}

force_reload() {
    restart
}

fdr_status() {
    status $prog
}

case "$1" in
    start|stop|restart|reload)
        $1
        ;;
    force-reload)
        force_reload
        ;;
    check)
        check
        ;;
    status)
        fdr_status
        ;;
    condrestart|try-restart)
      [ ! -f $lockfile ] || restart
    ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|try-restart|reload|force-reload}"
        exit 2
esac

設定

設定檔會放在 /etc/haproxy/haproxy.cfg，設定內容有兩大部份，global 以及 proxy，而 proxy 中，有四個主要項目：defaults, listen, frontend 以及 backend 的部份。

global

範例

global
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    nbproc        1

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

此區塊可使用的設定項目

chroot
daemon
以 daemon 的方式運行
nbproc
daemon mode 才能使用，設定 process 的數量
user/uid
group/gid
log
pidfile
stats
maxconn
可接受最大的連線數量
noepoll
不使用 linux 的 epoll
nokqueue
不使用 BSD 的 kqueue polling
debug
將所有訊息顯示到 console
quiet
不顯示任何訊息

獨立的 haproxy logfile

我們必須調整一些 rsyslog 的設定，才能將 haproxy 的 log 放到獨立的 logfile 裡面。

vi /etc/rsyslog.conf

# 把這兩行的註解刪除
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# 限制 rsyslog UDP 只會用在 127.0.0.1
$UDPServerAddress 127.0.0.1

新增一個檔案 /etc/rsyslog.d/haproxy.conf

vi /etc/rsyslog.d/haproxy.conf

local2.*    /var/log/haproxy/haproxy.log

也可以用這個方式，將 log file 區分不同的 log level，要不然就放在同一個 log file 裡面就好了。

local2.=info     /var/log/haproxy-info.log
local2.notice    /var/log/haproxy-allbutinfo.log

重新啟動系統 log 記錄器

service rsyslog restart

編輯 haproxy.logrotate，讓 haproxy.log 檔案每天產生一個，然後保留 120 天的資料。

vi /etc/logrotate.d/haproxy.logrotate

/var/log/haproxy/haproxy.log {
    missingok
    notifempty
    sharedscripts
    rotate 120
    daily
    compress
    postrotate
        reload rsyslog >/dev/null 2>&1 || true
    endscript
}

proxy

proxy 設定是由 defaults, listen, frontend, backend 組成。

defaults name
設定所有其他區塊的預設參數，如果設定檔中，後面又多了一塊 defaults 設定，後面的設定會覆蓋掉前面的設定。
frontend name
描述接受 client 端 request 的 listening sockets。
backend name
描述 proxy 會將 frontend 接收的 request 連線 forward 到後端的一組 servers。
listen name
定義完整的 proxy，包含了 frontend 與 backend，這個部份的定義，通常用在設定一般的 TCP-only traffic。

proxy 定義的名稱 name ，必須要使用這些字元 upper and lower case letters, digits,
'-' (dash), '_' (underscore) , '.' (dot) and ':' (colon)。

HTTP traffic

HAProxy 針對 http traffic 提供了五種 mode

KAL: keep alive ("option http-keep-alive")
這是預設值，所有處理中的 request, response 以及 connection 都會持續 idle 並保持連線。
TUN: tunnel ("option http-tunnel")
只會處理第一個 request 與 response，其他封包都會直接 forward，不進行任何分析與處理，目前建議不使用這個模式，因為會對 logging 以及 HTTP processing 造成問題。
PCL: passive close ("option httpclose")
就跟 tunnel mode 一樣，在處理完第一個封包後，會雙向加上 "conneciton: close"，讓連線結束。
SCL: server close ("option http-server-close")
在收到最後的 response 時，就會 close server-facing connection，但仍然持續保留 client-facing connection。
FCL: forced close ("option forceclose")
在收到最後的 response 之後，就會關閉連線。

在一個 http connection 經過 frontend 與 backend 設定之後，可能會有兩段 proxy mode 的設定，最終這個 connection 的 mode 是由下表的規則決定，keep-alive 是最弱的設定值，而 force close 是最強的設定值。KAL < TUN < PCL < SCL < FCL

                          Backend mode

                | KAL | TUN | PCL | SCL | FCL
            ----+-----+-----+-----+-----+----
            KAL | KAL | TUN | PCL | SCL | FCL
            ----+-----+-----+-----+-----+----
            TUN | TUN | TUN | PCL | SCL | FCL
 Frontend   ----+-----+-----+-----+-----+----
   mode     PCL | PCL | PCL | PCL | FCL | FCL
            ----+-----+-----+-----+-----+----
            SCL | SCL | SCL | FCL | SCL | FCL
            ----+-----+-----+-----+-----+----
            FCL | FCL | FCL | FCL | FCL | FCL

defaults

這個區塊的參數，是設定檔後面所有參數的預設設定值，下面的設定值會蓋掉上面的。

範例

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

此區塊可使用的設定項目

balance
選擇使用那一種 algorithm 來執行 load balance。
mode { tcp|http|health } (defaults 為 http)
log global
option httplog
Enable logging of HTTP request, session state and timers
option http-server-close
Enable or disable HTTP connection closing on the server side
option forwardfor except 127.0.0.0/8
因為 X-Forwarded-For header 裡面會有 client 的 IP，HAProxy 會利用此 header，所以增加此設定，可讓 X-Forwarded-For header 都轉送到後端的 server
option redispatch
當 client 連到掛掉的機器時, 可重新再分配
retries 3
失敗重試次數
timeout http-request 10s
Set the maximum allowed time to wait for a complete HTTP request，等待 HTTP Request 完成的 timeout 時間
timeout queue 1m
Set the maximum time to wait in the queue for a connection slot to be free，等待 queue 釋放空間的 timeout 時間
timeout connect 10s
Set the maximum time to wait for a connection attempt to a server to succeed.
timeout client 1m
Set the maximum inactivity time on the client side. 當有 long polling 時，這個參數在 frontend 要調長到 long polling 最大的等待時間
timeout server 1m
Set the maximum inactivity time on the server side. 當有 long polling 時，這個參數在 backend 要調長到 long polling 最大的等待時間
timeout http-keep-alive 10s
Set the maximum allowed time to wait for a new HTTP request to appear
timeout check 10s
Set additional check timeout, but only after a connection has been already established.
maxconn 3000
連線到某個 server 的最大連線數

backend balance mode

這是 balance 設定值可選填的 algorithm 項目。

roundrobin
每個 server 依據權值 weight 依序選擇 servers，這是最快的 algorithm，server weight 會根據 instance slow start 的狀況而隨時變動。這個 algorithm 在每個 backend 最多可處理 4095 個 active server nodes。如果有個 server node 在 down 之後馬上又變成 active，可能會需要數百個 requests 之後，才會再 join 這個 server farm。
static-rr
每個 server 根據 weight 依序選擇 server，類似 roundrobin，但權值 weight 是固定的。沒有 active server node 的處理數量上限。
leastconn
目前處理最少連線數量的 server，作為下一個 connection 轉向的 server。建議在較長 tcp session 的服務中使用這個演算法，例如 LDAP, SQL, etc...，不適合用在類似 HTTP 這種短 sesion time 的 protocol。
first
server nodes 之中，選擇第一個可使用的 server，當這個 server 連線處理數量達到 maxconn 時，就會選擇下一個 server，所以設定檔中一定要有 maxconn 設定值。
source
source IP address 會 hashed 並除以 total weight of running serer，用這個結果來決定要選擇那一個 server，這可確保同一個 client IP 的 traffic 會連到同一個 server。如果 server nodes 數量改變了，就會因為重新計算 hash，造成 clients 連線到不同的 servers。
uri
可用 uri 的 ? 前面的部份，或是整個 uri 進行 hash，可確保同一個 uri 會轉給同一個 server。這個設定通常用在 proxy caches 與 anti-virus proxyies，用以提高 cache hit rate。
有兩個 optinal parameter: len 與 depth。len 就是使用 uri 裡面幾個字元，但因為 uri 通常是 / 開頭，所以不要將 len 設定為 1。
depth 表示計算 hash 的 maxmimum directory depth，出現一個 / 代表多了一層 depth。
url_param
使用 HTTP Get request URL 裡面的參數，如果用到了 "check_post"，就會使用 POST request 裡面的參數。
hdr(name)
會尋找名稱為 name 的 HTTP header 欄位。
optonal 參數 "use_domain_only" 可用在指定 header 為 Host 的時候，如果 Host 為 "haproxy.1wt.eu" 就只會考慮 "1wt"
rdp-cookie, rdp-cookie(name)
尋找設定的 cookie，通常就是 session ID，如果沒有 session ID 就會使用 roundrobin algorithm。

一些設定的參考範例

範例 1：雖然這個是 listen 區塊，但實際上是設定一個網頁 service，提供一個 HAProxy 網頁監控界面。

# HAProxy 網頁管理界面
listen stats *:2000
    mode http
    stats enable
    stats hide-version
    stats realm Haproxy\ Statistics
    stats uri /
    # 帳號密碼
    stats auth username:password
    stats refresh 10s

範例 2:

defaults
    log     global
    mode    http
    option  httplog
    option  dontlognull
    timeout connect 5000
    timeout client  50000
    timeout server  50000
    errorfile 400 /etc/haproxy/errors/400.http
    errorfile 403 /etc/haproxy/errors/403.http
    errorfile 408 /etc/haproxy/errors/408.http
    errorfile 500 /etc/haproxy/errors/500.http
     errorfile 502 /etc/haproxy/errors/502.http
    errorfile 503 /etc/haproxy/errors/503.http
    errorfile 504 /etc/haproxy/errors/504.http

frontend localnodes
    bind *:80
    mode http
    default_backend nodes

backend nodes
    mode http
    balance roundrobin
    option forwardfor
    http-request set-header X-Forwarded-Port %[dst_port]
    http-request add-header X-Forwarded-Proto https if { ssl_fc }
    option httpchk HEAD / HTTP/1.1\r\nHost:localhost
    server web01 127.0.0.1:9000 check
    server web02 127.0.0.1:9001 check
    server web03 127.0.0.1:9002 check

範例 3:

defaults
    log    global
    mode    http
    option    httplog
    option    dontlognull
    retries    3
    option redispatch
    option httpclose
    maxconn    32768
    contimeout    5000
    clitimeout    50000
    srvtimeout    50000

listen www-balancer
    bind 0.0.0.0:80
    balance         roundrobin
    server          w1 192.168.1.10:80 weight 3 check
    server          w2 192.168.1.20:80 weight 3 check
    option          httpchk GET /robots.txt
    option          forwardfor

範例 4: DB1 與 DB2 設定為 Master-Master Replication

defaults
    mode tcp
    option redispatch   #連前當前配置失敗時,允許重新配發到他台機器
    option abortonclose
    timeout connect 5000ms
    timeout client 30000ms
    timeout server 30000ms
    log 127.0.0.1 local0
    balance roundrobin   #使用輪替演算法,分散主機流量

listen proxy
    bind *:3306  #綁定192.168.11.180的3306 Port為運行主機端口
    mode tcp
    server db1 192.168.1.10:3306  weight 1 check  

    #後端主機.178,179,權重值配置

    server db2 192.168.1.20:3306  weight 2 check  

    #check 參數檢查改主機是否Live

範例 5:

defaults
    timeout server 86400000
    timeout connect 86400000
    timeout client 86400000
    timeout queue   1000s

# [HTTP Site Configuration]
listen  http_web 192.168.10.10:80
    mode http
    balance roundrobin  # Load Balancing algorithm
    option httpchk
    option forwardfor
    server server1 192.168.1.10:80 weight 1 maxconn 512 check
    server server2 192.168.1.20:80 weight 1 maxconn 512 check

# [HTTPS Site Configuration]
listen  https_web 192.168.10.10:443
    mode tcp
    balance source# Load Balancing algorithm
    reqadd X-Forwarded-Proto:\ http
    server server1 192.168.1.10:443 weight 1 maxconn 512 check
    server server2 192.168.1.20:443 weight 1 maxconn 512 check