本文是生产环境中的一个案例，主要是为了通过反向代理实现多条线路容灾。在原有的基础上升级了openssl,openssh,nginx,通过一些模块来实现我们的需求。

正常情况下，反向代理会去请求online下面的主机，使用sticky模块实现session粘连。如果online的下面的主机全部挂掉了，这个时候，它会去出502报错（或404，具体与你的环境有关），此时它会启用下failover下面的主机，以实现线路容灾。具体的容灾方式，你可以选择多个。比如使用backup来进行标识。使用了nginx_upstream_check_module进行后端的主机健康检查。

 
    
     
         
  1. 重新部署新应用nginx 
    2.  
         
  2.  
    3.  
         
  3. 1、升级openssh 
    4.  
         
  4. 2、升级nginx 
    5.  
         
  5. 3、增加nignx模块 
    6.  
         
  6.  
    7.  
         
  7. 本次升级主要是从容灾的角度和反向代理安全性的角度考虑.通过升级openssh，避免一些低版本漏洞。 
    8.  
         
  8. 添加nginx的一些常规支持： 
    9.  
         
  9. a、支持多个SSL证书 
    10.  
         
  10. b、支持反端http 健康检查 
    11.  
         
  11. c、支持session 粘滞 nginx-sticky-module //支持sticky+rr ,sticky+weight  
    12.  
         
  12. d、通过nginx的权重+粘滞实现多线路容灾 
    13.  
         
  13. e、添加geoip模块支持，未来考虑智能CDN+GeoIP配合(在nginx前端对来源IP，判断从哪个机房取数据) 
    14.  
         
  14.  
    15.  
         
  15.  
    16.  
         
  16. 安装telnet服务器: 
    17.  
         
  17. #yum install -y telnet-server telnet 
    18.  
         
  18.  
    19.  
         
  19. 编译托管的服务 
    20.  
         
  20.  
    21.  
         
  21. # chkconfig telnet on  
    22.  
         
  22. # 
    23.  
         
  23. # /etc/init.d/xinetd restart 
    24.  
         
  24. Stopping xinetd:                                           [FAILED] 
    25.  
         
  25. Starting xinetd:                                           [  OK  ] 
    26.  
         
  26.  
    27.  
         
  27. # netstat -tnlp  
    28.  
         
  28. Active Internet connections (only servers) 
    29.  
         
  29. Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name    
    30.  
         
  30. tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      2632/sshd            
    31.  
         
  31. tcp        0      0 0.0.0.0:23                  0.0.0.0:*                   LISTEN      21977/xinetd  
    32.  
         
  32.  
    33.  
         
  33. //在防火墙中加入自己的IP允许23的规则 
    34.  
         
  34.  
    35.  
         
  35. 建立普通用户进行登录 
    36.  
         
  36. # useradd sshinstall 
    37.  
         
  37. # echo "123456@sshinstall" | passwd --stdin sshinstall 
    38.  
         
  38. Changing password for user sshinstall. 
    39.  
         
  39. passwd: all authentication tokens updated successfully. 
    40.  
         
  40.  
    41.  
         
  41. 将该用户加入到sudo组里 
    42.  
         
  42. echo "sshinstall ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers 
    43.  
         
  43.  
    44.  
         
  44. 开始安装包了 
    45.  
         
  45. # tar -xzf openssl-1.0.1c.tar.gz  
    46.  
         
  46. # cd openssl-1.0.1c 
    47.  
         
  47. # ./config enable-tl***t  --prefix=/usr/local/openssl-1.0.0c 
    48.  
         
  48. # make  
    49.  
         
  49. # make test 
    50.  
         
  50. # make install 
    51.  
         
  51.  
    52.  
         
  52. # echo /usr/local/openssl-1.0.0c/lib/ >> /etc/ld.so.conf  
    53.  
         
  53. # ln -s /usr/local/openssl-1.0.0c/ /usr/local/openssl 
    54.  
         
  54.  
    55.  
         
  55. echo ' 
    56.  
         
  56. PATH=/usr/local/openssl/bin:$PATH 
    57.  
         
  57. export PATH' >>   /etc/profile 
    58.  
         
  58.  
    59.  
         
  59. # source /etc/profile  
    60.  
         
  60. # openssl version -a 
    61.  
         
  61. OpenSSL 1.0.1c 10 May 2012 
    62.  
         
  62. built on: Fri Jan  4 00:32:23 CST 2013 
    63.  
         
  63. platform: linux-x86_64 
    64.  
         
  64. options:  bn(64,64) rc4(16x,int) des(idx,cisc,16,int) idea(int) blowfish(idx)  
    65.  
         
  65. compiler: gcc -DOPENSSL_THREADS -D_REENTRANT -DDSO_DLFCN -DHAVE_DLFCN_H -Wa,--noexecstack -m64 -DL_ENDIAN -DTERMIO -O3 -Wall -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DMD5_ASM -DAES_ASM -DVPAES_ASM -DBSAES_ASM -DWHIRLPOOL_ASM -DGHASH_ASM 
    66.  
         
  66. OPENSSLDIR: "/usr/local/openssl-1.0.0c/ssl 
    67.  
         
  67.  
    68.  
         
  68. 开始删除openssh  
    69.  
         
  69. # rpm -e openssh-server-4.3p2-41.el5 --nodeps 
    70.  
         
  70. # rpm -e openssh-4.3p2-41.el5 --nodeps 
    71.  
         
  71. # rpm -e openssh-askpass-4.3p2-41.el5 --nodeps 
    72.  
         
  72. # rpm -e openssh-clients-4.3p2-41.el5 --nodeps 
    73.  
         
  73.  
    74.  
         
  74. # rm -rf /etc/ssh/ 
    75.  
         
  75.  
    76.  
         
  76. 开始安装openssh 
    77.  
         
  77. # tar -xzf openssh-6.1p1.tar.gz 
    78.  
         
  78. # cd openssh-6.1p1  
    79.  
         
  79. # ./configure --prefix=/usr --sysconfdir=/etc/ssh --with-pam --with-ssl-dir=/usr/local/openssl-1.0.0c --with-md5-passwords --mandir=/usr/share/man  
    80.  
         
  80. # make 
    81.  
         
  81. # make install  
    82.  
         
  82.  
    83.  
         
  83. 将sshd加入到服务列表里面去 
    84.  
         
  84.  
    85.  
         
  85. # cp ./contrib/redhat/sshd.init /etc/init.d/sshd 
    86.  
         
  86. # chmod u+x /etc/init.d/sshd 
    87.  
         
  87. # chkconfig --add sshd 
    88.  
         
  88. # chkconfig sshd on 
    89.  
         
  89. # service sshd start 
    90.  
         
  90. Starting sshd:  OK  ] 
    91.  
         
  91. # ssh -v 
    92.  
         
  92. OpenSSH_6.1p1, OpenSSL 1.0.1c 10 May 2012 
    93.  
         
  93.  
    94.  
         
  94. 关掉telnetserver，删除sshinstall用户 
    95.  
         
  95. # chkconfig telnet off 
    96.  
         
  96. # /etc/init.d/xinetd restart 
    97.  
         
  97. Stopping xinetd:                                           [  OK  ] 
    98.  
         
  98. Starting xinetd:                                           [  OK  ] 
    99.  
         
  99. # netstat -tnlp  
    100.  
         
  100. Active Internet connections (only servers) 
    101.  
         
  101. Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name    
    102.  
         
  102. tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      29602/sshd           
    103.  
         
  103.  
    104.  
         
  104. # userdel -r sshinstall  
    105.  
         
  105.  
    106.  
         
  106. 安装Nginx 
    107.  
         
  107. # tar zxvf libunwind-0.99.tar.gz 
    108.  
         
  108. # cd libunwind-0.99/ 
    109.  
         
  109. # CFLAGS=-fPIC ./configure && make CFLAGS=-fPIC 
    110.  
         
  110. # make CFLAGS=-fPIC install 
    111.  
         
  111.  
    112.  
         
  112. # tar xzf google-perftools-1.6.tar.gz 
    113.  
         
  113. # cd google-perftools-1.6 
    114.  
         
  114. # ./configure  
    115.  
         
  115. # make && make install  
    116.  
         
  116.  
    117.  
         
  117. # tar -xzf pcre-8.12.tar.gz  
    118.  
         
  118. # cd pcre-8.12 
    119.  
         
  119. # ./configure && make && make install  
    120.  
         
  120.  
    121.  
         
  121. 安装geoip 
    122.  
         
  122. # wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz 
    123.  
         
  123. # tar -xzf GeoIP.tar.gz  
    124.  
         
  124. # cd GeoIP-1.4.8/ 
    125.  
         
  125. # ./configure && make && make install 
    126.  
         
  126. # wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz 
    127.  
         
  127. # gunzip GeoIP.dat.gz  
    128.  
         
  128. # echo '/usr/local/lib' > /etc/ld.so.conf.d/geoip.conf 
    129.  
         
  129. # ldconfig 
    130.  
         
  130.  
    131.  
         
  131. 解压各个模块，在安装nginx时，加入该模块 
    132.  
         
  132. # unzip nginx_upstream_jvm_route.zip    //tomcat session 
    133.  
         
  133. Archive:  nginx_upstream_jvm_route.zip 
    134.  
         
  134.    creating: nginx-upstream-jvm-route/ 
    135.  
         
  135.    creating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/ 
    136.  
         
  136.   inflating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/CHANGES   
    137.  
         
  137.   inflating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/config   
    138.  
         
  138.   inflating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/jvm_route.patch   //补丁文件，需要手工进行执行 
    139.  
         
  139.   inflating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/ngx_http_upstream_jvm_route_module.c   
    140.  
         
  140.   inflating: nginx-upstream-jvm-route/nginx_upstream_jvm_route/README   
    141.  
         
  141.  
    142.  
         
  142. # unzip master.zip  //nginx_upsteam check_module 
    143.  
         
  143. # tar -xzf nginx-sticky-module-1.1.tar.gz  //session 
    144.  
         
  144. # tar -xzf nginx-1.2.6.tar.gz    
    145.  
         
  145. # cd nginx-1.2.6 
    146.  
         
  146. 开始打补丁了 
    147.  
         
  147. # patch -p0 < /root/upgrade/nginx-upstream-jvm-route/nginx_upstream_jvm_route/jvm_route.patch  
    148.  
         
  148. patching file src/http/ngx_http_upstream.c 
    149.  
         
  149. Hunk #1 succeeded at 4117 (offset 380 lines). 
    150.  
         
  150. Hunk #3 succeeded at 4249 (offset 380 lines). 
    151.  
         
  151. Hunk #5 succeeded at 4348 (offset 380 lines). 
    152.  
         
  152. patching file src/http/ngx_http_upstream.h 
    153.  
         
  153. Hunk #1 succeeded at 90 (offset 5 lines). 
    154.  
         
  154. Hunk #3 succeeded at 118 (offset 5 lines). 
    155.  
         
  155.  
    156.  
         
  156. # patch -p1 < /root/upgrade/nginx_upstream_check_module-master/check_1.2.6+.patch  
    157.  
         
  157. patching file src/http/modules/ngx_http_upstream_ip_hash_module.c 
    158.  
         
  158. patching file src/http/modules/ngx_http_upstream_least_conn_module.c 
    159.  
         
  159. patching file src/http/ngx_http_upstream_round_robin.c 
    160.  
         
  160. patching file src/http/ngx_http_upstream_round_robin.h 
    161.  
         
  161.  
    162.  
         
  162. # ./configure --prefix=/usr/local/nginx  --user=nobody --group=nobody  --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --with-http_sub_module --with-http_geoip_module  --with-http_ssl_module  --with-http_ssl_module --with-openssl=/root/upgrade/openssl-1.0.1c --with-pcre=/root/upgrade/pcre-8.12 --add-module=/root/upgrade/nginx-upstream-jvm-route/nginx_upstream_jvm_route/  --add-module=/root/upgrade/nginx_upstream_check_module-master/ --add-module=/root/upgrade/nginx-sticky-module-1.1/ --with-google_perftools_module 
    163.  
         
  163. # make && make install  
    164.  
         
  164.  
    165.  
         
  165. # /usr/local/nginx/sbin/nginx -v 
    166.  
         
  166. nginx version: nginx/1.2.6 
    167.  
         
  167.  
    168.  
         
  168. 如果你的nginx是正常运行的，请对当前nginx进行在线升级. 
    169.  
         
  169. # ps aux | grep master 
    170.  
         
  170. root     13589  0.0  0.0  26772  3884 ?        S     2012   0:01 nginx: master process /usr/local/nginx/sbin/nginx 
    171.  
         
  171. root     20834  0.0  0.0  61140   768 pts/4    S+   17:14   0:00 grep master 
    172.  
         
  172.  
    173.  
         
  173. 进程替换 
    174.  
         
  174. # kill -USR2 13589 
    175.  
         
  175. # ps aux | grep master 
    176.  
         
  176. root     13589  0.0  0.0  26772  3884 ?        S     2012   0:01 nginx: master process /usr/local/nginx/sbin/nginx 
    177.  
         
  177. root     21395  0.5  0.0  40272  3504 ?        S    17:16   0:00 nginx: master process /usr/local/nginx/sbin/nginx 
    178.  
         
  178. root     21416  0.0  0.0  61140   768 pts/4    S+   17:16   0:00 grep master 
    179.  
         
  179.  
    180.  
         
  180. # kill -WINCH 13589   //发送WINCH信号到旧的nginx主进程以杀掉旧的nginx子进程 
    181.  
         
  181. # kill -QUIT 13589  // 退出旧的nginx主进程  
    182.  
         
  182. # ps aux |grep master 
    183.  
         
  183. root     21395  0.0  0.0  40272  3504 ?        S    17:16   0:00 nginx: master process /usr/local/nginx/sbin/nginx 
    184.  
         
  184. root     21749  0.0  0.0  61140   772 pts/4    S+   17:16   0:00 grep master 
    185.  
         
  185.  
    186.  
         
  186. 删除老的版本 
    187.  
         
  187. # rm -rf /usr/local/nginx/sbin/nginx.old  
    188.  
         
  188. 查看当前版本 
    189.  
         
  189. # /usr/local/nginx/sbin/nginx -v 
    190.  
         
  190. nginx version: nginx/1.2.6 
    191.  
         
  191.  
    192.  
         
  192. 完成所以安装，收工！ 
    193.  
         
  193. # /usr/local/nginx/sbin/nginx -V 
    194.  
         
  194. nginx version: nginx/1.2.6 
    195.  
         
  195. built by gcc 4.1.2 20080704 (Red Hat 4.1.2-52) 
    196.  
         
  196. TLS SNI support enabled  //用于支持SSL多域名证书的哟 
    197.  
         
  197. configure arguments: --prefix=/usr/local/nginx --user=nobody --group=nobody --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --with-http_sub_module --with-http_geoip_module --with-http_ssl_module --with-http_ssl_module --with-openssl=/root/upgrade/openssl-1.0.1c --with-pcre=/root/upgrade/pcre-8.12 --add-module=/root/upgrade/nginx-upstream-jvm-route/nginx_upstream_jvm_route/ --add-module=/root/upgrade/nginx_upstream_check_module-master/ --add-module=/root/upgrade/nginx-sticky-module-1.1/ --with-google_perftools_module 
    198.  
         
  198.  
    199.  
         
  199. 环境验证: 
    200.  
         
  200. 前端一台反向代理，后端两台异地机房（A\B机房），A机房具有较高的带宽、B机房作为备用机房。 
    201.  
         
  201. 要求: 正常情况下，访问全部走A机房，在A机房不可用时，全部访问走B机房。理论上我们不需要进行session粘滞便可以轻松实现。但基于未来多机房分布，session粘滞还是必须需要的。那么当前情况下，我有两个模块nginx_upstream_jvm_route（需要配置tomcat\resin等,应用环境有限）,nginx-sticky-module-1.1. 根据不同情况使用。 
    202.  
         
  202.  
    203.  
         
  203. 目前可以分为两种情况: 
    204.  
         
  204. 1、只有一条主线路和一条备线路 
    205.  
         
  205. 要求： 在主线路可以使用时，尽量使用主线路，备线路在主线路故障时使用。 
    206.  
         
  206. 实际情况: A机房一线主线路,B机房一条备用线路(因为线路质量差，所以备用) 
    207.  
         
  207. 具体配置如下: 
    208.  
         
  208. upstream.conf 
    209.  
         
  209. // 
    210.  
         
  210.         upstream online { 
    211.  
         
  211.         server 172.28.10.161:8080 max_fails=0 fail_timeout=3s ; 
    212.  
         
  212.         server 172.28.10.163:8080  backup; 
    213.  
         
  213.      
    214.  
         
  214.         check interval=3000 rise=2 fall=1 timeout=1000 type=http; 
    215.  
         
  215.         check_http_send "GET / HTTP/1.0\r\n\r\n"; 
    216.  
         
  216.         check_http_expect_alive http_2xx http_3xx; 
    217.  
         
  217.         } 
    218.  
         
  218.  
    219.  
         
  219. 2、有多条主线路和一条备线路 
    220.  
         
  220. 要求: 多条主线路进行负载均衡，在所有主线路都故障时，使用备用线路. 
    221.  
         
  221. 实际情况：A、C两条线路进行负载均衡、B线路最终备用线路. 
    222.  
         
  222. 具体配置如下: 
    223.  
         
  223. server.conf 
    224.  
         
  224. // 
    225.  
         
  225. server { 
    226.  
         
  226.         ...... 
    227.  
         
  227.         location / { 
    228.  
         
  228.         proxy_pass http://online; 
    229.  
         
  229.         } 
    230.  
         
  230.         error_page  404 502 = @backup; //加502的原因是因为线上系统在online里的upstream全部挂掉时，页面会报502，并不是404 
    231.  
         
  231.          
    232.  
         
  232.         location @failover { 
    233.  
         
  233.             proxy_pass http://backup; 
    234.  
         
  234.         } 
    235.  
         
  235.  
    236.  
         
  236.         location /status { 
    237.  
         
  237.                 check_status; 
    238.  
         
  238.                 access_log   off; 
    239.  
         
  239.                 allow all;  //生产环境请允许特定IP访问 
    240.  
         
  240.         } 
    241.  
         
  241.         ...... 
    242.  
         
  242. } 
    243.  
         
  243.  
    244.  
         
  244. upstream.conf 
    245.  
         
  245. // 
    246.  
         
  246.     proxy_next_upstream  http_404 http_502;  //让404报错进入max_fails计数 
    247.  
         
  247.         upstream online { 
    248.  
         
  248.         sticky; 
    249.  
         
  249.         server 172.28.70.161:8080 max_fails=0 fail_timeout=3s ; 
    250.  
         
  250.         server 172.28.70.163:8080  max_fails=0 fail_timeout=3s ; 
    251.  
         
  251.      
    252.  
         
  252.         check interval=3000 rise=2 fall=1 timeout=1000 type=http; 
    253.  
         
  253.         check_http_send "GET / HTTP/1.0\r\n\r\n"; 
    254.  
         
  254.         check_http_expect_alive http_2xx http_3xx; 
    255.  
         
  255.         } 
    256.  
         
  256.  
    257.  
         
  257.         upstream backup { 
    258.  
         
  258.         server 172.28.22.29:7777  max_fails=0 fail_timeout=3s; 
    259.  
         
  259.         } 
    260.  
         
  260.  
    261.  
         
  261.  如果upstream里的主机全部挂掉了，日志会报
    262.  
         
  262. 2013/01/12 22:57:37 [error] 7627#0: *23641 no live upstreams while connecting to upstream, client: 100.120.111.94, server: *.mydomain.com, request: "GET http://www.mydomain.com/.....(省略) HTTP/1.1", upstream: "http://online/.....(省略), host: "www.mydomain.com", referrer: "http://www.mydomain.com/.....(省略)" 
    263.  
        
 
    
 最后需要指出的就是后端的日志记录问题！这个在nginx升级安装时已经考虑到了，增加http_realip_module模块。