Nội dung
- Yêu cầu - Tìm kiếm thông tin mạng server - Cài đặt và cấu hình web server - Cài đặt và cấu hình HAProxy - Xây dựng và cài đặt Keepalived - Tạo tập lệnh khởi động Keepalived - Tạo file cấu hình Keepalived - Tạo Tập lệnh chuyển đổi IP nổi - Khởi động dịch vụ Keepalived và thử nghiệm chuyển đổi dự phòng - Hình dung sự chuyển đổi - Cấu hình Nginx để ghi địa chỉ IP client thực tế - Kết luận

Thứ sáu, 23/10/2015 | 00:00 GMT+7

Cách thiết lập server HAProxy khả dụng cao với các IP được lưu giữ và nổi trên Ubuntu 14.04

Tính sẵn sàng cao là một chức năng của thiết kế hệ thống cho phép ứng dụng tự động khởi động lại hoặc định tuyến lại công việc sang một hệ thống có khả năng khác trong trường hợp có sự cố. Về server , cần có một số công nghệ khác nhau để cài đặt một hệ thống có tính khả dụng cao. Phải có một thành phần có thể chuyển hướng công việc và phải có một cơ chế giám sát sự cố và chuyển đổi hệ thống nếu phát hiện ra sự cố gián đoạn.

Daemon keepalived được dùng để giám sát các dịch vụ hoặc hệ thống và tự động chuyển đổi dự phòng sang chế độ chờ nếu sự cố xảy ra. Trong hướng dẫn này, ta sẽ trình bày cách sử dụng keepalived để cài đặt tính khả dụng cao cho các bộ cân bằng tải của bạn. Ta sẽ cấu hình một địa chỉ IP nổi có thể được di chuyển giữa hai bộ cân bằng tải có khả năng. Chúng sẽ được cấu hình để phân chia lưu lượng giữa hai web server backend . Nếu bộ cân bằng tải chính gặp sự cố, IP nổi sẽ tự động được chuyển sang bộ cân bằng tải thứ hai, cho phép dịch vụ tiếp tục.

Sơ đồ tính khả dụng cao

Lưu ý: DigitalOcean Load Balancers là một dịch vụ cân bằng tải được quản lý đầy đủ, có tính khả dụng cao. Dịch vụ Cân bằng tải có thể thực hiện role tương tự như cài đặt tính sẵn sàng cao thủ công được mô tả ở đây. Làm theo hướng dẫn của ta về cách cài đặt Cân bằng tải nếu bạn muốn đánh giá tùy chọn đó.

Yêu cầu

Để hoàn thành hướng dẫn này, bạn cần tạo bốn server Ubuntu 14.04 trong account DigitalOcean của bạn . Tất cả các server phải được đặt trong cùng một trung tâm dữ liệu và phải bật mạng riêng.

Trên mỗi server này, bạn cần một user không phải root được cấu hình với quyền truy cập sudo . Bạn có thể làm theo hướng dẫn cài đặt server ban đầu Ubuntu 14.04 của ta để tìm hiểu cách cài đặt những user này.

Tìm kiếm thông tin mạng server

Trước khi ta bắt đầu cấu hình thực tế của các thành phần cơ sở hạ tầng của bạn , cách tốt nhất là thu thập một số thông tin về từng server của bạn.

Để hoàn thành hướng dẫn này, bạn cần có thông tin sau về server của bạn :

web server : Địa chỉ IP riêng
bộ cân bằng tải Địa chỉ IP riêng và cố định

Tìm địa chỉ IP riêng

Cách dễ nhất để tìm địa chỉ IP riêng của Server là sử dụng curl để lấy địa chỉ IP riêng từ dịch vụ metadata DigitalOcean. Lệnh này sẽ được chạy từ bên trong Server. Trên mỗi server , nhập:

curl 169.254.169.254/metadata/v1/interfaces/private/0/ipv4/address && echo

Địa chỉ IP chính xác sẽ được in trong cửa sổ dòng lệnh:

Output
10.132.20.236

Tìm địa chỉ IP neo

“IP neo” là địa chỉ IP riêng local mà IP nổi sẽ liên kết với khi được gắn vào server DigitalOcean. Nó chỉ đơn giản là một alias cho địa chỉ eth0 thông thường, được thực hiện ở cấp siêu giám sát.

Cách dễ nhất, ít lỗi nhất để lấy giá trị này là trực tiếp từ dịch vụ metadata DigitalOcean. Sử dụng curl , bạn có thể liên hệ với điểm cuối này trên từng server của bạn bằng lệnh :

curl 169.254.169.254/metadata/v1/interfaces/public/0/anchor_ipv4/address && echo

IP neo sẽ được in trên dòng riêng của nó:

Output
10.17.1.18

Cài đặt và cấu hình web server

Sau khi thu thập dữ liệu ở trên, ta có thể chuyển sang cấu hình các dịch vụ của bạn .

Ghi chú

Trong cài đặt này, phần mềm được chọn cho lớp web server có thể swap cho nhau. Hướng dẫn này sẽ sử dụng Nginx vì nó chung chung và khá dễ cấu hình. Nếu bạn thấy phù hợp hơn với Apache hoặc web server dành riêng cho ngôn ngữ (có khả năng production ), hãy sử dụng nó để thay thế. HAProxy sẽ chỉ chuyển các yêu cầu của client đến các web server backend , server này có thể xử lý các yêu cầu tương tự như cách nó xử lý các kết nối client trực tiếp.

Ta sẽ bắt đầu bằng cách cài đặt các web server backend của ta . Cả hai server này sẽ phục vụ chính xác cùng một nội dung. Họ sẽ chỉ chấp nhận các kết nối web qua địa chỉ IP riêng của họ. Điều này sẽ giúp đảm bảo lưu lượng truy cập được chuyển hướng qua một trong hai server HAProxy mà ta sẽ cấu hình sau này.

Việc cài đặt web server đằng sau bộ cân bằng tải cho phép ta phân phối gánh nặng yêu cầu giữa một số web server giống hệt nhau. Khi nhu cầu lưu lượng truy cập của ta thay đổi, ta có thể dễ dàng mở rộng quy mô để đáp ứng các nhu cầu mới bằng cách thêm hoặc xóa các web server khỏi cấp này.

Cài đặt Nginx

Ta sẽ cài đặt Nginx trên các máy phục vụ web của bạn để cung cấp chức năng này.

Bắt đầu bằng cách đăng nhập với user sudo của bạn vào hai máy mà bạn muốn sử dụng làm web server . Cập nhật index gói local trên từng web server của bạn và cài đặt Nginx bằng lệnh :

sudo apt-get update 
sudo apt-get install nginx

Cấu hình Nginx để chỉ cho phép yêu cầu từ bộ cân bằng tải

Tiếp theo, ta sẽ cấu hình các version Nginx của bạn . Ta muốn nói với Nginx chỉ lắng nghe các yêu cầu trên địa chỉ IP riêng của server . Hơn nữa, ta sẽ chỉ phục vụ các yêu cầu đến từ địa chỉ IP riêng của hai bộ cân bằng tải của ta .

Để thực hiện những thay đổi này, hãy mở file khối server Nginx mặc định trên mỗi web server của bạn:

sudo nano /etc/nginx/sites-available/default

Để bắt đầu, ta sẽ sửa đổi các chỉ thị listen . Thay đổi chỉ thị listen để lắng nghe địa chỉ IP riêng của web server hiện tại trên cổng 80. Xóa dòng listen phụ. Nó trông giống như sau :

/ etc / nginx / sites-available / default

server {     listen web_server_private_IP:80;      . . .

Sau đó, ta sẽ cài đặt hai chỉ thị allow để cho phép lưu lượng truy cập bắt nguồn từ địa chỉ IP riêng của hai bộ cân bằng tải của ta . Ta sẽ theo dõi điều này với luật deny all để cấm tất cả các lưu lượng truy cập khác:

/ etc / nginx / sites-available / default

server {     listen web_server_private_IP:80;      allow load_balancer_1_private_IP;     allow load_balancer_2_private_IP;     deny all;      . . .

Lưu và đóng các file khi bạn hoàn tất.

Kiểm tra xem các thay đổi bạn đã thực hiện có đại diện cho cú pháp Nginx hợp lệ hay không bằng lệnh :

sudo nginx -t

Nếu không có sự cố nào được báo cáo, hãy khởi động lại daemon Nginx bằng lệnh :

sudo service nginx restart

Kiểm tra các thay đổi

Để kiểm tra xem web server của bạn có bị giới hạn đúng cách hay không, bạn có thể đưa ra yêu cầu bằng cách sử dụng curl từ các vị trí khác nhau.

Trên chính các web server của bạn, bạn có thể thử một yêu cầu đơn giản về nội dung local bằng lệnh :

curl 127.0.0.1

Do các hạn chế mà ta đặt ra trong các file khối server Nginx của bạn , yêu cầu này sẽ thực sự bị từ chối:

Output
curl: (7) Failed to connect to 127.0.0.1 port 80: Connection refused

Điều này được mong đợi và phản ánh hành vi mà ta đã cố gắng thực hiện.

Bây giờ, từ một trong hai bộ cân bằng tải , ta có thể yêu cầu một trong hai địa chỉ IP công cộng của web server của ta :

curl web_server_public_IP

, điều này sẽ thất bại. Các web server không lắng nghe trên giao diện công cộng và hơn nữa, khi sử dụng địa chỉ IP công cộng, các web server của ta sẽ không nhìn thấy các địa chỉ IP riêng được phép trong yêu cầu từ bộ cân bằng tải của ta :

Output
curl: (7) Failed to connect to web_server_public_IP port 80: Connection refused

Tuy nhiên, nếu ta sửa đổi lệnh gọi để thực hiện yêu cầu bằng địa chỉ IP riêng của web server , nó sẽ hoạt động chính xác:

curl web_server_private_IP

Trang Nginx index.html mặc định sẽ được trả về:

Output
<!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title>  . . .

Kiểm tra điều này từ cả hai bộ cân bằng tải cho cả hai web server . Mỗi yêu cầu cho địa chỉ IP riêng sẽ thành công trong khi mỗi yêu cầu được thực hiện cho các địa chỉ công cộng sẽ không thành công.

Một khi hành vi trên được chứng minh, ta có thể tiếp tục. Cấu hình web server backend của ta hiện đã hoàn tất.

Cài đặt và cấu hình HAProxy

Tiếp theo, ta sẽ cài đặt bộ cân bằng tải HAProxy. Mỗi thứ này sẽ ngồi trước web server của ta và phân chia yêu cầu giữa hai server backend . Những bộ cân bằng tải này hoàn toàn dư thừa. Chỉ một người sẽ nhận được lưu lượng truy cập tại bất kỳ thời điểm nào.

Cấu hình HAProxy sẽ chuyển yêu cầu đến cả hai web server . Bộ cân bằng tải sẽ lắng nghe các yêu cầu trên địa chỉ IP neo của chúng. Như đã đề cập trước đó, đây là địa chỉ IP mà địa chỉ IP nổi sẽ liên kết khi được gắn vào Server. Điều này đảm bảo chỉ lưu lượng truy cập bắt nguồn từ địa chỉ IP nổi mới được chuyển tiếp.

Cài đặt HAProxy

Bước đầu tiên ta cần thực hiện trên bộ cân bằng tải sẽ là cài đặt gói haproxy . Ta có thể tìm thấy điều này trong repository lưu trữ mặc định của Ubuntu. Cập nhật index gói local trên bộ cân bằng tải của bạn và cài đặt HAProxy bằng lệnh :

sudo apt-get update 
sudo apt-get install haproxy

Cấu hình HAProxy

Mục đầu tiên ta cần sửa đổi khi xử lý HAProxy là file /etc/default/haproxy . Mở file đó ngay bây giờ trong editor :

sudo nano /etc/default/haproxy

Tệp này xác định xem HAProxy có bắt đầu khi server khởi động hay không. Vì ta muốn dịch vụ tự động khởi động mỗi khi server bật nguồn, ta cần thay đổi giá trị của ENABLED thành “1”:

/ etc / default / haproxy

# Set ENABLED to 1 if you want the init script to start haproxy. ENABLED=1 # Add extra flags here. #EXTRAOPTS="-de -m 16"

Lưu file sau khi thực hiện chỉnh sửa ở trên.

Tiếp theo, ta có thể mở file cấu hình HAProxy chính:

sudo nano /etc/haproxy/haproxy.cfg

Mục đầu tiên ta cần điều chỉnh là chế độ mà HAProxy sẽ hoạt động. Ta muốn cấu hình cân bằng tải TCP, hoặc lớp 4. Để làm điều này, ta cần thay đổi dòng mode trong phần default . Ta cũng nên thay đổi tùy chọn ngay sau đây liên quan đến log :

/etc/haproxy/haproxy.cfg

. . .  defaults     log     global     mode    tcp     option  tcplog  . . .

Ở cuối file , ta cần xác cấu hình giao diện user . Điều này sẽ chỉ định cách HAProxy lắng nghe các kết nối đến. Ta sẽ liên kết HAProxy với địa chỉ IP neo của bộ cân bằng tải. Điều này sẽ cho phép nó lắng nghe lưu lượng truy cập bắt nguồn từ địa chỉ IP nổi. Ta sẽ gọi giao diện user của bạn là “www” để đơn giản hóa. Ta cũng sẽ chỉ định một chương trình backend mặc định để chuyển lưu lượng truy cập đến ( ta sẽ cấu hình trong giây lát):

/etc/haproxy/haproxy.cfg

. . .  defaults     log     global     mode    tcp     option  tcplog  . . .  frontend www     bind    load_balancer_anchor_IP:80     default_backend nginx_pool

Tiếp theo, ta có thể cấu hình phần backend của bạn . Điều này sẽ chỉ định các vị trí hạ lưu nơi HAProxy sẽ vượt qua lưu lượng mà nó nhận được. Trong trường hợp của ta , đây sẽ là địa chỉ IP riêng của cả hai web server Nginx mà ta đã cấu hình . Ta sẽ chỉ định cân bằng vòng tròn truyền thống và sẽ đặt lại chế độ thành “tcp”:

/etc/haproxy/haproxy.cfg

. . .  defaults     log     global     mode    tcp     option  tcplog  . . .  frontend www     bind load_balancer_anchor_IP:80     default_backend nginx_pool  backend nginx_pool     balance roundrobin     mode tcp     server web1 web_server_1_private_IP:80 check     server web2 web_server_2_private_IP:80 check

Khi bạn hoàn thành các thay đổi trên, hãy lưu file .

Kiểm tra xem các thay đổi cấu hình mà ta thực hiện có đại diện cho cú pháp HAProxy hợp lệ hay không bằng lệnh :

sudo haproxy -f /etc/haproxy/haproxy.cfg -c

Nếu không có lỗi nào được báo cáo, hãy khởi động lại dịch vụ của bạn bằng lệnh :

sudo service haproxy restart

Kiểm tra các thay đổi

Ta có thể đảm bảo cấu hình của ta hợp lệ bằng cách thử nghiệm lại với curl .

Từ các server của bộ cân bằng tải, hãy thử yêu cầu server local , địa chỉ IP công cộng của bộ cân bằng tải hoặc địa chỉ IP riêng của server :

curl 127.0.0.1 
curl load_balancer_public_IP 
curl load_balancer_private_IP

Tất cả những điều này sẽ không thành công với các thông báo trông giống như sau:

Output
curl: (7) Failed to connect to address port 80: Connection refused

Tuy nhiên, nếu bạn thực hiện một yêu cầu đối với địa chỉ IP neo của bộ cân bằng tải, nó sẽ hoàn tất thành công:

curl load_balancer_anchor_IP

Bạn sẽ thấy trang Nginx index.html mặc định, được định tuyến từ một trong hai web server backend :

Output
<!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title>  . . .

Nếu hành vi này trùng với hành vi của hệ thống , thì bộ cân bằng tải của bạn đã được cấu hình chính xác.

Xây dựng và cài đặt Keepalived

Dịch vụ thực tế của ta hiện đang hoạt động. Tuy nhiên, cơ sở hạ tầng của ta chưa khả dụng cao vì ta không có cách nào chuyển hướng lưu lượng truy cập nếu bộ cân bằng tải hoạt động của ta gặp sự cố. Để khắc phục điều này, ta sẽ cài đặt trình keepalived trên các server cân bằng tải của ta . Đây là thành phần sẽ cung cấp khả năng chuyển đổi dự phòng nếu trình cân bằng tải hoạt động của ta không khả dụng.

Có một version keepalived trong repository lưu trữ mặc định của Ubuntu, nhưng nó đã lỗi thời và mắc phải một số lỗi khiến cấu hình của ta không thể hoạt động. Thay vào đó, ta sẽ cài đặt version mới nhất của keepalived từ nguồn.

Trước khi bắt đầu, ta nên nắm bắt các phụ thuộc mà ta cần để xây dựng phần mềm. Các build-essential meta-package sẽ cung cấp các công cụ biên dịch ta cần, trong khi libssl-dev gói chứa các thư viện phát triển SSL keepalived nhu cầu để xây dựng đối với:

sudo apt-get install build-essential libssl-dev

Khi các phụ thuộc đã sẵn sàng, ta có thể download tarball cho keepalived . Truy cập trang này để tìm version mới nhất của phần mềm. Nhấp chuột phải vào version mới nhất và sao chép địa chỉ liên kết. Quay lại server của bạn, di chuyển đến folder chính của bạn và sử dụng wget để lấy liên kết bạn đã sao chép:

cd ~ 
wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz

Sử dụng lệnh tar để mở rộng repository . Di chuyển vào folder kết quả:

tar xzvf keepalived* 
cd keepalived*

Xây dựng và cài đặt daemon bằng lệnh :

./configure 
make 
sudo make install

Daemon bây giờ sẽ được cài đặt trên cả hai hệ thống cân bằng tải.

Tạo tập lệnh khởi động Keepalived

Bản cài đặt keepalived đã di chuyển tất cả các file binary và file hỗ trợ vào vị trí trên hệ thống của ta . Tuy nhiên, một phần không được bao gồm là tập lệnh Khởi động cho hệ thống Ubuntu 14.04 của ta .

Ta có thể tạo ra một kịch bản Upstart rất đơn giản mà có thể xử lý ta keepalived dịch vụ. Mở một file có tên keepalived.conf trong folder /etc/init để bắt đầu:

sudo nano /etc/init/keepalived.conf

Bên trong, ta có thể bắt đầu với một mô tả đơn giản về chức năng mà keepalived cung cấp. Ta sẽ sử dụng mô tả từ trang man bao gồm. Tiếp theo, ta sẽ chỉ định các runlevel mà dịch vụ sẽ được bắt đầu và dừng lại. Ta muốn dịch vụ này hoạt động trong mọi điều kiện bình thường (cấp độ 2-5) và bị dừng đối với tất cả các cấp độ chạy khác (ví dụ: khi khởi động lại, khởi động máy hoặc chế độ một user ):

/etc/init/keepalived.conf

description "load-balancing and high-availability service"  start on runlevel [2345] stop on runlevel [!2345]

Vì dịch vụ này không thể thiếu đảm bảo dịch vụ web của ta vẫn khả dụng, ta muốn khởi động lại dịch vụ này trong trường hợp không thành công. Sau đó ta có thể xác định thực tế exec dòng đó sẽ bắt đầu dịch vụ. Ta cần thêm tùy chọn --dont-fork để Upstart có thể theo dõi pid một cách chính xác:

/etc/init/keepalived.conf

description "load-balancing and high-availability service"  start on runlevel [2345] stop on runlevel [!2345]  respawn  exec /usr/local/sbin/keepalived --dont-fork

Lưu và đóng các file khi bạn hoàn tất.

Tạo file cấu hình Keepalived

Với các file Upstart của ta tại chỗ, bây giờ ta có thể chuyển sang cấu hình keepalived .

Dịch vụ tìm kiếm các file cấu hình của nó trong folder /etc/keepalived . Tạo folder đó ngay bây giờ trên cả hai bộ cân bằng tải của bạn:

sudo mkdir -p /etc/keepalived

Tạo cấu hình của bộ cân bằng tải chính

Tiếp theo, trên server cân bằng tải mà bạn muốn sử dụng làm server chính của bạn , hãy tạo file cấu hình keepalived chính. Daemon tìm kiếm một file có tên keepalived.conf bên trong folder /etc/keepalived :

sudo nano /etc/keepalived/keepalived.conf

Bên trong, ta sẽ bắt đầu bằng cách xác định kiểm tra tình trạng cho dịch vụ HAProxy của ta bằng cách mở khối vrrp_script . Điều này sẽ cho phép keepalived giám sát bộ cân bằng tải của ta để tìm các lỗi để nó có thể báo hiệu rằng quá trình đang hoạt động và bắt đầu các biện pháp khôi phục.

Kiểm tra của ta sẽ rất đơn giản. Cứ sau hai giây, ta sẽ kiểm tra xem quá trình có tên haproxy vẫn đang xác nhận pid :