Such in der Serverkonfiguration unter
/etc/nginx/nginx.conf
nach einem Abschnitt, in dem das Backend definiert ist. Dieser könnte so ähnlich aussehen:  
upstream mein_backend {
     server 192.168.1.1;
     server 192.168.1.2;
     server 192.168.1.3;
} Füge einfach die vierte IP ein.