Um dem privaten Schlüssel ein Passwort zu geben, kannst du in openssl genpkey die Option -aes256 oder eine andere Verschlüsselungsmethode hinzufügen. Damit wird der Schlüssel beim Speichern verschlüsselt und OpenSSL fragt dich nach einem Passwort.
openssl genpkey -algorithm RSA -out signing.key -aes256 -pkeyopt rsa_keygen_bits:2048