Du kannst das Ausgabeformat mit dem Parameter -outform einstellen.
openssl rsa -in private.key -outform PEM -out private.pem