Mit OpenSSL kannst du ein P12 Zertifikat erstellen.
openssl pkcs12 -export -in certificate.crt -inkey private.key -out keystore.p12