Dein Befehl ist schon fast richtig allerdings ist der Wert in hexadezimaler Form deshalb musst du den /d Switch davor setzen.
reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp" /v "SSLCertificateSHA1Hash" /t REG_BINARY /d 98b5bf874a27579b0e4743aa25563b27fc044432