Mit dem Cmdlet Get-Content und der Funktion Replace.
(Get-Content "file.csv").Replace(',', ';') | Set-Content "file.csv"