Das kannst du mit der MySQL-Funktion "LOAD DATA INFILE". Hier ist ein Beispiel Query.
LOAD DATA INFILE 'c:\\file.csv'
INTO TABLE users
FIELDS TERMINATED BY ';'
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES -- Ignoriere die erste Zeile mit den Spaltennamen
(Username, Firstname, Lastname);