mysql导入千万级别数据

背景介绍
导入大量数据可能是为了进行测试、分析或生产环境数据迁移等目的。在实际应用中，高效地导入数据至关重要，因为传统的逐行插入可能会花费大量时间。

问题描述
导入大量数据时，常见的问题包括导入速度慢、耗时长，甚至导致数据库性能下降。使用传统的 INSERT 语句逐行插入数据，对于千万级别的数据来说是不切实际的。
下面我将介绍使用存储过程、SOURCE方法和LOAD DATA导入1000万条数据

测试表准备

-- 创建测试表
CREATE TABLE test_data (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(32)
);

存储过程生成数据

-- 插入1000万条数据
DELIMITER //
CREATE PROCEDURE generateTestData()
BEGIN
    DECLARE i INT DEFAULT 1;
    WHILE i <= 10000000 DO
        INSERT INTO test_data (name) VALUES (CONCAT('用户', i));
        SET i = i + 1;
    END WHILE;
END //
DELIMITER ;

-- 执行存储过程
CALL generateTestData();

SOURCE
首先使用java或者python等语言生成sql，插入语句。我使用的java

public class SQLFileGenerator {
    public static void main(String[] args) {
        String filePath = "data.sql"; // 生成的 SQL 文件路径
        int totalRecords = 10000000;

        try (BufferedWriter writer = new BufferedWriter(new FileWriter(filePath))) {
            for (int i = 1; i <= totalRecords; i++) {
                String insertSQL = "INSERT INTO test_data (name) VALUES ('用户" + i + "');";
                writer.write(insertSQL);
                writer.newLine();

                if (i % 1000 == 0) {
                    writer.flush(); // 每1000条语句刷新一次缓冲区
                }
            }

            System.out.println("SQL file generated successfully!");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

生成了之后使用source进行导入

source D:\IdeaProjects\demos\data.sql

Mysql source命令报错

• 情况一：目录包含中文
  
  放到没有中文的路径再执行
• 情况二：不小心加了分号
  

mysql会将分号当做文件名的一部分 固然报错

• 情况三：没有选择数据库
  使用 use加数据库名 选择数据库后再执行

LOAD DATA导入数据
使用java生成数据文件

public class SQLFileGenerator {
    public static void main(String[] args) {
        String filePath = "data.txt"; // 生成的 SQL 文件路径
        int totalRecords = 10000000;

        try (BufferedWriter writer = new BufferedWriter(new FileWriter(filePath))) {
            for (int i = 1; i <= totalRecords; i++) {
                String insertSQL = i+" 用户" + i ;
                writer.write(insertSQL);
                writer.newLine();

                if (i % 1000 == 0) {
                    writer.flush(); // 每1000条语句刷新一次缓冲区
                }
            }

            System.out.println("SQL file generated successfully!");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

执行sql语句

LOAD DATA INFILE 'D:\\IdeaProjects\\demos\\data.txt'
INTO TABLE test_data
FIELDS TERMINATED BY ' ' -- 分隔符，例如逗号
LINES TERMINATED BY '\r\n' -- 换行符，例如 Windows 下的回车换行
-- IGNORE 1 LINES; -- 忽略文件中的第一行（表头等）

1000万的数据导入一共花了49s
查询记录的条数

select count(1) from test_data;

如果出现ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement错误
请参考这篇博客
https://blog.csdn.net/qq_44732146/article/details/135364476