【java爬虫】基于springboot+jdbcTemplate+sqlite+OkHttp获取个股的详细数据

注：本文所用技术栈为：springboot+jdbcTemplate+sqlite+OkHttp

前面的文章我们获取过沪深300指数的成分股所属行业以及权重数据，本文我们来获取个股的详细数据。

我们的数据源是某狐财经，接口的详细信息在下面的文章中，本文就不再赘述了

用爬虫分析沪深300指数超长走势-CSDN博客

下面是一组url和返回值的示例

https://q.stock.sohu.com/hisHq?code=cn_000001&start=20190101&end=20190102&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp

historySearchHandler([{"status":0,"hq":[["2019-01-02","9.39","9.19","-0.19","-2.03%","9.16","9.42","539386","49869.51","0.31%"]],"code":"cn_000001","stat":["累计:","2019-01-02至2019-01-02","-0.19","-2.03%",9.16,9.42,539386,49869.51,"0.31%"]}])

我们需要关心的是"hq"中的值，"hq"中的值是一个列表，列表中还有很多列表，每个列表代码一组数据，至于数据的具体含义，可以登陆搜狐财经网站上去看看。

宁德时代(300750) - 历史行情 - 股票行情中心 - 搜狐证券 (sohu.com)

这边我就随便截取一端数据

数据的从左到右分别代表日期，开盘价，收盘价，涨跌额，涨跌幅，最低，最高，成交量，成交金额和换手率，最后的盘后量是没有的。

那么我们就可以根据上述信息建立数据表和实体类

    @Override
    public void createTbaleIfNotExist() {
        Integer count = jdbcTemplate.queryForObject("SELECT COUNT(*) FROM sqlite_master WHERE type='table' AND name = ?", Integer.class, TABLE_NAME);
        if (count == 0) {
            String sql = "CREATE TABLE " + TABLE_NAME + "(" +
                    "id VARCHAR(50) PRIMARY KEY," +
                    "code VARCHAR(20)," +           // 股票代码
                    "record_date VARCHAR(20)," +    // 记录的时间
                    "open_price float," +           // 开盘价
                    "close_price float," +           // 收盘价
                    "change_ament float," +          // 涨跌额
                    "change_range float," +          // 涨跌幅
                    "max_price float," +             // 最高价格
                    "min_price float," +             // 最低价格
                    "volume float," +                // 成交量（手）
                    "turnover float," +              // 成交额（万）
                    "turnover_rate float)";               // 换手率
            jdbcTemplate.execute(sql);
            log.info(TABLE_NAME + "建表成功");
        } else {
            log.info("建表失败，表格已存在");
        }
    }

@Data
@NoArgsConstructor
@AllArgsConstructor
public class StockEntity {
    private String id;
    private String code;
    private String record_date;
    private Double open_price;
    private Double close_price;
    private Double change_amend;
    private Double change_range;
    private Double max_price;
    private Double min_price;
    private Double volume;
    private Double turnover;
    private Double turnover_rate;

    // 将数据转换为Object数组
    public Object[] changeToArray() {
        Object[] arr = new Object[]{
                id,
                code,
                record_date,
                open_price.toString(),
                close_price.toString(),
                change_amend.toString(),
                change_range.toString(),
                max_price.toString(),
                min_price.toString(),
                volume.toString(),
                turnover.toString(),
                turnover_rate.toString()
        };
        return arr;
    }

}

其中id字段是用来放置重复插入的，他的值是code+日期，这样就能保证某一只股票当日的数据是唯一的。

下面是最重要的获取数据和插入数据的方法。

我们采用批量插入的方法，传入一个列表，一次性将列表中所有的值都插入数据库

    @Override
    public void insertItems(List<StockEntity> entityList) {
        String sql = "INSERT OR IGNORE INTO " + TABLE_NAME + " (id, code, record_date," +
                "open_price, close_price, change_ament," +
                "change_range, max_price, min_price," +
                "volume, turnover, turnover_rate) values (?,?,?,?,?,?,?,?,?,?,?,?)";
        // 将列表转为Object数组
        List<Object[]> arr = new ArrayList<>();
        for(int i=0; i<entityList.size(); i++) {
            arr.add(entityList.get(i).changeToArray());
        }
        jdbcTemplate.batchUpdate(sql, arr);
    }

下面就是获取数据的代码

    // 获取数据并且存入数据库
    // 三个参数分别是：股票代码，开始时间和结束时间
    // 开始时间和结束时间都填年份，代码中会自动补全具体时间
    public int getDataByYear(String code, String start, String end) {
        String url = "https://q.stock.sohu.com/hisHq?";
        Request request = null;
        Response response = null;
        int num = 0;
        try {
            for (int i = Integer.parseInt(start); i <= Integer.parseInt(end); i++) {
                for (int j = 1; j <= 12; j++) {
                    HttpUrl.Builder httpBuiler = HttpUrl.parse(url).newBuilder();
                    String starttime = null;
                    String endtime = null;
                    if (j != 12) {
                        StringBuilder sb = new StringBuilder();
                        sb.append(i);
                        if (j < 10) {
                            sb.append("0");
                        }
                        sb.append(j);
                        sb.append("01");
                        starttime = sb.toString();
                        sb = new StringBuilder();
                        sb.append(i);
                        if (j + 1 < 10) {
                            sb.append("0");
                        }
                        int tmp = j + 1;
                        sb.append(tmp);
                        sb.append("01");
                        endtime = sb.toString();
                    } else {
                        starttime = i + "1201";
                        endtime = i + "1231";
                    }
                    log.info("开始计算时间段[" + starttime + "," + endtime + "]内数据");
                    httpBuiler.addQueryParameter("code", "cn_" + code);
                    httpBuiler.addQueryParameter("start", starttime);
                    httpBuiler.addQueryParameter("end", endtime);
                    httpBuiler.addQueryParameter("stat", "1");
                    httpBuiler.addQueryParameter("order", "D");
                    httpBuiler.addQueryParameter("period", "d");
                    httpBuiler.addQueryParameter("callback", "history");
                    httpBuiler.addQueryParameter("rt", "jsonp");
                    request = new Request.Builder()
                            .url(httpBuiler.build())
                            .get()   //默认就是GET请求，可以不写
                            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36")
                            .build();

                    response = client.newCall(request).execute();
                    String res = response.body().string();
                    log.info("请求得到的数据：" + res);
                    // 将数据解析成List列表
                    if (!res.equals(NO_DATA_RESPONSE1) && !res.equals(NO_DATA_RESPONSE2)) {
                        List<StockEntity> entities = parseStrToArr(res, code);
                        sqLiteStockDao.insertItems(entities);
                        log.info("时间段[" + starttime + "," + endtime + "]内有" + entities.size() + "条数据");
                        num += entities.size();
                    } else {
                        log.info("时间段[" + starttime + "," + endtime + "]没有数据");
                    }

                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return num;
    }

    // 将string数据解析成List列表
    private List<StockEntity> parseStrToArr(String res, String code) {
        List<StockEntity> entities = new ArrayList<>();
        res = res.split("\\(\\[")[1].split("]\\)")[0];
        JSONObject jsonObject = JSON.parseObject(res);
        // 获取 hq 字段的值
        Object hq = jsonObject.get("hq");
        // 判断 hq 的值是否为数组
        if (hq instanceof JSONArray) {
            // 遍历数组
            for (Object arr : (JSONArray) hq) {
                JSONArray jsonArray = (JSONArray) arr;
                StockEntity entity = new StockEntity();
                entity.setRecord_date((String) jsonArray.get(0));
                Double open_price = Double.parseDouble((String) jsonArray.get(1));
                Double close_price = Double.parseDouble((String) jsonArray.get(2));
                Double change_amend = Double.parseDouble((String) jsonArray.get(3));
                Double change_range = Double.parseDouble(((String) jsonArray.get(4)).split("%")[0]);
                Double max_price = Double.parseDouble((String) jsonArray.get(5));
                Double min_price = Double.parseDouble((String) jsonArray.get(6));
                Double volume = Double.parseDouble((String) jsonArray.get(7));
                Double turnover = Double.parseDouble((String) jsonArray.get(8));
                Double turnover_rate = Double.parseDouble(((String) jsonArray.get(9)).split("%")[0]);
                entity.setOpen_price(open_price);
                entity.setClose_price(close_price);
                entity.setChange_amend(change_amend);
                entity.setChange_range(change_range);
                entity.setMax_price(max_price);
                entity.setMin_price(min_price);
                entity.setVolume(volume);
                entity.setTurnover(turnover);
                entity.setTurnover_rate(turnover_rate);
                entity.setCode(code);
                entity.setId(entity.getCode() + "_" + (String) jsonArray.get(0));
                entities.add(entity);
            }
        }
        return entities;
    }

主要就是获取了数据然后进行解析，每一次解析都是从当前月份的1日到第二个月的1日，如果是12月的话是从12月1日到12月31日。

最后提供一个get接口进行方法的调用

    @RequestMapping("/getDataByYear/{code}/{start}/{end}")
    @ResponseBody
    public String getDataByYear(@PathVariable("code") String code,
                                @PathVariable("start") String start,
                                @PathVariable("end") String end) {
        Integer num = stockService.getDataByYear(code, start, end);
        return num.toString();
    }

最后获取到的数据是这样的