测试标准和注意事项

1.文字版

1.1 唯一性

??????? 不同设备生成的设备指纹一定不会重复(包括碰撞率和错误率2个指标，狭义的就认为是错误率)。

1.2 碰撞

??????? 一个指纹对应多台真实设备，我们就认为该设备指纹发生了碰撞。

1.3 错误

??????? 一台设备对应多个设备指纹，我们就认为设备指纹产生了错误。

1.4 稳定性

??????? 设备系统升级或少量数据变更时，设备指纹不会发生变化。

2. 数字版

2.1 唯一性

2.1.1 碰撞率

??????? F中的指纹f如果对应着E上的多个设备，则说明指纹f发生了碰撞

??????? 碰撞率 = 碰撞的f数/F的指纹数

2.1.2 错误率

??????? E中的设备e如果对应着F上的多个指纹，则说明设备e发生了错误

??????? 错误率 = 错误的e数/E的设备数

碰撞率和错误率越小，唯一性满足的越好。

2.2 稳定性

稳定性有个对标的基础指纹：

1. 是第一次读取这个设备的指纹作为对标指纹；

2. 是取该设备最常出现的指纹作为对标指纹，下面用第1种方案：

稳定性 = 所有设备与对标指纹相同的状态数/(设备数??（状态数-1）)

稳定性越大越好

其中

3.?测试类

??????? 由于接口不会包括设备的真实id（序号即可），因此需要测试的业务方提供 {报文，真实设备id} 的序列（或表格）作为测试的输入，去计算以上的指标；

这个序列存储成.txt文件，测试指标计算.py文件，以方便后续不同模型的测试。

上线前还需测试在数据量为10k, 100k, 1m, 10m下，qps=0.1k, 1k, 10k 下的响应时间。