天天看点

C# Excel数据验重及Table数据验重

最近在做导入excel数据的时候,要检验数据是否重复:

        1、要检验excel数据本身是否有重复?

        2、excel中的数据是否与数据库中的数据重复?

一、检验excel中数据是否重复的方式有:

        1、将table中的数据使用select语句来过滤(此处略,可以参考二)。

        2、使用for循环来手动核对,代码如下:

小注:

clone应该修改为为copy

二、检验excel中数据是否与数据库中数据重复的方式有:

       1、遍历table并将其中每条数据,在数据库中检验重复。

        这种方式适用于table中数据比较少(100以内),而数据库中要对比表很大的情况。因为这种方式要每对比一条数据,都要连接数据库,并执行查询,很费时间。

        大体测试了一下,excel中有2000条数据,仅仅在数据库中查询,就消耗了7分40秒即4601000 毫秒(ms),大约一条数据耗时:2300.5毫秒

        其实,使用方式2导入2000条,耗时也比方式1导入100条,耗时少。

        2、将数据库中要对比的表数据取到一个dataset中,遍历table并将其中每条数据,在dataset中检验重复,代码如下: