数据库重复数据的查询及删除（转）

表stuinfo，有三个字段recno(自增),stuid,stuname
　　
　　建该表的Sql语句如下：
　　
　　CREATE TABLE [StuInfo] (
　　 [recno] [int] IDENTITY (1, 1) NOT NULL ,
　　 [stuid] [varchar] (10) COLLATE Chinese_PRC_CI_AS NOT NULL ,
　　 [stuname] [varchar] (10) COLLATE Chinese_PRC_CI_AS NOT NULL
　　) ON [PRIMARY]
　　GO
　　
　　1.--查某一列(或多列)的重复值(只能查出重复记录的值，不能整个记录的信息)
　　--如:查找stuid,stuname重复的记录
　　select stuid,stuname from stuinfo
　　group by stuid,stuname
　　having(count(*))>1
　　
　　2.--查某一列有重复值的记录(这种方法查出的是所有重复的记录,也就是说如果有两条记录重复的，就查出两条)
　　--如:查找stuid重复的记录
　　select * from stuinfo
　　where stuid in (
　　select stuid from stuinfo
　　group by stuid
　　having(count(*))>1
　　)
　　
　　3.--查某一列有重复值的记录(只显示多余的记录,也就是说如果有三条记录重复的，就显示两条)
　　--这种方成绩的前提是：需有一个不重复的列,本例中的是recno
　　--如:查找stuid重复的记录
　　select * from stuinfo s1
　　where recno not in (
　　select max(recno) from stuinfo s2
　　where s1.stuid=s2.stuid
　　)

--------------------------------------------------------------------------------------------------------------------------------------

 

 

 

在一张表中某个字段下面有重复记录，有很多方法，但是有一个方法，是比较高效的，如下语句：
select data_guid from adam_entity_datas a where a.rowid > (select min(b.rowid) from adam_entity_datas b where b.data_guid = a.data_guid)
如果表中有大量数据，但是重复数据比较少，那么可以用下面的语句提高效率
select data_guid from adam_entity_datas where data_guid in (select data_guid from adam_entity_datas group by data_guid having count(*) > 1)
此方法查询出所有重复记录了，也就是说，只要是重复的就选出来，下面的语句也许更高效
select data_guid from adam_entity_datas where rowid in (select rid from (select rowid rid,row_number()over(partition by data_guid order by rowid) m from adam_entity_datas) where m <> 1)
目前只知道这三种比较有效的方法。

第一种方法比较好理解，但是最慢，第二种方法最快，但是选出来的记录是所有重复的记录，而不是一个重复记录的列表，第三种方法，我认为最好。

========第二篇=========
select usercode,count(*)       from ptype     group by usercode     having count(*) >1  
========第三篇=========
找出重复记录的ID:
select ID      from      
(         select ID ,count(*) as Cnt
from 要消除重复的表
group by ID
) T1
where T1.cnt>1  

删除数据库中重复数据的几个方法   
          数据库的使用过程中由于程序方面的问题有时候会碰到重复数据，重复数据导致了数据库部分设置不能正确设置……     
方法一   
        declare @max integer,@id integer   
        declare cur_rows cursor local for select 主字段,count(*) from     
            表名 group by 主字段 having count(*) > 1
　　open cur_rows
　　fetch cur_rows into @id,@max
　　while @@fetch_status=0
　　begin
　　select @max = @max -1
　　set rowcount @max
　　delete from 表名 where 主字段 = @id
　　fetch cur_rows into @id,@max
　　end
　　close cur_rows
　　set rowcount 0   
   
方法二  
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。   
    
1、对于第一种重复，比较容易解决，使用   
      select distinct * from tableName   
    就可以得到无重复记录的结果集。  
如果该表需要删除重复的记录，可以按以下方法删除  
select distinct * into #Tmp from tableName  
drop table tableName  
select * into tableName from #Tmp  
drop table #Tmp   
    
2、这类重复问题通常要求保留重复记录中的第一条记录，*作方法如下  
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集  
　select identity(int,1,1) as autoID, * into #Tmp from     
tableName  
　select min(autoID) as autoID into #Tmp2 from #Tmp group by     
Name,autoID  
select * from #Tmp where autoID in(select autoID from     
#tmp2)   
    
最后一个select即得到了Name，Address不重复的结果集  
更改数据库中表的所属用户的两个方法  
大家可能会经常碰到一个数据库备份还原到另外一台机器结果导致所有的表都不能打开了，原因是建表的时候采用了当时的数据库用户……    
========第四篇=========
如何查询数据库中的重复记录？

比如说有个表中的数据是这样：
---------
a
a
a
b
b
c
---------

查询出的结果是：
记录   数量
a           3
b           2
c           1

怎样写这个SQL语句？
-----------------------
select distinct(name),count(*) from tabname group by name;
-------------------------------------
想出来了，这样就可以排序了。
select a1,count(a1)   as total from tablename group by a1 order by total desc
--------------------------------------
select distinct(a1),count(a1) as total from tablename group by a1 order by total desc
加个distinct更有效率
--------------------------------------------------------------
select p.*, m.* from table1 p left join table2 m on p.item1=m.item2 where p.item3=&#39;#$#@%$@&#39; order by p.item3 asc limit 10
就类似这么写
========第五篇=========
如何查找数据库中的重复记录? 能在Access中用的方法
----------------------------------------------------------------------
select *
from 表 A inner join (select 字段1,字段2 from 表 group by 字段1,字段2 having Count(*)>1) B on A.字段1=B.字段1 and A.字段2=B.字段2
--------------------------------------------------------
问题：
根据其中几个字段判断重复，只保留一条记录，但是要显示全部字段，怎么查询，谢谢！！
比如
字段1 字段2 字段3 字段4
a      b      c       1
a      b      c       1

a      b      d       2
a      b      d       3

b      b      d       2

想得到的结果为
a      b      c       1
a      b      d       2（或者3）
b      b      d       2
说明，根据字段1，2,3组合不重复，字段4 不考虑，得到了3个记录
但是也要显示字段4。
方法一：  
可以用临时表的方法来解决：
CurrentProject.Connection.Execute "drop table temptable"
CurrentProject.Connection.Execute "select * into temptable from 表2 where 1=2"
CurrentProject.Connection.Execute "insert into temptable(字段1,字段2,字段3) SELECT DISTINCT 表2.字段1, 表2.字段2, 表2.字段3 FROM 表2;"
CurrentProject.Connection.Execute "UPDATE temptable INNER JOIN 表2 ON (表2.字段1 = temptable.字段1) AND (表2.字段2 = temptable.字段2) AND (表2.字段3 = temptable.字段3) SET temptable.字段4 = [表2].[字段4];"
方法二：
可以直接使用一个SELECT查询筛选出需要的数据：
可以假定第四字段都选值最小的
SELECT [1],[2], [3], Min([4]) AS Min4
FROM 表1
GROUP BY 表1.[1], 表1.[2], 表1.[3];

问题：
表2

id   NAME   r1    r2
1    1      w     ee
1    1      1     1232
1    2      123   123
1    2      12    434
1    2      123   123
2    1      123   123

ID 为数值，NAME 为字符。每条记录没有唯一标识。
要求取得 ID 和 NAME 合并后不重复的记录，如有重复保留其中一条即可，但要显示所有记录。
回答：
SELECT a.*, (select top 1 r1 from 表2 as a1 where a1.id=a.id and a1.name=a.name) AS r1, (select top 1 r2 from 表2 as a2 where a2.id=a.id and a2.name=a.name) AS r2
FROM [SELECT DISTINCT 表2.id, 表2.NAME
FROM 表2]. AS a;

SELECT a.*, dlookup("r1","表2","id=" & a.id   & " and name=&#39;"& a.name & "&#39;") AS r1, dlookup("r2","表2","id=" & a.id   & " and name=&#39;"& a.name & "&#39;") AS r2
FROM [SELECT DISTINCT 表2.id, 表2.NAME
FROM 表2]. AS a;

注意，上述代码中由于没有唯一标识列，因此显示的 R1 R2 的先后次序无从确定，一般是按输入的先后顺序，但是微软没有官方资料说明到底按哪个顺序，请网友注意。

请注意，上述表2为没有唯一标识字段，如果现在再建立一个自动编号字段“主键”则可以用以下代码

SELECT a.ID, a.name, b.r1, b.r2, b.主键
FROM (SELECT 表2.id, 表2.NAME, Min(表2.主键) AS 主键
FROM 表2
GROUP BY 表2.id, 表2.NAME) AS a inner JOIN 表2 AS b ON a.主键=b.主键;

========第六篇=========
1.查询数据库中重复的记录:
select realname,count(*) from users group by realname having count(*)>1
========第七篇=========
SELECT T0.ItemCode, T0.ItemName FROM OITM T0 WHERE exists (select 1 from OITM A where A.CODEBARS = TO.CODEBARS And A.ItemCode < > TO.ItemCode)
========第八篇=========
相信很多人在查询数据库时都会碰到检索某表中不重复记录的时候,提到检索不重复记录,马上想到的肯定是Distinct或者Group By分组,
小弟在初次使用的时候碰到了一些麻烦,这里拿出来与大家分享,希望对更多的朋友有所帮助!

    先看看数据库表结构：
        表名: TEST 字段: Id,A,B,C,D
        其中B字段包含重复值;

Id	A	B	C	D
1	11	a	34	bvb
2	22	a	35	fgfg
3	33	d	ht	sdf
4	44	a	345	de
5	55	c	sfsf	sscv
6	66	b	rt	fg