注册 登录
编程论坛 ASP技术论坛

[原创]优秀的百万级数据分页存储过程代码(ver2.0)

天涯听雨 发布于 2007-10-25 10:28, 6689 次点击

*/ --------------------------------------------------------------------------------------
*/ 出自: 编程中国 http://bbs.bc-cn.net/viewthread.php?tid=175543" target="_blank">https://www.bc-cn.net
*/ 作者: 天涯听雨 E-mail:qcfy2005#163.com
*/ 时间: 2007-10-25 编程论坛首发
*/ 声明: 尊重作者劳动,转载请保留本段文字
*/ --------------------------------------------------------------------------------------


<%
'平台:Win2000+IIS5.0+Sql2000
'附言:升级上一次版本,上一次版为SQL版本,没有利用上存储过程
'上一版本 :[原创]优秀的百万级数据分页代码——(忙乎了半天)(
http://bbs.bc-cn.net/viewthread.php?tid=175543)

'----------------------------------------以下代码为网页代码

Response.Buffer = True
Dim SqlLocalName,SqlUsername,SqlPassword,SqlDatabaseName
Dim ConnStr,Conn

'''''''''''''''''''''''''''''''''SQL数据库 ''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
SqlLocalName ="(local)" '连接IP [ 本地用 (local) 外地用IP ]
SqlUsername ="sa" '数据库用户名
SqlPassword ="XXXXXX" '用户密码
SqlDatabaseName="NewsTable" '数据库名
ConnStr = "Provider=Sqloledb;User ID=" & SqlUsername & "; Password=" & SqlPassword & "; Initial Catalog = " & SqlDatabaseName & "; Data Source=" & SqlLocalName & ";"
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
On Error Resume Next
Set Conn=Server.CreateObject("ADODB.Connection")
Conn.open ConnStr

If Err Then
err.Clear
Set Conn = Nothing
Response.Write "<div style='font-size:14px;color=#ff0000' align='center'>数据库连接出错,请检查数据库连接字串</div>"
Response.End
End If

'本类进行实例化代码,不将所有可能性条件分页考虑进去。本类仅作参考
'--------------------------------------------------------------------------------------------

'PageNo-当前页;PageSizeX-分页大小;PageCountX-总页数;FieldCount-总记录数;StrWhere-查询条件
Dim PageNo,PageSizeX,PageCountX,FieldCount,StrWhere

'进行赋值
PageNo=trim(Request.Querystring("PageNo"))

PageSizeX=30 '定义分页大小
if isnumeric(PageNo) or PageNo="" then '如果没有Page值,进行初始化值
PageNo=abs(PageNo)
if PageNo=0 then PageNo=1
else
PageNo=1
end if

StrWhere="(ClassCode=0101 and Hits>20)" '注意,此处注意字符的长度

set recom = server.createobject("adodb.command")
recom.activeconnection = Conn
recom.commandtype = 4

recom.commandtext = "News_Class"
recom.Parameters.Append recom.CreateParameter("@StrWhere",202,1,100,StrWhere)
recom.Parameters.Append recom.CreateParameter("@PageSize",3,1,,PageSizeX)
recom.Parameters.Append recom.CreateParameter("@PageIndex",3,1,,PageNo)

set rs = recom.execute ()

if rs.eof then
set rs=nothing : set recom=nothing : Conn.Close : set Conn=nothing
response.write "<script LANGUAGE='javascript'>alert('当前没有找到任何记录,请返回重新操作!');history.go(-1);</script>"
response.end
end if

'显示数据
do while not rs.eof
response.write""&rs("Title")&"&nbsp;&nbsp;&nbsp;添加时间:"&rs("AddTime")&"<br/>"
rs.movenext
loop

'取得记录总数,计算页数
set rs = rs.NextRecordset
if rs("countx") > 0 then
FieldCount=rs("countx")
else
FieldCount=0
end if

if (FieldCount mod PageSizeX)>0 then
PageCountX=((FieldCount - (FieldCount mod PageSizeX))/ PageSizeX)+1
else
PageCountX= (FieldCount / PageSizeX)
end if

'进行关闭和释放相关资源
set rs=nothing : set recom=nothing : Conn.Close : set Conn=nothing

'显示分页
if PageNo<=1 then
Response.Write "<font color='#FF0000'>[首页] [上一页]</font>"
else
Response.Write"[<a href='?PageNo=1' target='_self' title='首页'><font color='#FF0000'>首页</font></a>] "
Response.Write"[<a href='?PageNo="&(PageNo-1)&"' target='_self' title='上一页'><font color='#FF0000'>上一页</font></a>] "
end if

if PageNo>=PageCountX then
Response.Write "<font color='#FF0000'>[下一页] [尾页]</font>"
else
Response.Write"[<a href='?PageNo="&(PageNo+1)&"' target='_self' title='下一页'><font color='#FF0000'>下一页</font></a>] "
Response.Write"[<a href='?PageNo="&PageCountX&"' target='_self' title='尾页'><font color='#FF0000'>尾页</font></a>]"
end if

Response.Write"[页次 第<font color=red>"&PageNo&"</font>页/共<font color=red>" & PageCountX &"</font>页]"
Response.Write" [共<font color=red>"&FieldCount&"</font>条 <font color=red>"& PageSizeX & "</font>条/页]"

Response.Write"转到" & "<input id=zhuanpage name=zhuanpage size=2 value="&PageNo&">" & "页<input type=submit value=""Go"" onclick=""gotoPage()"">"
Response.Write"</td></tr></table>"
Response.Write"<script>function gotoPage(){var pg=document.getElementById('zhuanpage').value;if(isNaN(pg)||pg>"&PageCountX&"||pg<0){window.alert('请正确输入页码,只能为正整数!且不能大于"&PageCountX&"');return false;}else{window.location.href='?PageNo='+document.getElementById('zhuanpage').value+'';return true;}}</script>"
%>


'--------------------------------------------------------以下代码为存储过程代码
CREATE procedure News_Class

--资讯新闻百万级分页
(
@StrWhere varchar(100),
@PageSize int,
@PageIndex int
)

AS

declare @strSQL varchar(2000) -- 主语句
declare @strCountSQL varchar(2000) -- 总记录主语句
declare @strTmp varchar(1000) -- 临时变量

Set @strTmp =" Select top " + str(@PageSize) + " Title,AddTime from Tb_News " --此处注意,需几个字段读几个字段

if @StrWhere<>''
Begin

Set @strSQL=@strTmp + " where ID < (select min(ID) from (select top " + str((@PageIndex-1)*@PageSize)+" ID from Tb_News Where "+@StrWhere+" order by ID desc) as tblTmp ) and "+@StrWhere+" order by ID desc"

set @strCountSQL="select count(ID) as countx from Tb_News Where "+@StrWhere+" "

End

else
Begin

Set @strSQL=@strTmp + " where ID < (select min(ID) from (select top " + str((@PageIndex-1)*@PageSize)+" ID from Tb_News order by ID desc) as tblTmp ) order by ID desc"

set @strCountSQL="select count(ID) as countx from Tb_News "

End


if @PageIndex = 1
if @StrWhere<>''
Begin

Set @strSQL=@strTmp +" Where "+@StrWhere+" order by ID desc"

End
else
Begin

Set @strSQL=@strTmp +" order by ID desc"

End

exec (@strSQL)

exec (@strCountSQL)
GO

[此贴子已经被作者于2007-10-25 10:32:40编辑过]

26 回复
#2
永夜的极光2007-10-25 10:38
嗯,不错
#3
gupiao1752007-10-25 11:20

代码是用上了,可到我这里切出现了无法分页的现象!或者无总记录数的问题!

请教楼主,使用上需要注意什么?我之前对这种高效的存储过程一次也没用过,原理也不是非常透彻,使用上一点头绪也没有!

我的数据表就3个字段(userid,username,ni),userid是主键字段,也是默认的是聚集索引,数据是通过查询分析器通过循环加如了1到200万的数字,总数据共200万条,麻烦楼主是否能够把这个存储过程套用上这个3字段的表!非常感谢!

#4
gupiao1752007-10-25 11:23

还有我对以下几句不是很理解!
1.StrWhere="(ClassCode=0101 and Hits>20)"
2.'取得记录总数,计算页数
set rs = rs.NextRecordset
if rs("countx") > 0 then
FieldCount=rs("countx")
else
FieldCount=0
end if

这两段不是很理解,能否详细解释一下,非常感谢!

#5
天涯听雨2007-10-25 11:30
StrWhere="(ClassCode=0101 and Hits>20)"

是你查询的相关条件。。。因为有时候可能你会按分类查询,又可能所取得中精华,又可能取得为热门 那句话就是定义相关条件。写时一定注意用括号括起来

set rs = rs.NextRecordset
if rs("countx") > 0 then
FieldCount=rs("countx")
else
FieldCount=0
end if

上面这里意思的是,因为存储过程有执行两件查询,第一次为查询出所需显示的记录集,第二次为查询出总记录数


所以上面的代码也是必需放在显示具体内容后面,用rs.NextRecordset 指向下一条记录集而取得总记录数
#6
gupiao1752007-10-25 12:24
恩,明白了,谢谢楼主,辛苦了!
#7
gupiao1752007-10-25 12:53

继续顶个帖!

希望楼主继续改版这个存储过程,达到代码清晰,功能完善!加油!

#8
那边有朵蘑菇云2007-10-25 14:30
完全看不懂
#9
天涯听雨2007-10-26 10:39
写了升级版本,热情不高……
#10
cainiao1582007-10-26 12:54
不错顶个!!!
#11
slfyeye2007-10-26 13:52

我得细细分析一下,还不大懂存储过程。

#12
gupiao1752007-10-27 12:37

楼主已经写了升级版本了吗?

顶个,继续关注支持!

#13
gupiao1752007-10-27 12:38
喜欢存储过程的朋友们继续关注吧!

楼主在存储过程这方面的实力确实高过我们一般人,深有体会!
#14
中国男孩2007-10-27 12:59
顶一下
#15
yep2007-10-27 17:05

好东西,要顶顶啊

#16
tianyu1232007-10-27 18:50
学习。。。
#17
colorthewind2007-10-27 23:54
学习过程中,回头试下效果再探探
#18
绿色的童年2007-11-14 12:29
不错。。精典!~
#19
zhongx2007-11-14 21:13
DDDDDD
#20
purana2007-11-14 21:43

感觉你写的存储过程比较简单.
效率就不知道了.因为我没有百万级的数据库.
我也写了一个简单的存储过程.

[CODE]IF EXISTS(SELECT * FROM dbo.SYSOBJECTS WHERE ID=OBJECT_ID(N'[GetRecordFromPage]') AND
OBJECTPROPERTY(ID,N'IsProcedure')=1)
DROP PROC dbo.[GetRecordFromPage]
GO
SET QUOTED_IDENTIFIER OFF
GO
SET ANSI_NULLS OFF
GO
CREATE PROC GetRecordFromPage
@tblName VARCHAR(255), --表名
@strGetFields VARCHAR(1000)='*', --查询的列
@fldName VARCHAR(255)='', --排序的列
@pageSize INT=10, --每页的大小
@pageIndex INT=1, --第几页
@doCount BIT=0, --返回的记录总数,非0则返回
@orderType BIT=0, --排序类型,非0则降序
@strWhere VARCHAR(1500)='' --排序条件
AS
BEGIN
DECLARE @str VARCHAR(5000)
DECLARE @temp VARCHAR(120)
DECLARE @strOrder VARCHAR(400)

IF @doCount!=0
BEGIN
IF @strWhere!=''
SET @str='SELECT COUNT(1) AS Total FROM ['+@tblName+'] WHERE '+@strWhere
ELSE
SET @str='SELECT COUNT(1) AS Total FROM ['+@tblName+']'
END
ELSE
BEGIN
IF @orderType!=0
BEGIN
SET @temp='<=(SELECT MIN'
SET @strOrder=' ORDER BY ['+@fldName+'] DESC'
END
ELSE
BEGIN
SET @temp='>=(SELECT MAX'
SET @strOrder=' ORDER BY ['+@fldName+'] ASC'
END
IF @pageIndex > 1
BEGIN
IF @strWhere=''
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE ['+@fldName+'] '+@temp+'(['
+@fldName+']) FROM (SELECT TOP '+CAST((@pageIndex-1)*@pageSize AS VARCHAR)+' ['
+@fldName+'] FROM ['+@tblName+'] '
+@strOrder+') AS tblTEMP) '+@strOrder
ELSE
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE ['+@fldName+']'+@temp+' (['
+@fldName+']) FROM (SELECT TOP '+CAST((@pageIndex-1)*@pageSize AS VARCHAR)+' ['
+@fldName+'] FROM ['+@tblName+'] WHERE '+@strWhere+' '
+@strOrder+') AS tblTEMP) AND '+@strWhere+' '+@strOrder
END
ELSE
BEGIN
IF @strWhere=''
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] '+@strOrder
ELSE
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE '+@strWhere+' '+@strOrder
END
END
--执行SQL
EXEC (@str)
--PRINT @str
END
GO
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_NULLS ON
GO[/CODE]

#21
multiple19022007-11-14 21:51
我菜 看不懂
#22
天涯听雨2007-11-14 22:25
以下是引用purana在2007-11-14 21:43:16的发言:

感觉你写的存储过程比较简单.
效率就不知道了.因为我没有百万级的数据库.
我也写了一个简单的存储过程.

[CODE]IF EXISTS(SELECT * FROM dbo.SYSOBJECTS WHERE ID=OBJECT_ID(N'[GetRecordFromPage]') AND
OBJECTPROPERTY(ID,N'IsProcedure')=1)
DROP PROC dbo.[GetRecordFromPage]
GO
SET QUOTED_IDENTIFIER OFF
GO
SET ANSI_NULLS OFF
GO
CREATE PROC GetRecordFromPage
@tblName VARCHAR(255), --表名
@strGetFields VARCHAR(1000)='*', --查询的列
@fldName VARCHAR(255)='', --排序的列
@pageSize INT=10, --每页的大小
@pageIndex INT=1, --第几页
@doCount BIT=0, --返回的记录总数,非0则返回
@orderType BIT=0, --排序类型,非0则降序
@strWhere VARCHAR(1500)='' --排序条件
AS
BEGIN
DECLARE @str VARCHAR(5000)
DECLARE @temp VARCHAR(120)
DECLARE @strOrder VARCHAR(400)

IF @doCount!=0
BEGIN
IF @strWhere!=''
SET @str='SELECT COUNT(1) AS Total FROM ['+@tblName+'] WHERE '+@strWhere
ELSE
SET @str='SELECT COUNT(1) AS Total FROM ['+@tblName+']'
END
ELSE
BEGIN
IF @orderType!=0
BEGIN
SET @temp='<=(SELECT MIN'
SET @strOrder=' ORDER BY ['+@fldName+'] DESC'
END
ELSE
BEGIN
SET @temp='>=(SELECT MAX'
SET @strOrder=' ORDER BY ['+@fldName+'] ASC'
END
IF @pageIndex > 1
BEGIN
IF @strWhere=''
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE ['+@fldName+'] '+@temp+'(['
+@fldName+']) FROM (SELECT TOP '+CAST((@pageIndex-1)*@pageSize AS VARCHAR)+' ['
+@fldName+'] FROM ['+@tblName+'] '
+@strOrder+') AS tblTEMP) '+@strOrder
ELSE
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE ['+@fldName+']'+@temp+' (['
+@fldName+']) FROM (SELECT TOP '+CAST((@pageIndex-1)*@pageSize AS VARCHAR)+' ['
+@fldName+'] FROM ['+@tblName+'] WHERE '+@strWhere+' '
+@strOrder+') AS tblTEMP) AND '+@strWhere+' '+@strOrder
END
ELSE
BEGIN
IF @strWhere=''
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] '+@strOrder
ELSE
SET @str='SELECT TOP '+CAST(@pageSize AS VARCHAR)+' '+@strGetFields+' FROM ['
+@tblName+'] WHERE '+@strWhere+' '+@strOrder
END
END
--执行SQL
EXEC (@str)
--PRINT @str
END
GO
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_NULLS ON
GO[/CODE]




我写的跟你提供的原理是一样的,只是我进行简化。。在运用时,还得改存储过程,把表名,字段名都得进行替换成自己表中的。而你所提供的都包含在存储过程参数中……

#23
purana2007-11-15 09:35
原理是一样..
效率怎么样..没有大的数据库进行测试过.不知道.
不过还可以利用临时表的方法..还可以优化的.
#24
天涯听雨2007-11-15 13:53
不建议使用临时表方法。那样在大量请求情况下,临时表的效率不如 top 的效率

利用临时表时,会出现大昨建立临时表,然后又进行删除
#25
agonyboy2007-12-13 23:31
晕我的这里显示这个
Microsoft VBScript 运行时错误 (0x800A000D)
类型不匹配: '[string: ""]'
/xinxi1.asp, 第 20 行

19 if isnumeric(PageNo) or PageNo="" then '如果没有Page值,进行初始化值
20 PageNo=abs(PageNo)
21 if PageNo=0 then PageNo=1
22 else
23 PageNo=1
24 end if
#26
letla2007-12-14 08:12
还没学到这里,只感觉头晕。。。
#27
lifang2008-01-12 13:27
回复 9# 的帖子
学习。。。
1