当前位置:首页 > 网络编程 > 新手教程 > > 牛仔IIS日志蜘蛛爬行记录分析器

牛仔IIS日志蜘蛛爬行记录分析器

点击次数:21 次 发布日期:2008-11-16 10:00:35 作者:源代码网
源代码网推荐

源代码网整理以下  程序名称:牛仔IIS日志蜘蛛爬行记录分析器 - 茄咧啡修改版 修改者:茄咧啡

源代码网整理以下  *******************************************************

源代码网整理以下  原程序名称:牛仔IIS日志蜘蛛爬行记录分析器

源代码网整理以下  原作者:牛仔

源代码网整理以下  QQ:172379201

源代码网整理以下  Email:17gd$163.com ($转换@)

源代码网整理以下  注意:本程序只供大家学习使用,请勿用作商业用途。

源代码网整理以下  改进功能列表:

源代码网整理以下  一、增加有道(yodao) 搜搜(soso) 搜狗(sogou) 微软(msn) 的蜘蛛爬行记录分析

源代码网整理以下  二、改进被爬url链接乱码问题

源代码网整理以下  三、增加把日志下载到本地后仍然正确的的操作链接(修改第142行)

源代码网整理以下  四、小小美化了一下页面以便查看

源代码网整理以下  使用注意:

源代码网整理以下  修改iis.php文件中iis日志的绝对路径

源代码网整理以下  例如:$folder=”c:/windows/system32/logfiles/站点日志目录/”; //后面记得一定要带斜杠(/)。

源代码网整理以下  ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看!

源代码网整理以下  直接查看法:http://站点域名/iis.php

源代码网整理以下  本地查看法:把日志下载到本地 http://127.0.0.1/iis.php )

源代码网整理以下  注意:

源代码网整理以下  //站点日志目录,注意该目录必须要有站点用户读取权限!

源代码网整理以下  //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。

源代码网整理以下  //修改文件名称iis.php 需要同时修改对应代码 ctrl+h 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。

源代码网整理以下  //如果iis日志文件过大,可能会导致程序超时!同时也不建议大家使用!

源代码网整理以下  演示地址: http://tarr.cn/iis.php

源代码网整理以下  下载地址: http://tarr.cn/uploads/iis.rar

源代码网整理以下  如有疑问请给我留言 http://tarr.cn/?p=23

源代码网整理以下  源代码:

源代码网整理以下

源代码网整理以下以下为引用的内容:
<?php
 /*
  牛仔IIS日志蜘蛛爬行记录分析器 V1.1(PHP GB2312 版)
  作者:牛仔
  QQ:172379201
  Email:17gd@163.com
 */
 //===================================================
  header("content-type:text/html; charset=gb2312");
 //站点日志目录,注意该目录必须要有站点用户读取权限!
 //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。
 //如果修改了文件名称iis.php 需要同时修改代码 Ctrl+H 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。
 $folder="D:/Vhost/WebRoot/jooker82465/www/wordpress/uploads/W3SVC87164023/";  //后面记得一定要带斜杠 / !
 $pagesize = 50;//设置分页显示条数!
 //=========================
$type = addslashes($_GET["type"]);
if ($type)$type = base64_decode($type);
$showfile = addslashes($_GET["showfile"]);
$page = addslashes($_GET["page"]);
if (!$page)$page=1;
//============================
 //打开目录
 if (!$type){
 if (file_exists($folder))
 {
  $fp=opendir($folder);
  while(false!=$file=readdir($fp))
  {
     if($file!="." &&$file!="..")
     {
         $file="$file";
         $arr_file[]=$file;
        }
  }
  if(is_array($arr_file))
  {
   for ($i=count($arr_file)-1;$i>=0;$i--)
   {
    $indexstr.="
<tr><td height="25" width="10%">".date("Y-m-d",filectime($folder.$arr_file[$i]))."</td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(Baiduspider)."&showfile=".$arr_file[$i]."">百度(Baidu)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(Googlebot)."&showfile=".$arr_file[$i]."">谷歌(Google)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(yahoo)."&showfile=".$arr_file[$i]."">雅虎(yahoo)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(YodaoBot)."&showfile=".$arr_file[$i]."">有道(yodao)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(Sosospider)."&showfile=".$arr_file[$i]."">搜搜(soso)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(Sogou)."&showfile=".$arr_file[$i]."">搜狗(sogou)</a></td>
<td height="25" width="10%" align="center">
<a href="iis.php?type=".base64_encode(msnbot)."&showfile=".$arr_file[$i]."">微软(msn)</a></td>
</tr>";
   }

源代码网整理以下   }
 closedir($fp);
 $html = indexhtml();
 $copy = mycopy();
 $html = str_replace("[showlog]",$indexstr,$html);
 $html = str_replace("[copy]",$copy,$html);
 echo $html;
}else{
  echo "该日志目录不存在或权限不足,请检查设置!";
  exit();
 }
 }elseif ($type=="Baiduspider"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="Googlebot"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="yahoo"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="YodaoBot"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="Sosospider"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="Sogou"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=="msnbot"){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }

源代码网整理以下 
function show($type,$folder,$showfile,$page,$pagesize)
{
 if ($type=="Baiduspider")
 {
  $title="百度";
 }elseif ($type=="Googlebot"){
  $title="谷歌";
 }elseif ($type=="yahoo"){
  $title="雅虎";
 }elseif ($type=="YodaoBot"){
  $title="有道";
 }elseif ($type=="Sosospider"){
  $title="搜搜";
 }elseif ($type=="Sogou"){
  $title="搜狗";
 }elseif ($type=="msnbot"){
  $title="MSN";
 }
 if ($type&&$folder&&$showfile)
 {
  if(file_exists($folder.$showfile))
  {
  $fp= fopen($folder.$showfile,"r");
  }else{
   echo "该日志文件不存在,请检查设置!";
   exit;
  }
  $j=0;
  $y=0;
  $t=0;
  $h=0;
  while (!feof($fp))
  {
   $str = fgets($fp);
    $str =iconv("UTF-8","GB2312//IGNORE",$str);
   if(strpos($str,$type))
   {
    $j++;
    $temp[].=$str;
    $tmpcount = explode(" ",$str);
    if ($tmpcount[11]==200)$t++;
    if ($tmpcount[11]==304)$h++;
    if ($tmpcount[11]==404)$y++;
   }
  }
  fclose($fp);
  $count = count($temp);
  if ($page==1)
  {
   $countshow=$count;
   $mynum = $count-$pagesize;
  }else{
   $countshow =$count-($page*$pagesize-$pagesize);
   $mynum = $count-$page*$pagesize;
  }
  $pagecount =ceil(count($temp) / $pagesize);
  if ($page>=$pagecount)
  {
   $mynum = $pagecount;
  }
  $m=0;
  for ($i=$countshow-1;$i>=$mynum;$i--)
  {
   $num = explode(" ",$temp[$i]);
            $domain="http://tarr.cn"; //网站URL 末尾不要带斜杠
    $show.="
<tr onMouseOut="this.style.backgroundColor="#FFFFFF"" onMouseOver="this.style.backgroundColor="#F6F6F6"">
<td class="c" width="200;">".$num[0]." ".$num[1]."</td>
<td class="c">".$num[9]."</td>
<td class="pl"><a href="$domain$num[5]" _fcksavedurl=""$domain$num[5]"" target="_blank">".$num[5]."</a></td>
<td class="c">".$num[11]."</td>
</tr>";
  }
  unset($temp);
  $showpage = "<td colspan="4" height="30" align="center">每页 ".$pagesize." 条 当前".$page."/$pagecount";
  $showpage.="  <a href="?type=".base64_encode($type)."&showfile=".$showfile."">首页</a>";
  if ($page!=1)
  {
   $showpage.="  <a href="?type=".base64_encode($type)."&showfile=".$showfile."&page=".($page-1)."">上一页</a>";
  }
  if ($page!=$pagecount)
  {
  $showpage.="  <a href="?type=".base64_encode($type)."&showfile=".$showfile."&page=".($page+1)."">下一页</a>";
  $weei = "  <a href="?type=".base64_encode($type)."&showfile=".$showfile."&page=".($pagecount)."">尾页</a>";
  }
  $showpage.=$weei."</td>";
  if ($show)
  {
  $html = pagehtml();
  $copy = mycopy();
  $htmltitle = "牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版";//请保留,谢谢!
  $html = str_replace("[title]",$title,$html);
  $html = str_replace("[htmltitle]",$htmltitle,$html);
  $html = str_replace("[show]",$show,$html);
  $html = str_replace("[count]",$j,$html);
  $html = str_replace("[page]",$showpage,$html);
  $html = str_replace("[y]",$y,$html);
  $html = str_replace("[t]",$t,$html);
  $html = str_replace("[h]",$h,$html);
  $html = str_replace("[copy]",$copy,$html);
  return $html;
  }
 }
}
function indexhtml()
{
 return "<html>

源代码网整理以下<head>
<meta http-equiv="Content-Language" content="zh-cn">
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>牛仔IIS日志蜘蛛爬行记录分析器 V1.1</title>
<style>
<!--
td{ font-size: 12px; font-family: serif; }
tr td p a:link,tr td p a:visited{
color:#000000;
text-decoration:none;
}
-->
</style>
</head>

源代码网整理以下<body>

源代码网整理以下<table border="1" width="100%" id="table1" cellspacing="0" cellpadding="0" style="border-collapse: collapse">
 <tr>
  <td colspan="8" bgcolor="#808080" height="30" align="center"><b>
  <font color="#FFFFFF" size="3">牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版</font></b></td>
 </tr>
 <tr>
  <td height="25" align="center" width="260">日期</td>
  <td colspan="6" height="25" align="center">引擎</td>
 </tr>
 <tr>
  [showlog]
 </tr>
</table>
[copy]
</body>

源代码网整理以下</html>";
}
function pagehtml()//============显示模板,标签代替显示内容!
{
 return  "<html>

源代码网整理以下<head>
<meta http-equiv="Content-Language" content="zh-cn">
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>[title]蜘蛛爬行分析 - [htmltitle]</title>
<style>
<!--
td {
font-size: 12px ;
height:18px;
}
.c{
text-align:center;
 }
.pl{
padding-left:15px;
}
tr td p a:link,tr td p a:visited{
color:#000000;
text-decoration:none;
}
-->
</style>
</head>

源代码网整理以下<body>

源代码网整理以下<table border="1" width="100%" id="table1" cellspacing="0" cellpadding="0" style="border-collapse: collapse" height="74">
 <tr>
 <td><a href="iis.php">返回日志目录</a> | <a href="http://www.dj965.com">dj965</a>
  <td colspan="3" bgcolor="#808080" height="30" align="center">
  <font color="#FFFFFF" size="3"><b>[title]蜘蛛爬行分析</b></font></td>
 </tr>
  <tr>
  <td colspan="4" height="20" align="center">本日志[title]蜘蛛共爬行 <b>[count]</b> 次,其中正常 <b>[t]</b> 个,死链 <b><font color="red">[y]</font></b> 个,缓存 <b>[h]</b> 个</td>
 </tr>
 <tr>
  <td align="center" width="200px;"><font color="#FF0000">时间</font></td>
  <td align="center" width="150px;"><font color="#FF0000">蜘蛛IP</font></td>
  <td align="center"><font color="#FF0000">被爬URL</font></td>
  <td align="center" width="100px;"><font color="#FF0000">爬行结果</font></td>
 </tr>
 [show]
 <tr>
  [page]
 </tr>
</table>
[copy]
</body>
</html>";
}
function mycopy()
{
 return "<table border="1" width="100%" id="table2" cellspacing="0" cellpadding="0" style="border-collapse: collapse" height="402">
 <tr>
  <td height="35" bgcolor="#C0C0C0" align="center"><b>注备说明</b></td>
 </tr>
 <tr>
  <td height="170">
  <p>&nbsp;正常:表示该面页蜘蛛访问正常,并已经下载。爬行状态返回200。</p>
  <p>&nbsp;死链:表示蜘蛛访问的面页不存在或链接错误,爬行状态返回404。</p>
  <p>&nbsp;缓存:表示蜘蛛之前已经爬过的面页且该面页未更新过,蜘蛛缓存区已存在该文件,不再下载该面页内容。爬行状态返回304。</p>
  <p>&nbsp;注意:蜘蛛爬过的面页不一定会放出来,因为蜘蛛爬回去的数据须经过引擎规则筛选后才会放出来,至于详细请查看引擎收录帮助。</p>
  </td>
 </tr>
 <tr>
  <td>
  <p>&nbsp;程序名称:<a target="_blank" href="http://tarr.cn/?p=23">牛仔IIS日志蜘蛛爬行记录分析器 - 茄咧啡修改版</a>&nbsp;修改者:<a href="http://www.tarr.cn/" target="_blank">茄咧啡</a></p>
  <p>*******************************************************</p>
  <p>&nbsp;原程序名称:<a target="_blank" href="http://www.niuzi.com/">牛仔IIS日志蜘蛛爬行记录分析器</a></p>
  <p>&nbsp;原作者:牛仔</p>
  <p>&nbsp;QQ:172379201</p>
  <p>&nbsp;Email:17gd$163.com ($转换@)</p>
  <p>&nbsp;注意:本程序只供大家学习使用,请勿用作商业用途。</p>
 </tr>
</table>";
}
?>

源代码网整理以下 

源代码网整理以下  演示地址: http://tarr.cn/iis.php

源代码网整理以下  下载地址: http://tarr.cn/uploads/iis.rar

源代码网整理以下  如有疑问请给我留言 http://tarr.cn/?p=23

源代码网供稿.
网友评论 (0)
会员中心
网络编程
本站推荐
网络编程之精华