Apache下(xià)網站日志(zhì)裏面顯示百度蜘蛛(Baiduspider)等的方法
網站的優化工(gōng)作很重要的一(yī)個環節就是要讓搜索引擎蜘蛛到網站上來抓取内容,如果搜索引擎蜘蛛都不來網站,那網站的内容再多在豐富也是沒有用的。
整個互聯網形如一(yī)張網,搜索引擎的抓取程序就是通過這些一(yī)個一(yī)個的連接來抓取頁面内容的,所以搜索引擎被形象的叫做蜘蛛或網絡爬蟲。網絡爬蟲是搜索引擎的一(yī)個自動的抓取頁面的程序。搜索引擎蜘蛛通過跟蹤連接訪問頁面。獲得頁面HTML代碼存入數據庫。爬行和抓取是搜索引擎工(gōng)作的第一(yī)步,也就是數據收集的任務。然後就是預處理以及根據算法排名。
對于站長來說,網站的第一(yī)步就是解決收錄問題,我(wǒ)們每天都在更新,可有時就是不收錄。我(wǒ)們要想得到收錄和蜘蛛的青睐,你就要懂得蜘蛛的爬行原理和規律。要學習和研究蜘蛛爬行規律,分(fēn)析網站的訪問日志(zhì)是重要的一(yī)項工(gōng)作。下(xià)面我(wǒ)們來介紹如何查看網站的訪問日志(zhì)。
針對WDCP面闆 設置Apache日志(zhì)記錄蜘蛛爬行
1、首頁,你要在 “站點編輯” 裏面把 "開(kāi)啓訪問日志(zhì) " 這個選項打勾
2、配置vhost 裏面對應站點的 conf 文件( /www/wdlinux/apache/conf/vhost)
把 CustomLog "/www/web_logs/你的域名_access_log" common 這一(yī)行的 common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined
修改完後保存一(yī)下(xià)。
3、請确認CustomLog沒有被#号注釋掉,把 /www/wdlinux/apache/conf/httpd.conf 這個文件也改一(yī)下(xià)
把 #CustomLog "logs/access_log" combined 這一(yī)句前面的 # 去(qù)掉,然後再重啓web服務
4、重新啓動web服務,測試一(yī)下(xià)效果
好了,以上操作應該是可以實現效果了,希望大(dà)家都可以操作成功
特别提醒,針對WDCP面闆,如果在站點設置裏面修改了其他設置,保存之後站點對應的conf配置文件會自動覆蓋掉。或者點擊了“更新所有站 點配置”,對應的conf配置文件也會覆蓋掉你手動添加的代碼。到時候默認的設置還會是:CustomLog "/www/web_logs/你的域名_access_log" common,然後又(yòu)得去(qù)手動改一(yī)下(xià)。我(wǒ)找到一(yī)個完美解決的辦法,其他地方都不要動,也不用去(qù)修改站點的conf配置文件。
直接修改apache默認的httpd.conf配置文件。打開(kāi)/www/wdlinux/apache/conf/httpd.conf。找到:
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
把common和combined交換一(yī)下(xià)就行了,最終的代碼:
LogFormat "%h %l %u %t \"%r\" %>s %b" combined
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common
上傳後重啓一(yī)下(xià)web服務就可以了。
原理就是在“站點編輯” 裏面 "開(kāi)啓訪問日志(zhì)"後,默認是添加的CustomLog "/www/web_logs/你的域名_access_log" common 這段代碼,生(shēng)效的就是httpd.conf裏面common的配置,改一(yī)下(xià)默認的common的配置就OK了。
針對單個主機的配置方案 設置Apache日志(zhì)記錄蜘蛛爬行
1、打開(kāi)httpd.conf文件找到以下(xià)部分(fēn):LogFormat
“%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat
“%h %l %u %t \”%r\” %>s %b” common
LogFormat
“%{Referer}i -> %U” referer
LogFormat
“%{User-agent}i” agent
具體(tǐ)有關LogFormat的用法請參照:
2、接着我(wǒ)們繼續向下(xià)移動,找到虛拟主機配置段,也就是VirtualHost段,這個是由你自己來配置的。本站的虛拟主機的日志(zhì)文件是這樣設置的:如果你想記錄百度蜘蛛的訪問全稱,就按色部分(fēn)設置:
CustomLog
/var/html/faq/logs/linux520-access.log combined
如果不想記錄百度蜘蛛的頭部分(fēn),則如下(xià)設置:
CustomLog
/var/html/faq/logs/linux520-access.log common
按照以上設置一(yī)下(xià),看看你的日志(zhì)文件是否發生(shēng)變化了。
- 上一(yī)篇:【網站優化】精心呵護的網站降權了怎麽辦?
- 下(xià)一(yī)篇:不是所有的百度蜘蛛都是好蜘蛛
相關内容推薦
最新文章
更多>>0532-88983785 / 0532-68613670
我(wǒ)要優化網站