国产亚洲国产综合,无码调教精品秘入口,日韩av看片资源

Google SEO搜索引擎優(yōu)化初學者指南，處理頁面抓取板塊包含以下兩方面內容。

一、更加有效地使用robots.txt文件

1、用robots.txt文件來限制抓取

robots.txt文件主要用來告知搜索引擎它們是否有權抓取您網站的特定部分。

該文件一定要嚴格的命名為robots.txt , 并被放置在網站的根目錄下。

您可能不希望您的網站中的某些頁面被抓取 , 也許這些網頁在搜索結果中出現(xiàn)對于用戶來說并沒多大用處。如果您想防止搜索引擎抓取這些頁面 , 谷歌網站站長工具中有一個非常好用的robots.txt生成器 , 它可以幫您生成這個文件。需要注意的是 , 如果您的網站使用子域名而您不想被抓取的某些網頁恰好在一個特定子域名下 , 您需要為那個子域名創(chuàng)建一個單獨的robots.txt文件。如果您想了解更多的關于robots.txt的信息 , 建議您參閱網站管理員幫助中心的關于使用robots.txt文件的指南。

還有很多別的方法可以保證您的網站的某些內容不出現(xiàn)在搜索結果中 , 比如說給您的robots元標簽加上“NOINDEX”標識 , 使用 .htaccess文件對需要保護的目錄加密 , 還可以使用網站站長工具將已經被抓取的網頁從搜索結果中移除。

*佳使用方法：

1、對敏感的內容使用更加安全的方法

您可能不會特別放心僅僅使用robots.txt對敏感的或者保密的內容進行屏蔽。其中一個原因是如果網絡上還有一些鏈接鏈向這些URL時(比如引用頁日志) , 搜索引擎仍然有可能跟蹤抓取到您希望屏蔽的URL , 當然 , 它們只會展示您的URL地址信息 , 而不會展示標題或者內容摘要。一些無賴的搜索引擎可能并不會自覺遵守機器人排除標準從而違反您的robots.txt的說明。還有其他原因 , 比如一個好奇的用戶可能查看了您robots.txt文件中的目錄和子目錄 , 并對您不愿對外界展示的內容的URL 進行了猜測。使用.htacess文件對內容進行密碼保護或者對內容加密是更加安全的措施。

請注意避免：

允許您網站中一些類似搜索結果的頁面被抓取到(用戶不喜歡剛離開一個搜索結果頁面就進入了另一個搜索結果頁面 , 這對他們來說沒有什么價值) ；允許大量自動生成的、有相同或極為相似內容的網頁被抓取到 , 用戶會想 : “難道這100000頁近乎相同的網頁真的應該在搜索引擎的索引中出現(xiàn)嗎?”；允許那些因提供代理服務而生成的URL被抓取。

二、謹慎使用rel=“nofollow”

1、用nofollow打擊垃圾留言

如果您把某一鏈接的“rel”屬性設置成“nofollow” , 這意味著您是在向Google傳達這樣的信息 : 您不希望Google繼續(xù)跟蹤抓取這些特定鏈接所指向的頁面 , 并且也不希望將自己網頁的聲譽傳給這些鏈接指向的網頁。實現(xiàn)這樣的效果其實很簡單 , 您只需將 rel=“nofollow”放置在鏈接的錨標簽里即可。

我應當在什么情況下使用nofollow呢?如果您網站的博客開通了留言功能 , 這些留言中含有的鏈接會向一些您根本就不了解也無意推薦的網站傳遞您的聲譽。博客的留言本經常被垃圾留言所侵擾。

Nofollow這些用戶生成的鏈接能夠確保您不會將自己好不容易才積累起的聲譽傳遞給其他的垃圾網站。

2、自動給留言板“設置為nofollow”

許多博客軟件包會自動nofollow用戶的留言 , 即使沒有提供這樣的自動功能 , 您也完全可以手動調整成這樣。同樣的情形還適用于您網站的其他由用戶生成的內容 , 比如留言簿、論壇、引用通告等。如果某些第三方(比如您的網站信任此留言者)添加的鏈接得到您的肯定的話 , 那么您就沒有必要對這些鏈接使用nofollow。但是必須明確的是 , 如果您鏈向了某些被Google認為是垃圾的網站的話 , 那么您自己網站的聲譽也會受到影響。網站管理員中心向您提供了更多關于怎樣防止垃圾留言的小建議 , 比如使用CAPTCHAs(輸入驗證碼環(huán)節(jié))和啟用留言監(jiān)控功能等。

3、關于為特定的內容或者頁面上的所有鏈接使用nofollow

Nofollow的另一個用途就是 , 當您在寫文章并引用某個網站 , 但是并不想把您的聲譽傳遞給它。例如 , 您正在撰寫一篇關于垃圾留言的博客文章并打算揭發(fā)一個*近經常在您的博客上惡意留言的網站。為了籍此提醒其他的網站提高警惕 , 您把該網站的鏈接包含在了您的文章中 ; 但是 , 您顯然不想將自己網站的聲譽傳遞給這個作惡的網站。那么這時候使用nofollow再合適不過了。