我們不一定只能乖乖的等爬蟲來抓取,我們也能為百度主動(dòng)提交些數(shù)據(jù),告知搜索引擎有新的網(wǎng)頁內(nèi)容產(chǎn)生,讓爬蟲快速抓取。鏈接提交本身并非我們想象的那么簡單,下面我們對不同鏈接提交的形式進(jìn)行說明。
鏈接提交的種類
1.sitemap:利用文件的形式,告知搜索引擎鏈接;sitemap文件中可包含該網(wǎng)站主域下的所有網(wǎng)址。
2.自動(dòng)推送:通過頁面被加載點(diǎn)擊,推送給搜索引擎;自動(dòng)推送是百度搜索資源平臺為提高站點(diǎn)新增網(wǎng)頁發(fā)現(xiàn)速度推出的工具,安裝自動(dòng)推送JS代碼的網(wǎng)頁,在頁面被訪問時(shí),頁面URL將立即被推送給百度。
3.主動(dòng)推送:自主的提交給搜索引擎鏈接;可以縮短百度爬蟲發(fā)現(xiàn)您站點(diǎn)新鏈接的時(shí)間,使新發(fā)布的頁面可以在第一時(shí)間被百度收錄。
4.天級收錄:熊掌號提交推送,移動(dòng)收錄利器,真的可以做到天級甚至秒收,保護(hù)網(wǎng)頁原創(chuàng)性。
sitemap
·sitemap文件類型txt、xml、建議xml;
·索引文件:sitemap索引文件與sitemap.xml文件;
·設(shè)置規(guī)范:每天自動(dòng)更新的sitemap文件策略;
·注意事項(xiàng)網(wǎng)址5W條、10MB內(nèi)、文件數(shù)量5W個(gè)、不建議大家使用規(guī)范文件名稱;
·文件作用:大規(guī)模批量抓取的最佳選擇。
自動(dòng)推送
·設(shè)置方式:從百度,360獲取自己的j推送代碼,放置全站頁面頭部或底部;
·推送特性:在網(wǎng)頁被訪問時(shí)觸發(fā)代碼,推送給搜索引擎;
·設(shè)置規(guī)范:代碼直接放置就可以(注意不能復(fù)制別人站點(diǎn)的);
·注意事項(xiàng):有權(quán)限的頁面不要放置改代碼,降低抓取效率。
主動(dòng)推送
·設(shè)置方式:需要技術(shù)支持或使用站長工具后臺提供的php代碼本地搭建;
·推送特性:每次產(chǎn)生新網(wǎng)頁的時(shí)候,及時(shí)進(jìn)行推送,
·注意事項(xiàng):不建議重復(fù)推送數(shù)據(jù),新數(shù)據(jù)提交一次即可;
·文件作用:發(fā)現(xiàn)更多及時(shí)、最新的有效數(shù)據(jù);
天級收錄
·設(shè)置方式:可手動(dòng)提交,也可以通過Apl接口技術(shù)進(jìn)行配置;
·推送特性:移動(dòng)端網(wǎng)頁第一次產(chǎn)生時(shí))進(jìn)行推送;
·注意事項(xiàng):未收錄的數(shù)據(jù)應(yīng)先思考其問題,然后謹(jǐn)慎進(jìn)行重復(fù)提交;
·文件作用:發(fā)現(xiàn)更多及時(shí)、最新的移動(dòng)端有效數(shù)據(jù):
鏈接提交可以加快網(wǎng)址內(nèi)容抓取,網(wǎng)站數(shù)據(jù)量大收錄率低的站長們可以試試鏈接提交這種方式,上述的幾種提交方式,中大型站點(diǎn)適用sitemap提交方式,企業(yè)站點(diǎn)目前最有效的還是熊掌號的數(shù)據(jù)提交,可達(dá)天級收錄。