人妻.中文字幕无码

  • <button id="kkvgp"></button>
    <tbody id="kkvgp"></tbody>
  • <button id="kkvgp"><acronym id="kkvgp"></acronym></button>
  • <em id="kkvgp"><acronym id="kkvgp"><menuitem id="kkvgp"></menuitem></acronym></em>

      適合自己的 ● 才是最好的 新聞動態,洞悉互聯網前沿資訊,探尋網站營銷規律
      當前位置:網站首頁 >> 站長新聞
      站長吐槽:頭條搜索爬蟲暴力抓取網站內容
      日期:2019-11-11 10:09:16 來源:合肥良馬網絡科技有限公司 官網:http://www.popandsizzle.com/ 閱讀:199次
      合肥網站優化了解到最近有站長在網上發文吐槽表示,字節跳動為了快速發展搜索業務派出爬蟲四處抓取網站內容,給中小網站主們造成了很大的損失和困擾,影響了網站正常的用戶訪問。

      該站長表示,今年7月份,他突然發現公司的網站經常性打不開,網頁加載極其緩慢,有時甚至直接癱瘓。經過一系列排查后,在服務器日志上發現了bytespider爬蟲的痕跡。該爬蟲抓取的頻率每天達幾百萬次,高則上千萬次,服務器帶寬負載飆至100%,而且該爬蟲在抓取時完全不遵守網站的robots協議。

      該站長順著該爬蟲的IP地址查詢,證實,該爬蟲就是字節跳動的搜索爬蟲。

      并且,在CSDN、V2EX等技術論壇也了解到,從字節跳動開始做搜索之后,其實網絡上就一直有站長抱怨頭條搜索爬蟲抓取過于暴力的聲音,遭受字節跳動的搜索爬蟲暴力抓取的不是個例,很多小網站他們也沒放過。

      有小網站主抱怨表示:字節跳動的爬蟲“一上午對網站發出46萬次請求”,網站都癱瘓了,百度也沒有這么折騰的!

      最后,該站長表示,像我們這樣做SEO的人來說,主要工作目標就是希望自己家網站能在主流搜索引擎的搜索結果中排在前面的位置,“對于像百度、搜狗、360等搜索引擎的規范抓取和收錄各位站長都是非常歡迎的,但是頭條搜索爬蟲這樣瘋狂爬取內容網站都給整癱瘓了,不僅沒給網站帶來流量,還影響了正常的用戶訪問,這就很不“講究”了。

      但是對此,字節跳動的搜索部經理表示:文章所述今年七八月份頭條搜索出現的爬蟲問題,目前已經進行了優化升級,并且對抓取壓力做了更有效的控制,頭條搜索一直在關注站長及專業人員反饋的抓取問題,聯系了部分發帖/文檔反饋的網站及個人,我們分析了原因并對系統進行了迭代改進。目前看反饋已經有效改善。會持續關注反饋繼續改進。

      所以通過頭條搜索爬蟲暴力抓取網站內容來看,字節跳動入局全網搜索攪動搜素市場是好事,國內的搜索公司也該活動活動了,但是搜索引擎的索引數據這種東西是靠點滴積累起來的,百度、搜狗、360經歷了那么多年的發展積累才走到今天,頭條搜索想在這方面趕超還有很長一段路要走!

      本文標題:站長吐槽:頭條搜索爬蟲暴力抓取網站內容
      本文網址:http://www.popandsizzle.com/news/586.html
      原創作者:合肥良馬網絡科技有限公司 版權所有,轉載請注明出處,并以鏈接形式注明。
      聲明:本頁內容由合肥良馬網絡科技有限公司通過網絡收集編輯和原創所得,所有資料僅供用戶參考;本站不擁有所有權,也不承認相關法律責任。如您認為本網頁中有涉嫌抄寫的內容,請及時與我們聯系進行舉報,并提供相關證據,工作人員會在5個工作日內聯系您,一經查實,本站將立刻刪除涉嫌侵權內容。如果您對SEO優化核心技術文章感興趣,請點擊查看網絡推廣網站制作的相關文章,請關注良馬科技官網(www.popandsizzle.com)

      人妻.中文字幕无码
    1. <button id="kkvgp"></button>
      <tbody id="kkvgp"></tbody>
    2. <button id="kkvgp"><acronym id="kkvgp"></acronym></button>
    3. <em id="kkvgp"><acronym id="kkvgp"><menuitem id="kkvgp"></menuitem></acronym></em>