Python爬蟲開發(fā)工程師負責設計和開發(fā)分布式的網(wǎng)絡爬蟲應用，進行互聯(lián)網(wǎng)相關信息的抓取和分析，設計策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾、控制、資源劃分都問題。