python爬蟲有什麼用

python爬蟲有什麼用？讓我們一起了解一下吧！

python爬蟲即網路爬蟲，網路爬蟲是一種程式，主要用於搜尋引擎，它將一個網站的所有內容與連結進行閱讀，並建立相關的全文索引到資料庫中，然後跳到另一個網站。

python爬蟲的作用有：

1、python爬蟲可以按照規則去進行抓取網站上的有價值的資訊；

2、可以使用python爬蟲去抓取資訊並且下載到本地。

拓展：爬蟲分類

從爬取物件來看，爬蟲可以分為通用爬蟲和聚焦爬蟲兩類。

通用網路爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行物件從一些種子 URL 擴充到整個 Web，主要為搜尋引擎和大型 Web 服務提供商採集資料。

聚焦網路爬蟲（Focused Crawler），是指選擇性地爬取那些與預先定義好的主題相關頁面的網路爬蟲。

今天的分享就是這些，希望能幫助到大家！