分享每一天-Laravel + Goutte 开始爬虫旅行

Laravel + Goutte 开始爬虫旅行

Laravel 1929 0 创建时间：2020-09-17 17:18:06

爬虫

#### Laravel + Goutte 开始爬虫旅行
说到爬虫，我们第一印象将会是 Python 。因其拥有丰富的网络抓取模块，语法简洁易上手，开发效率高等优点。

那么 PHP 如何开始爬虫之路呢，PHP 也有许多强大第三方库支持。比较著名的 PHP 爬虫框架就有 phpspider, PHP Selenium。

接下来我们将使用 Goutte 这个 PHP 的爬虫库来自己写创建一个简易的爬虫。

#### 安装
```php
composer require fabpot/goutte
```
#### 使用
```php
use Goutte\Client;

public function spider($url)
{
    $client  = new Client();
    $crawler = $client->request('GET', $url);

// 这里我使用的是 Xpath 
    $name    = $crawler->filterXPath('//div[@class="company-name"]')->text();

// 也可以使用 filter 选择器和 Jquery 一样，可以支持嵌套以及 each 循环
    $navs    = $crawler->filter('#menus li');

$navs->each(function ($node) {
        echo $node->text().'<br>';
    });

echo $name;
}
```

#### 设置 Header

由于 BrowserKit 将在执行期间覆盖用户代理头，因此必须使用setServerParameter()将用户代理头放回去。

```php
$client = new Client();
$client->setServerParameter('HTTP_USER_AGENT','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36');
$client->setServerParameter('HTTP_ACCEPT_LANGUAGE','zh-CN,zh;q=0.9');
```

更多的信息:

**https://github.com/FriendsOfPHP/Goutte**

Laravel + Goutte 开始爬虫旅行

商品推荐

广告推荐

推荐文章