php实现网页截屏、抓取js动态渲染的页面(爬虫必备)

什么是 PhantomJS?

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持 web 而不需浏览器支持，其快速，原生支持各种 Web 标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 PhantomJS 可以用于 页面自动化 ， 网络监测 ， 网页截屏 ，以及 无界面测试 等。

一、安装

安装包下载地址： http://phantomjs.org/download.html ，包括 Windows ，Mac OS，Linux 版本，自行选择对应 版本下载解压即可（ 为方便使用，可自已为 phantomjs 设置环境变量 ），其中带有一个 example 文件夹，里面有很多已经写好的代码供使用。本文假设 phantomjs 已经安装好并已设置了环境变量。

二、使用

console.log('Hello, world!');
phantom.exit();
//另存为 hi.js
//运行
phantomjs hi.js

则会输出

传递参数

phantomjs examples/arguments.js 参数 1 参数 2
//js 代码
var system = require('system');
if (system.args.length === 1) {
    console.log('Try to pass some args when invoking this script!');
} else {
    system.args.forEach(function (arg, i) {
            console.log(i + ': ' + arg);
    });
}
phantom.exit();

则输出:

页面加载 – Page Loading

通过创建一个网页对象，一个网页可以被加载，分析和渲染。
下面的脚本将示例页面对象最简单的用法，它加载 example.com 并且将它保存为一张图片， example.png 。

var page = require('webpage').create();
page.open('http://example.com', function () {
    page.render('example.png');
    phantom.exit();
});

由于它的这个特性，PhantomJS 可以用来 网页截屏 ，截取一些内容的快照，比如将网页、SVG 存成图片，PDF 等，这个功能很牛 X。
接下来的 loadspeed.js 脚本加载一个特殊的 URL (不要忘了 http 协议) 并且计量加载该页面的时间。

var page = require('webpage').create(),
    system = require('system'),
    t, address;

if (system.args.length === 1) {
    console.log('Usage: loadspeed.js <some URL>');
    phantom.exit();
}

t = Date.now();
address = system.args[1];
page.open(address, function (status) {
    if (status !== 'success') {
        console.log('FAIL to load the address');
    } else {
        t = Date.now() - t;
        console.log('Loading time ' + t + ' msec');
    }
    phantom.exit();
});

//运行
phantomjs loadspeed.js http://www.google.com

则输出:

代码运算 – Code Evaluation

要想在网页的上下文中对JavaScript 或 CoffeeScript 进行运算，使用 evaluate() 方法。代码是在“沙箱”中运行的，它没有办法读取在其所属页面上下文之外的任何JavaScript对象和变量。 evaluate() 会返回一个对象，然而它仅限制于简单的对象并且不能包含方法或闭包。

这有一个示例来显示网页标题：

var page = require('webpage').create();
page.open(url, function (status) {
    var title = page.evaluate(function () {
        return document.title;
    });
    console.log('Page title is ' + title);
});

任何来自于网页并且包括来自 evaluate() 内部代码的控制台信息，默认不会显示的。要重写这个行为，使用 onConsoleMessage 回调函数，前一个示例可以被改写成：

var page = require('webpage').create();
page.onConsoleMessage = function (msg) {
    console.log('Page title is ' + msg);
};
page.open(url, function (status) {
    page.evaluate(function () {
        console.log(document.title);
    });
});

DOM 操作 – DOM Manipulation

由于脚本好像是一个 Web 浏览器上运行的一样，标准的 DOM 脚本和 CSS 选择器可以很好的工作。这使得 PhantomJS适合支持各种 页面自动化任务 。

下面的  useragent.js  将读取 id  为myagent的元素的  textContent  属性：

var page = require('webpage').create();
console.log('The default user agent is ' + page.settings.userAgent);
page.settings.userAgent = 'SpecialAgent';
page.open('http://www.httpuseragent.org', function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        var ua = page.evaluate(function () {
            return document.getElementById('myagent').textContent;
        });
        console.log(ua);
    }
    phantom.exit();
});

上面示例同样提供了一种自定义 user agent 的方法。

使用 JQuery 及其他类库：

var page = require('webpage').create();
page.open('http://www.sample.com', function() {
    page.includeJs("http://ajax.lug.ustc.edu.cn/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
            $("button").click();
        });
        phantom.exit()
    });
});

网络请求及响应 – Network Requests and Responses

将一个页面从一台远程服务器请求一个资源的时候，请求和响应均可以通过 onResourceRequested  和  onResourceReceived  回调方法追踪到。示例  netlog.js ：

var page = require('webpage').create();
page.onResourceRequested = function (request) {
    console.log('Request ' + <a href="https://blog.kieng.cn/tag/js" title="查看更多关于 JS 的文章" target="_blank">JS</a>ON.stringify(request, undefined, 4));
};
page.onResourceReceived = function (response) {
    console.log('Receive ' + JSON.stringify(response, undefined, 4));
};
page.open(url);

获取如何把该特性用于 HAR 输出以及基于 YSlow 的性能分析的更多信息，请参阅 网络监控页面 。

PhantomJs 官网： http://phantomjs.org/

GitHub: https://github.com/ariya/phantomjs/wiki/Quick-Start

使用 windows 下PHP 执行 phantomjs

下面直接给出执行代码：

exec('C:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 C:\wamp\www\Xss_Scanner\test.js ',$output_main);
var_dump($output_main);

需要注意的是 js 文件可以不取绝对路径。可以是相对于网站根目录的，下面执行是成功的：

exec('C:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

注：test.js 放置于网站的根目录下。

另外：在 PHP 下执行 phantomjs 也可以使用另外一个函数 systom() 来执行

php-phantomjs 中文 API 整理的集合 DEMO

 <?php
require 'vendor/autoload.php';
use JonnyW\PhantomJs\Client;//引入客户端
/*自定义模块*/
use JonnyW\PhantomJs\DependencyInjection\ServiceContainer;
$location = '/path/to/your/script/directory';//自定义模块所在文件夹
$serviceContainer = ServiceContainer::getInstance();
$procedureLoader</span> = <span class="hljs-variable">$serviceContainer->get('procedure_loader_factory')
->createProcedureLoader($location);//详细参见本文页尾

/*正常实例*/
$client = Client::getInstance();//实例

/*自定义模块*/
 $client->setProcedure('my_procedure');//加载一个名为 my_procedure.proc 的自定义 js 模块,详见本文页尾
$client</span>->getProcedureLoader()->addLoader(<span class="hljs-variable">$procedureLoader);//自动加载模块

/*自设 phantomjs 参数*/
$client->getEngine()->addOption('--load-images=true');//phantomjs 参数,参数地址:http://phantomjs.org/api/command-line.html
$client->getEngine()->addOption('--config=/path/to/config.json');//除了单独配置命令,还可配置命令集配置的 json 文件::本文页尾列举了常用的配置

/*调试与缓存*/
$client->getEngine()->debug(true);//允许或禁止调试
$client->getLog(); //开启调试则输出结果
 $client->getProcedureCompiler()->clearCache();//清除缓存.建议允许前进行清除
$client->getProcedureCompiler()->enableCache();//允许缓存,建议开启
 $client->getProcedureCompiler()->disableCache();//禁止读取缓存


/*渲染与请求方式*/
 $link='http://jonnnnyw.github.io/php-phantomjs/4.0/3-usage/#on-load-finished';//请求的 url
$client->isLazy(); // 是否让客户端等待所有资源加载完毕,开启此项务必开始 setTimeout,避免轮询页面不断等待.
$request</span> = <span class="hljs-variable">$client->getMessageFactory()->createRequest();
$response</span> = <span class="hljs-variable">$client->getMessageFactory()->createResponse();
$request</span>->setUrl(<span class="hljs-variable">$link);
$request->setMethod('GET');//可 GET|POST|OPTIONS|HEAD|DELETE|PATCH|PUT
$request->setTimeout(5000);//超过指定时间则中断渲染
$request->setDelay(5);//设置延迟 5 秒
$request->setRequestData(array('param1' => 'Param 1','param2' => 'Param 2'));//POST 时发送的数据
$request->addHeader('custom_header_key', 'custom_header_value');//自定义头信息
$client</span>->send(<span class="hljs-variable">$request, $response);//发送请求

/*截图(图或 PDF 文件)*/
$request->setRepeatingHeader('<h1>Header <span style="float:right">%pageNum% / %pageTotal%</span></h1>',100);//自定义 PDF 类的头尾及其高度
$request->setRepeatingFooter('<footer>Footer <span style="float:right">%pageNum% / %pageTotal%</span></footer>',100);//自定义 PDF 类的头尾
$request->setViewportSize(200, 100);//设置可视宽高
 $request->setBodyStyles(array('backgroundColor' => '#ff0000'));//设置纸张背景色
 $request->setFormat('A4');//设置尺寸格式,如 A4
 $request->setOrientation('landscape');//设置纸张方向如纵向
$request->setPaperSize('10cm', '20cm');//PDF 纸张大小
$request->setMargin('1cm');//PDF 纸张边距
$request->setOutputFile('E:\php\file.jpg|file.pdf');//截图或 PDF 存储路径
$request</span>->setCaptureDimensions(<span class="hljs-number">240</span>, <span class="hljs-number">320</span>, <span class="hljs-number">10</span>, <span class="hljs-number">20</span>);<span class="hljs-comment">//设置截图宽高与边距$width, $height, $top, $left

/*响应结果*/
$response->getHeaders();//返回头组成的数组
$response->getHeader();//返回头
$response->getStatus();//返回状态码:200 则正确,其余错误.
$response->getContent();//返回正文
$response->getContentType();//返回正文类型
$response->getUrl();//返回请求地址
$response->getRedirectUrl();//返回重定向后的地址
$response->isRedirect();//返回是否重定向
$response->getConsole();//返回 JS 控制台内容

A. 常用命令参数: 

1.--ignore-ssl-errors=[true|false]忽略 SSL 错误，例如过期或自签名证书错误（默认为 false）。 
2.--load-images=[true|false]加载所有内联图像（默认为 true）。 
其它的很少用得到,http://phantomjs.org/api/command-line.html



B.自定义模块用法: 

global_variables.partial 允许任何 javascript 变量注入脚本的顶部。 
page_clip_rect.partial 如果请求是屏幕捕获，这将定义页面裁剪矩形。 
page_custom_headers.partial 在页面对象上设置任何自定义标题。 
page_on_error.partial 定义页面错误执行的代码。 
page_on_resource_received.partial 定义在资源接收时执行的代码。 
page_on_resource_timeout.partial 定义在资源超时时执行的代码。 
page_open.partial 定义页面打开时执行的代码。 
page_paper_size.partial 如果请求是 PDF 输出，这将设置纸张尺寸。 
page_settings.partial 最明显地定义任何页面设置资源超时值。 
page_viewport_size.partial 如果在请求中定义，请设置视口大小。 
page_body_styles.partial 在请求的页面的 body 标签上设置 CSS 样式。 
phantom_on_error.partial 定义在 PhantomJS 错误中执行的代码。 
procedure_capture.partial 定义请求是捕获请求时执行的代码。 
procedure_default.partial 定义为默认请求执行的代码。 
procedure_pdf.partial 定义请求是 PDF 请求时执行的代码。 
编译的时候所对应的位置:https://github.com/jonnnnyw/php-phantomjs/blob/master/src/JonnyW/PhantomJs/Resources/procedures/http_default.proc



除了上方的默认模块之外,你也可以自定义一个 js 模块 

首先创建至少 755 权限的.proc 文件,例如/my_procedure(名称随意,上面引入时无需后缀).proc

//.proc 示例脚本
var page  = require('webpage').create();
page.open ('{{ input.getUrl() }}', '{{ input.getMethod() }}', '{{ input.getBody() }}', function (status) {
//你的 js 脚本
phantom.exit(1);//退出
});
...

~谢谢打赏~

赏