使用Perl控制Firefox

2014年12月8日 by brian d foy

更新 在0.55版本中，Firefox移除了允许MozRepl工作的功能。

我一直在尝试WWW::Mechanize::Firefox。它就像LWP后端WWW::Mechanize，但是有一个浏览器来完成所有工作。我不再需要在Perl中完成所有工作，我可以将其用作粘合语言。

有时WWW::Mechanize、LWP::UserAgent或Mojo::UserAgent都不够用。对于基本的网络抓取和自动化，它们表现良好，但无法处理需要JavaScript的任何事情。有些人使用SpiderMonkey（有多个Perl接口）很幸运，但这仍然不是完整的浏览器环境。

在开始之前，您需要一个带有Firefox浏览器（或其分支之一）和MozRepl插件的浏览器，该插件提供了一个交互式JavaScript控制台，您可以通过telnet进入。一旦激活，您就可以连接到控制台并控制浏览器。

$activate\_mozrepl$

我必须了解JavaScript才能直接控制Firefox。我可以telnet到MozRepl服务器并发送命令。这比我想做的要多一些工作。

$mozrepl\_telnet$

但是，我不会直接控制Firefox，因为我会让一些Perl模块来帮我完成这个任务。WWW::Mechanize::Firefox的基本接口与WWW::Mechanize相同

#!/usr/local/perls/perl-5.20.0/bin/perl
use v5.10;
use WWW::Mechanize::Firefox;

my $mech = WWW::Mechanize::Firefox->new;
$mech->autoclose_tab( 0 );

$mech->get( 'http://www.perltricks.com' );

foreach my $link ( $mech->links ) {
    state $count = 0;
    say $count++, ": ", $link->url;
    }

我获取PerlTricks主页上的链接列表

0: http://perltricks.com/favicon.ico
1: http://perltricks.com/feed/atom
2: http://perltricks.com/feed/rss
3: http://perltricks.com/css/bootstrap.min.css
4: http://perltricks.com/css/carousel.css
5: http://perltricks.com/css/perltricks.css
6: https://twitter.com/intent/follow?screen_name=perltricks
7: http://perltricks.com/feed/rss
...

这甚至还不是最好的部分。

执行JavaScript

由于我连接到一个JavaScript终端，我可以评估JavaScript代码。eval返回结果及其类型

use v5.10;
use WWW::Mechanize::Firefox;

my $mech = WWW::Mechanize::Firefox->new;
$mech->autoclose_tab( 0 );

my( $result, $type ) = $mech->eval( '2+2' );

say "2+2 is $result (type $type)";

2+2 is 4 (type number)

这评估了JavaScript在其自己的上下文中，这对我不太有趣。我想与网页的某些部分进行交互和控制。为此，我使用eval_in_page。它将JavaScript与当前选项卡中正在进行的所有内容一起运行，包括它已加载的所有JavaScript代码。以下是一个使用StackExchange JavaScript将视图从桌面模式切换到移动模式的示例

use v5.10;
use WWW::Mechanize::Firefox;

my $mech = WWW::Mechanize::Firefox->new;
$mech->autoclose_tab( 0 );

$mech->get( 'http://www.stackoverflow.com/' );
sleep 5;
$mech->eval_in_page( 'StackExchange.switchMobile("on")' );