php file_get_contents数据采集与常用见问题处理

发布时间：2022-07-27 12:08:55 所属栏目：PHP教程来源：互联网

导读：在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。先来看问题,file_get_contents不能获

　　在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。

　　先来看问题,file_get_contents不能获取带端口的网址,例如如下代码:

　　file_get_contents('http://localhost:12345');

　　没有任何获取,解决方法是:关闭selinux

　　1 永久方法 – 需要重启服务器

　　修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

　　2 临时方法 – 设置系统参数

　　使用命令setenforce 0附：

　　setenforce 1 设置SELinux 成为enforcing模式

　　setenforce 0 设置SELinux 成为permissive模式

　　file_get_contents超时,代码如下:

　　function _file_get_contents($url)
　　{
　　  $context = stream_context_create(array(
　　     'http' => array(
　　      'timeout' => 180 //超时时间，单位为秒
　　     )
　　  ));
　　  return @file_get_contents($url, 0, $context);
　　}
　　好了上面的问题得到解决之后我们可以开始采集了,代码如下:

　　<?php
　　//全国，判断条件是$REQUEST_URI是否含有html
　　if (!strpos($_SERVER["REQUEST_URI"],".html"))
　　{
　　$page="http://qq.ip138.com/weather/";
　　$html = file_get_contents($page,'r');
　　$pattern="/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询</B>(.*?)<center style="padding:3px">/si";
　　//正则匹配之间的html
　　preg_match($pattern,$html,$pg);
　　echo "";
　　//正则替换远程地址为本地地址
　　$p=preg_replace('//weather/(w+)/index.htm/', 'tq.php/$1.html', $pg[1]);
　　echo $p;
　　}
　　//省，判断条件是$REQUEST_URI是否含有？
　　else if(!strpos($_SERVER["REQUEST_URI"],"?")){
　　//yoyo推荐的使用分割获得数据，这里是获得省份名称
　　$province=explode("/",$_SERVER["REQUEST_URI"]);
　　$province=explode(".",$province[count($province)-1]);
　　$province=$province[0];
　　//被注释掉的是我自己写出来的正则，感觉写的不好，但效果等同上面
　　//preg_match('/[^/]+[.(html)]$/',$_SERVER["REQUEST_URI"],$pro);
　　//$province=preg_replace('/.html/','',$pro[0]);
　　$page="http://qq.ip138.com/weather/".$province."/index.htm";
　　//获取html数据之前先尝试打开页面，防止恶意输入地址导致出错
　　if (!@fopen($page, "r")) {
　　die("对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>");
　　exit(0);
　　}
　　$html = file_get_contents($page,'r');
　　$pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";
　　preg_match($pattern,$html,$pg);
　　echo "";
　　//正则替换，获取省份，城市
　　$p=preg_replace('//weather/(w+)/(w+).htm/', '$2.html?pro=$1', $pg[1]);
　　echo $p;
　　}
　　else {
　　//市，通过get传递省份
　　$pro=$_REQUEST['pro'];
　　$city=explode("/",$_SERVER["REQUEST_URI"]);
　　$city=explode(".",$city[count($city)-1]);
　　$city=$city[0];
　　//preg_match('/[^/]+[.(html)]+[?]/',$_SERVER["REQUEST_URI"],$cit);
　　//$city=preg_replace('/.html?/','',$cit[0]);
　　$page="http://qq.ip138.com/weather/".$pro."/".$city.".htm";
　　if (!@fopen($page, "r")) {
　　die("对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>");
　　exit(0);
　　}
　　$html = file_get_contents($page,'r');
　　$pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";
　　preg_match($pattern,$html,$pg);
　　echo "";
　　//获取真实的图片地址
　　$p=preg_replace('//image//', 'http://qq.ip138.com/image/', $pg[1]);
　　echo $p;
　　}
　　?>

（编辑：我爱制作网_潮州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

php实现读取超大文件的	php多用户读写文件冲突
PHP中文乱码处理方案	PHP中更新数据库记录