最模板 - 外贸网站建设,外贸网站模板

最模板

当前位置: 首页 > 建站教程 > php教程 >

php读取大文件实例代码

时间:2014-07-13 10:00来源:未知 作者:最模板zuimoban 点击:
在php开发中,经常遇到要读取一些文件,最简便的方法莫过于使用一些如file、file_get_contents之类的函数,简简单单的几行代码就能轻松的搞定,但当需要操作的文件是一个比较大的文件时,这

在php开发中,经常遇到要读取一些文件,最简便的方法莫过于使用一些如file、file_get_contents之类的函数,简简单单的几行代码就能轻松的搞定,但当需要操作的文件是一个比较大的文件时,这些函数可能就显的力不从心,下面将从一个需求入手来说明对于读取大文件时,常用的操作方法.

需求:有一个800M的日志文件,大约有500多万行,用php返回最后几行的内容.

实现方法有以下:

1. 直接采用 file函数 来操作

注:由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.

下面是一段用file来取出这具文件最后一行的代码,代码如下:

  1. ini_set('memory_limit''-1'); 
  2. $file = 'access.log'
  3. $data = file($file); 
  4. $line = $data[count($data)-1]; 
  5. echo $line

整个代码执行完成耗时 116.9613 (s).

我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了.

2.直接调用linux的 tail命令 来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下:

  1. file = 'access.log'
  2. $file = escapeshellarg($file); // 对命令行参数进行安全转义 
  3. $line = `tail -n 1 $file`; 
  4. echo $line;  

整个代码执行完成耗时 0.0034 (s)

3. 直接使用 php的fseek 来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作 时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.

方法一:首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行,实现代码如下:

  1. $fp = fopen($file"r"); 
  2. $line = 10; 
  3. $pos = -2; 
  4. $t = " "
  5. $data = ""
  6. while ($line > 0) { 
  7.     while ($t != "n") { 
  8.         fseek($fp$pos, SEEK_END); 
  9.         $t = fgetc($fp); 
  10.         $pos --; 
  11.     } 
  12.     $t = " "
  13.     $data .= fgets($fp); 
  14.     $line --; 
  15. fclose ($fp); 
  16. echo $data;  

整个代码执行完成耗时 0.0095 (s)

方法二:还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(n)的个数来判断是否已经读完最后$num行数据,实现代码如下:

  1. $fp = fopen($file"r"); 
  2. $num = 10; 
  3. $chunk = 4096; 
  4. $fs = sprintf("%u"filesize($file)); 
  5. $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); 
  6. for ($len=0; $len<$max$len+=$chunk) { 
  7.     $seekSize = ($max - $len &gt; $chunk) ? $chunk : $max - $len
  8.     fseek($fp, ($len + $seekSize) * -1, SEEK_END); 
  9.     $readData = fread($fp$seekSize) . $readData
  10.  
  11.     if (substr_count($readData"n") &gt;= $num + 1) { 
  12.         preg_match("!(.*?n){".($num)."}$!"$readData$match); 
  13.         $data = $match[0]; 
  14.         break
  15.     } 
  16. fclose($fp); 
  17. echo $data;  

整个代码执行完成耗时 0.0009(s).

方法三,代码如下:

  1. function tail($fp,$n,$base=5) { 
  2.     assert($n>0); 
  3.     $pos = $n+1; 
  4.     $lines = array(); 
  5.     while(count($lines) <= $n) { 
  6.         try{ 
  7.             fseek($fp,-$pos,SEEK_END); 
  8.         } catch (Exception $e) { 
  9.             fseek(0); 
  10.             break
  11.         } 
  12.         $pos *= $base
  13.         while(!feof($fp)) { 
  14.             array_unshift($lines,fgets($fp)); 
  15.         } 
  16.     } 
  17.     return array_slice($lines,0,$n); 
  18. var_dump(tail(fopen("access.log","r+"), 10)); 

整个代码执行完成耗时 0.0003(s)

 
(责任编辑:最模板)
------分隔线----------------------------
栏目列表
推荐内容
  • php时间日期的处理函数

    1.UNIX时间戳 php 处理数据,特别是对数据库中时间类型数据进行格式化时,需先将时间类型的数据...

  • 开发大型PHP项目的方法

    这里介绍了在PHP中的面向对象编程(OOP,Object Oriented Programming)。将向你演示如何通过使用一些...

  • PHP中截取中文乱码解决办法

    如果ASCii码大于0xa0就是半个汉字;了解substr()、mb_substr()、ord()。 现在常用的编码格式是UTF8,G...

  • PHP 和 MySQL 基础教程

    MySQL 中的 SQL 对于 MySQL ,第一件你必须牢记的是它的每一行命令都是用分号 (;) 作为结束的,但...

  • php session 入门教程

    session,中文名称为会话,它是指一类用来在客户端和服务器间保持会话连接状态的解决方案,同时...

  • php preg_replace函数基础与实例代码

    preg_replace(mixed $pattern,mixed $replacement,mixed $subject [, int $limit = -1 [, int $count ]])主题为匹配搜索模式...