3

在 Mac 上使用 MAMP v2.0 _ _ Apache/2.0.64 (Unix) -- PHP/5.3.5 -- DAV/2 mod_ssl/2.0.64 -- OpenSSL/0.9.7l -- MySQL 5.5.9

我有一个我正在尝试运行的脚本,它似乎给我带来了严重的内存泄漏,我试图调试它并且无法解决如何修复。

基本上,该脚本是文件管理器模块的一部分。它在给定 ID 时处理文件的下载。

整个文件以 64kb 块(每条记录)的 BLOB 形式存储在数据库表中,并根据请求流式传输到客户端。

数据库:file_management

表:file_details、file_data

file_details :
FileID - int(10) AUTO_INCREMENT
FileTypeID - int(10)
FileType - varchar(60)
FileName - varchar(255)
FileDescription - varchar(255)
FileSize - bigint(20)
FileUploadDate - datetime
FileUploadBy - int(5)

file_details
FileDataID - int(10) AUTO_INCREMENT
FileID - int(10)
FileData - BLOB

我实际得到的错误是这个(来自 php 错误日志):

[2011 年 10 月 31 日 09:47:39] PHP 致命错误:第 150 行 /root/htdocs/file_manager/file_manager_download.php 中允许的内存大小为 134217728 字节已用尽(尝试分配 63326173 字节)

现在,如果文件足够小,则下载的实际功能有效,在这种情况下,小于 40mb,但是一旦超过了,就像上面错误中的 60mb 文件一样,它就会失败。它所做的只是下载一个 0kb 的文件。

显然,134217728 字节大于 63326173 字节(128mb vs 60mb)。

允许的内存大小 134217728 字节是 php.ini 中的指令:“memory_limit = 128M ; 脚本可能消耗的最大内存量”

如果我将其设置为 256M,它允许我下载 60mb 的文件,以及最多大约 80mb 的文件。

此外,如果我将其设置为 1024M,它允许我下载 260mb 甚至更大的文件。

因此,您可以看到问题是脚本中某处的泄漏正在耗尽所有内存。

这是下载脚本:



    ini_set('display_errors',1);
error_reporting(E_ALL & ~E_NOTICE);

$strDB=mysql_connect("localhost","username","password")or die ("Error connecting to mysql.. Error: (" . mysql_errno() . ") " . mysql_error());
$database=mysql_select_db("file_management",$strDB);

if (isset($_GET["id"])) {

    // List of nodes representing each 64kb chunk
    $nodelist = array();

    // Pull file meta-data
    $sql_GetFileDetails = "
    SELECT 
    FileID,
    FileTypeID,
    FileType,
    FileName,
    FileDescription,
    FileSize,
    FileUploadDate,
    FileUploadBy
    FROM file_details WHERE FileID = '".$_GET["id"]."';";

    $result_GetFileDetails = mysql_query($sql_GetFileDetails) or die ("No results for this FileID.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error()); if (mysql_num_rows($result_GetFileDetails) != 1) { die ("A MySQL error has occurred.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error()); } // Set the file object to get details from $FileDetailsArray = mysql_fetch_assoc($result_GetFileDetails); // Pull the list of file inodes $sql_GetFileDataNodeIDs = "SELECT FileDataID FROM file_data WHERE FileID = ".$_GET["id"]." order by FileDataID"; if (!$result_GetFileDataNodeIDs = mysql_query($sql_GetFileDataNodeIDs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataNodeIDs . "
Error: (" . mysql_errno() . ") " . mysql_error()); } while ($row_GetFileDataNodeIDs = mysql_fetch_assoc($result_GetFileDataNodeIDs)) { $nodelist[] = $row_GetFileDataNodeIDs["FileDataID"]; } $FileExtension = explode(".",$FileDetailsArray["FileName"]); $FileExtension = strtolower($FileExtension[1]); // Determine Content Type switch ($FileExtension) { case "mp3": $ctype="audio/mp3"; break; case "wav": $ctype="audio/wav"; break; case "pdf": $ctype="application/pdf"; break; //case "exe": $ctype="application/octet-stream"; break; case "zip": $ctype="application/zip"; break; case "doc": $ctype="application/msword"; break; case "xls": $ctype="application/vnd.ms-excel"; break; case "ppt": $ctype="application/vnd.ms-powerpoint"; break; case "gif": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "png": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "jpeg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "jpg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. default: $ctype="application/force-download"; // This forces download, instead of viewing in browser. } // Send down the header to the client header("Date: ".gmdate("D, j M Y H:i:s e", time())); header("Cache-Control: max-age=2592000"); //header("Last-Modified: ".gmdate("D, j M Y H:i:s e", $info['mtime'])); //header("Etag: ".sprintf("\"%x-%x-%x\"", $info['ino'], $info['size'], $info['mtime'])); header("Accept-Ranges: bytes"); //header("Cache-Control: Expires ".gmdate("D, j M Y H:i:s e", $info['mtime']+2592000)); header("Pragma: public"); // required header("Expires: 0"); header("Cache-Control: must-revalidate, post-check=0, pre-check=0"); header("Cache-Control: private",false); // required for certain browsers header("Content-Description: File Transfer"); header("Content-Disposition: attachment; filename=\"".$FileDetailsArray["FileName"]."\""); header("Content-Transfer-Encoding: binary"); header("Content-Type: ".$FileDetailsArray["FileSize"]); ob_end_clean(); ob_start(); ob_start("ob_gzhandler"); $sql_GetFileDataBlobs = "SELECT FileData FROM file_data WHERE FileID = ".$_GET["id"]." ORDER BY FileDataID ASC;"; if (!$result_GetFileDataBlobs = mysql_query($sql_GetFileDataBlobs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataBlobs . "
Error: (" . mysql_errno() . ") " . mysql_error()); } while ($row_GetFileDataBlobs = mysql_fetch_array($result_GetFileDataBlobs)) { echo $row_GetFileDataBlobs["FileData"]; } ob_end_flush(); header('Content-Length: '.ob_get_length()); ob_end_flush(); }

我使用了 Xdebug 并输出了峰值内存使用的结果,但似乎没有任何东西接近限制,总的峰值内存使用量大约是页面的 900kb。

所以我认为它将文件块聚合到内存中并且不让它们离开,或者类似的东西,但是文件块是唯一会达到那个内存量的东西,导致脚本失败。

我可以提供将文件上传到数据库的脚本,因此您可以根据需要测试我的脚本,请告诉我

为任何帮助干杯!

米克


* ///////// 解决了 ///////// *

我只想对 hafichuk 表示感谢,得到了很好的回应并解决了我的整个问题。

问题有两个方面。

1 - 我没有在 while 循环中使用 ob_flush() 。我添加了它,它似乎释放了很多内存,可以进行更大的下载,但不是无限的。

例如,如果 memory_limit = 128M,我现在可以下载超过 40mb,实际上我现在可以下载到大约 200mb。但这又是它失败的地方。第一个内存问题问题解决了。

第 1 课:冲洗你的物体!

2 - 我正在使用 mysql_query 来检索我的 SQL 查询的结果。问题是它缓冲了这些结果,这增加了我的内存限制问题。

我最终改用了 mysql_unbuffered_query ,现在它可以完美地工作了。

然而,这确实有一些限制,它会在读取结果时锁定您的表。

第 2 课:如果不需要,不要缓冲 mysql 结果!(在程序限制内)

最后一课:

所有这些修复程序都有效,但是,它需要进行更多测试以确保它们的组合没有问题。

另外,我学到了更多关于对象和 php 内存分配的知识,我只是希望有一种比 xdebug 提供的更好的可视化调试过程的方法。如果有人对 xdebug 如何真正阐明这个过程有任何想法,请在评论中告诉我。

希望这对将来的其他人有所帮助。

干杯

米克

4

1 回答 1

1

你应该只需要在你的while循环中做一个“ob_flush()”。这将清除页面的缓冲区。需要删除列出内容长度的最后一个标头,因为在数据开始后您无法发送标头。这不应该是下载文件的问题,只需更新下载进度表。

于 2011-10-31T01:56:28.240 回答