在 Mac 上使用 MAMP v2.0 _ _ Apache/2.0.64 (Unix) -- PHP/5.3.5 -- DAV/2 mod_ssl/2.0.64 -- OpenSSL/0.9.7l -- MySQL 5.5.9
我有一个我正在尝试运行的脚本,它似乎给我带来了严重的内存泄漏,我试图调试它并且无法解决如何修复。
基本上,该脚本是文件管理器模块的一部分。它在给定 ID 时处理文件的下载。
整个文件以 64kb 块(每条记录)的 BLOB 形式存储在数据库表中,并根据请求流式传输到客户端。
数据库:file_management
表:file_details、file_data
file_details :
FileID - int(10) AUTO_INCREMENT
FileTypeID - int(10)
FileType - varchar(60)
FileName - varchar(255)
FileDescription - varchar(255)
FileSize - bigint(20)
FileUploadDate - datetime
FileUploadBy - int(5)
file_details:
FileDataID - int(10) AUTO_INCREMENT
FileID - int(10)
FileData - BLOB
我实际得到的错误是这个(来自 php 错误日志):
[2011 年 10 月 31 日 09:47:39] PHP 致命错误:第 150 行 /root/htdocs/file_manager/file_manager_download.php 中允许的内存大小为 134217728 字节已用尽(尝试分配 63326173 字节)
现在,如果文件足够小,则下载的实际功能有效,在这种情况下,小于 40mb,但是一旦超过了,就像上面错误中的 60mb 文件一样,它就会失败。它所做的只是下载一个 0kb 的文件。
显然,134217728 字节大于 63326173 字节(128mb vs 60mb)。
允许的内存大小 134217728 字节是 php.ini 中的指令:“memory_limit = 128M ; 脚本可能消耗的最大内存量”
如果我将其设置为 256M,它允许我下载 60mb 的文件,以及最多大约 80mb 的文件。
此外,如果我将其设置为 1024M,它允许我下载 260mb 甚至更大的文件。
因此,您可以看到问题是脚本中某处的泄漏正在耗尽所有内存。
这是下载脚本:
ini_set('display_errors',1);
error_reporting(E_ALL & ~E_NOTICE);
$strDB=mysql_connect("localhost","username","password")or die ("Error connecting to mysql.. Error: (" . mysql_errno() . ") " . mysql_error());
$database=mysql_select_db("file_management",$strDB);
if (isset($_GET["id"])) {
// List of nodes representing each 64kb chunk
$nodelist = array();
// Pull file meta-data
$sql_GetFileDetails = "
SELECT
FileID,
FileTypeID,
FileType,
FileName,
FileDescription,
FileSize,
FileUploadDate,
FileUploadBy
FROM file_details WHERE FileID = '".$_GET["id"]."';";
$result_GetFileDetails = mysql_query($sql_GetFileDetails) or die ("No results for this FileID.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error());
if (mysql_num_rows($result_GetFileDetails) != 1) { die ("A MySQL error has occurred.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error()); }
// Set the file object to get details from
$FileDetailsArray = mysql_fetch_assoc($result_GetFileDetails);
// Pull the list of file inodes
$sql_GetFileDataNodeIDs = "SELECT FileDataID FROM file_data WHERE FileID = ".$_GET["id"]." order by FileDataID";
if (!$result_GetFileDataNodeIDs = mysql_query($sql_GetFileDataNodeIDs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataNodeIDs . "
Error: (" . mysql_errno() . ") " . mysql_error()); }
while ($row_GetFileDataNodeIDs = mysql_fetch_assoc($result_GetFileDataNodeIDs)) {
$nodelist[] = $row_GetFileDataNodeIDs["FileDataID"];
}
$FileExtension = explode(".",$FileDetailsArray["FileName"]);
$FileExtension = strtolower($FileExtension[1]);
// Determine Content Type
switch ($FileExtension) {
case "mp3": $ctype="audio/mp3"; break;
case "wav": $ctype="audio/wav"; break;
case "pdf": $ctype="application/pdf"; break;
//case "exe": $ctype="application/octet-stream"; break;
case "zip": $ctype="application/zip"; break;
case "doc": $ctype="application/msword"; break;
case "xls": $ctype="application/vnd.ms-excel"; break;
case "ppt": $ctype="application/vnd.ms-powerpoint"; break;
case "gif": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
case "png": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
case "jpeg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
case "jpg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
default: $ctype="application/force-download"; // This forces download, instead of viewing in browser.
}
// Send down the header to the client
header("Date: ".gmdate("D, j M Y H:i:s e", time()));
header("Cache-Control: max-age=2592000");
//header("Last-Modified: ".gmdate("D, j M Y H:i:s e", $info['mtime']));
//header("Etag: ".sprintf("\"%x-%x-%x\"", $info['ino'], $info['size'], $info['mtime']));
header("Accept-Ranges: bytes");
//header("Cache-Control: Expires ".gmdate("D, j M Y H:i:s e", $info['mtime']+2592000));
header("Pragma: public"); // required
header("Expires: 0");
header("Cache-Control: must-revalidate, post-check=0, pre-check=0");
header("Cache-Control: private",false); // required for certain browsers
header("Content-Description: File Transfer");
header("Content-Disposition: attachment; filename=\"".$FileDetailsArray["FileName"]."\"");
header("Content-Transfer-Encoding: binary");
header("Content-Type: ".$FileDetailsArray["FileSize"]);
ob_end_clean();
ob_start();
ob_start("ob_gzhandler");
$sql_GetFileDataBlobs = "SELECT FileData FROM file_data WHERE FileID = ".$_GET["id"]." ORDER BY FileDataID ASC;";
if (!$result_GetFileDataBlobs = mysql_query($sql_GetFileDataBlobs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataBlobs . "
Error: (" . mysql_errno() . ") " . mysql_error()); }
while ($row_GetFileDataBlobs = mysql_fetch_array($result_GetFileDataBlobs)) {
echo $row_GetFileDataBlobs["FileData"];
}
ob_end_flush();
header('Content-Length: '.ob_get_length());
ob_end_flush();
}
我使用了 Xdebug 并输出了峰值内存使用的结果,但似乎没有任何东西接近限制,总的峰值内存使用量大约是页面的 900kb。
所以我认为它将文件块聚合到内存中并且不让它们离开,或者类似的东西,但是文件块是唯一会达到那个内存量的东西,导致脚本失败。
我可以提供将文件上传到数据库的脚本,因此您可以根据需要测试我的脚本,请告诉我
为任何帮助干杯!
米克
* ///////// 解决了 ///////// *
我只想对 hafichuk 表示感谢,得到了很好的回应并解决了我的整个问题。
问题有两个方面。
1 - 我没有在 while 循环中使用 ob_flush() 。我添加了它,它似乎释放了很多内存,可以进行更大的下载,但不是无限的。
例如,如果 memory_limit = 128M,我现在可以下载超过 40mb,实际上我现在可以下载到大约 200mb。但这又是它失败的地方。第一个内存问题问题解决了。
第 1 课:冲洗你的物体!
2 - 我正在使用 mysql_query 来检索我的 SQL 查询的结果。问题是它缓冲了这些结果,这增加了我的内存限制问题。
我最终改用了 mysql_unbuffered_query ,现在它可以完美地工作了。
然而,这确实有一些限制,它会在读取结果时锁定您的表。
第 2 课:如果不需要,不要缓冲 mysql 结果!(在程序限制内)
最后一课:
所有这些修复程序都有效,但是,它需要进行更多测试以确保它们的组合没有问题。
另外,我学到了更多关于对象和 php 内存分配的知识,我只是希望有一种比 xdebug 提供的更好的可视化调试过程的方法。如果有人对 xdebug 如何真正阐明这个过程有任何想法,请在评论中告诉我。
希望这对将来的其他人有所帮助。
干杯
米克