2

我刚刚更新到 AFNetworking 2.0，我正在重写我的代码以下载数据并将其插入核心数据。

我下载 JSON 数据文件（10-200mb 文件），将它们写入磁盘，然后将它们传递给后台线程以处理数据。下面是下载 JSON 并将其写入磁盘的代码。如果我只是让它运行（甚至不处理数据），应用程序会耗尽内存直到它被杀死。

我假设当数据进入时，它被存储在内存中，但是一旦我保存到磁盘，为什么它会留在内存中？自动释放池不应该处理这个吗？我还将 responseData 和 downloadData 设置为 nil。我在这里做错了什么明显的事情吗？

@autoreleasepool
{
    for(int i = 1; i <= totalPages; i++)
    {
        NSString *path = ....
        NSURLRequest *request = [NSURLRequest requestWithURL:[NSURL URLWithString:path]];
        AFHTTPRequestOperation *op = [[AFHTTPRequestOperation alloc] initWithRequest:request];
        op.responseSerializer =[AFJSONResponseSerializer serializer];

        [op setCompletionBlockWithSuccess:^(AFHTTPRequestOperation *operation, id responseObject) 
        {
            //convert dictionary to data 
            NSData *downloadData = [NSKeyedArchiver archivedDataWithRootObject:responseObject];

            //save to disk
            NSError *saveError = nil;
            if (![fileManager fileExistsAtPath:targetPath isDirectory:false])
            {
                [downloadData writeToFile:targetPath options:NSDataWritingAtomic error:&saveError];
                if (saveError != nil) 
                {
                    NSLog(@"Download save failed! Error: %@", [saveError description]);
                }
            }

            responseObject = nil;
            downloadData = nil;

        } failure:^(AFHTTPRequestOperation *operation, NSError *error) {
            DLog(@"Error: %@", error);
        }];
    }
    [mutableOperations addObject:op];
}

NSArray *operations = [AFURLConnectionOperation batchOfRequestOperations:mutableOperations progressBlock:^(NSUInteger numberOfFinishedOperations, NSUInteger totalNumberOfOperations) {
    DLog(@"%lu of %lu complete", (unsigned long)numberOfFinishedOperations, (unsigned long)totalNumberOfOperations);
} completionBlock:^(NSArray *operations) {
    DLog(@"All operations in batch complete");
}];

mutableOperations = nil;
[manager.operationQueue addOperations:operations waitUntilFinished:NO];

谢谢！

编辑#1@autoreleasepool在我的完整块中添加一个似乎会减慢内存使用速度，但它仍然会累积并最终导致应用程序崩溃。

4

1 回答 1

3

如果您的 JSON 文件真的是每个 10-200mb，这肯定会导致内存问题，因为这种请求会将响应加载到内存中（而不是将它们流式传输到持久存储）。更糟糕的是，因为你使用 JSON，我认为问题是两倍，因为你将把它加载到字典/数组中，这也会占用内存。所以，如果你有四个 100mb 的下载，你的峰值内存使用量可能是 800mb 的数量级（100mbNSData加上 ~100mb 的数组/字典（可能更大），乘以四个并发请求） . 您可能会很快耗尽内存。

所以，有几个反应：

  1. 在处理如此大量的数据时，您需要使用流接口（一个NSURLConnection或NSURLSessionDataTask您在数据进入时写入数据的位置，而不是将其保存在内存中；或使用NSURLSessionDownloadTask为您执行此操作的），一个写入数据直接存储到持久存储中（而不是在下载时尝试将其保存NSData在 RAM 中）。

    如果你使用NSURLSessionDownloadTask，这真的很简单。如果您需要支持 7.0 之前的 iOS 版本，我不确定 AFNetworking 是否支持将响应直接流式传输到持久存储。我敢打赌您可以编写自己的响应序列化程序来做到这一点，但我还没有尝试过。我总是编写自己的NSURLConnectionDataDelegate方法，直接下载到持久存储（例如，像这样的东西）。

  2. 您可能不想为此使用 JSON（因为NSJSONSerialization会将整个资源加载到内存中，然后将其解析为NSArray/ NSDictionary，也在内存中），而是使用适合流式解析响应的格式（例如 XML）并编写一个解析器，在解析数据时将数据存储到您的数据存储（Core Data 或 SQLite），而不是尝试将整个内容加载到 RAM 中。

    请注意，甚至NSXMLParser令人惊讶的是内存效率低下（请参阅此问题）。在XMLPerformance示例中，Apple 演示了如何使用更繁琐的LibXML2来最小化 XML 解析器的内存占用。

  3. 顺便说一句，我不知道您的 JSON 是否包含您已编码的任何二进制数据（例如 base 64 等），但如果是这样，您可能需要考虑一种不必这样做的二进制传输格式转换。使用 base-64 或 uuencode 或任何可以增加带宽和内存要求的方法。（如果您不处理已编码的二进制数据，请忽略这一点。）

  4. 顺便说一句，您可能希望使用 Reachability 来确认用户的连接类型（Wifi 与蜂窝），因为通过蜂窝下载这么多数据被认为是不好的形式（至少在未经用户许可的情况下），不仅仅是因为速度问题，而且还有用尽运营商每月数据计划的过多部分的风险。我什至听说苹果历来拒绝尝试通过蜂窝网络下载过多数据的应用程序。

于 2014-03-06T19:23:49.073 回答