7

每 15 分钟我都会看到这个日志条目:

2018-07-30 10:29:57,529 信息 [pool-1-thread-2] NoSpamLogger.java:91 日志达到最大内存使用量 (512.000MiB),无法分配 1.000MiB 的块

我一直在阅读这个问题,但我看不出我的表有什么问题: NoSpamLogger.java 达到 Cassandra 的最大内存使用量

我有 4 张大桌子:

iot_data/derived_device_data histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00              0.00              0.00               642                12
75%             0.00              0.00              0.00             17084               642
95%             0.00              0.00              0.00            263210             11864
98%             0.00              0.00              0.00           1629722             61214
99%             0.00              0.00              0.00           1955666             88148
Min             0.00              0.00              0.00               150                 0
Max             0.00              0.00              0.00           4055269            152321


iot_data/derived_device_data_by_year histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00              0.00              0.00             51012              1597
75%             0.00              0.00              0.00           2346799             61214
95%             0.00              0.00              0.00          52066354           1629722
98%             0.00              0.00              0.00          52066354           1629722
99%             0.00              0.00              0.00          52066354           1629722
Min             0.00              0.00              0.00              6867               216
Max             0.00              0.00              0.00          52066354           1629722

iot_data/device_data histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00             29.52              0.00              2299               149
75%             0.00             42.51              0.00            182785              9887
95%             0.00             61.21              0.00           2816159            152321
98%             0.00             61.21              0.00           4055269            219342
99%             0.00             61.21              0.00          17436917           1131752
Min             0.00             17.09              0.00                43                 0
Max             0.00             61.21              0.00          74975550           4866323

iot_data/device_data_by_week_sensor histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00             35.43              0.00              8239               446
75%             0.00             51.01              0.00            152321              8239
95%             0.00             61.21              0.00           2816159            152321
98%             0.00             61.21              0.00           4055269            219342
99%             0.00             61.21              0.00          12108970            785939
Min             0.00             20.50              0.00                43                 0
Max             0.00             61.21              0.00          74975550           4866323

尽管我知道 derived_device_data //derived_device_data_by_year 表需要一些重构,但它们都没有接近 100MB 标记。为什么我会收到此日志条目?

编辑:我注意到我的测试系统上有相同的日志条目,它们几乎在没有数据的情况下运行,但与 prod 具有相同的配置。12GB 内存,卡桑德拉 3.11.2

4

2 回答 2

3

您可能需要检查vm.max_map_count交换的值和设置。如果启用了交换,则可能会影响两个系统的性能。的默认值vm.max_map_count也可能太低,并影响 Cassandra 和 Elasticsearch(请参阅ES 建议)。

此外,您可能需要为 Cassandra 显式设置堆大小,并且file_cache_size_in_mb- 对于 12Gb RAM,Cassandra 将使用 3Gb 的 1/4,并且file_cache_size_in_mb将是 ~750Mb(堆的 1/4) - 这可能太低了。

PS 因为它被记录为INFO,所以它被认为是无害的。请参阅https://issues.apache.org/jira/browse/CASSANDRA-12221https://issues.apache.org/jira/browse/CASSANDRA-11681

于 2018-08-20T08:27:11.497 回答
0

不确定这个具体问题,但可以尝试检查jvm.optionsCassandra 配置目录中的文件。您可能想要增加 Xmx 或其他设置。

于 2018-08-20T05:58:08.753 回答