2

perf_event_open在我需要同时监控多个的基础上进行自定义实现PERF_TYPE_HW_CACHE。

英特尔手册指出，对于我的 CPU 架构，每个线程有 4 个可编程计数器（如果禁用超线程，则为 8 个）。因此，我将选择的事件分组为 1 个包含4 个事件 ( )PERF_TYPE_HW_CACHE的 perf 事件组。PERF_TYPE_HW_CACHELLC_GROUP

我进行了第一个实验，得到了以下结果：

LLC_GROUP of thread 2 | time Enabled: 3190370379, time Running: 3017
HW_CACHE_LLC_READ_MISSES = 0
HW_CACHE_LLC_WRITE_MISSES = 0
HW_CACHE_LLC_READS = 0
HW_CACHE_LLC_WRITES = 0

从上面的结果可以清楚地看出，PMU 并不“适合”所有 4 个事件。我们还观察到没有实际结果的“奇怪”多路复用。

因此，作为下一步，我将 4 事件组分成 2 组，每组 2 个事件/组 ( LLC_GROUP, LLC2_GROUP)，我得到的结果如下：

LLC_GROUP of thread 2 | time Enabled: 2772569406, time Running: 1396022331
HW_CACHE_LLC_READ_MISSES = 102117
HW_CACHE_LLC_WRITE_MISSES = 9624295
LLC2_GROUP of thread 2 | time Enabled: 2772571024, time Running: 1376575096
HW_CACHE_LLC_READS = 22020658
HW_CACHE_LLC_WRITES = 18156060

使用这种配置，我们再次观察到 PMU 不能PERF_TYPE_HW_CACHE同时“适应”4，但这次（预期的）多路复用正在发生。

有人有什么解释吗？

这种行为对我来说看起来很奇怪，因为我能够在PERF_TYPE_HARDWARE没有多路复用的情况下监控多个事件（最多 6 个），而且我希望这些PERF_TYPE_HW_CACHE事件也会发生同样的情况。

4

1 回答 1

2

请注意，perf确实允许同时测量超过 2 个 PERF_TYPE_HW_CACHE 事件，但LLC-cache事件测量除外。

期望是，当有 4 个通用和 3 个固定用途的硬件计数器时，RAWperf 中的 4 个 HW 缓存事件（默认为 events）可以在不复用的情况下测量，超线程 ON。

sudo perf stat -e L1-icache-load-misses,L1-dcache-stores,L1-dcache-load-misses,dTLB-load-misses sleep 2

 Performance counter stats for 'sleep 2':

            26,893      L1-icache-load-misses                                       
            98,999      L1-dcache-stores                                            
            14,037      L1-dcache-load-misses                                       
               723      dTLB-load-misses                                            

       2.001732771 seconds time elapsed

       0.001217000 seconds user
       0.000000000 seconds sys

当您尝试测量针对LLC-cache. 它似乎只同时测量 2 个LLC-cache特定事件，没有多路复用。

sudo perf stat -e LLC-load-misses,LLC-stores,LLC-store-misses,LLC-loads sleep 2

 Performance counter stats for 'sleep 2':

             2,419      LLC-load-misses           #    0.00% of all LL-cache hits   
             2,963      LLC-stores                                                  
     <not counted>      LLC-store-misses                                              (0.00%)
     <not counted>      LLC-loads                                                     (0.00%)

       2.001486710 seconds time elapsed

       0.001137000 seconds user
       0.000000000 seconds sys

属于skylake/kaby lake微体系结构家族和其他一些的 CPU 允许您测量OFFCORE RESPONSE事件。监视OFFCORE_RESPONSE事件需要对额外的 MSR 进行编程，特别是MSR_OFFCORE_RSP0（MSR 地址 1A6H）和MSR_OFFCORE_RSP1（MSR 地址 1A7H），此外还需要对IA32_PERFEVTSELx和IA32_PMCx寄存器进行编程。

每对IA32_PERFEVTSELx和IA32_PMCx寄存器将与上述 MSR 之一相关联，以测量 LLC 缓存事件。

MSR的定义OFFCORE_RESPONSE可以在这里看到。

static struct extra_reg intel_skl_extra_regs[] __read_mostly = {
    INTEL_UEVENT_EXTRA_REG(0x01b7, MSR_OFFCORE_RSP_0, 0x3fffff8fffull, RSP_0),
    INTEL_UEVENT_EXTRA_REG(0x01bb, MSR_OFFCORE_RSP_1, 0x3fffff8fffull, RSP_1),
    ........
}

0x01b7在INTEL_UEVENT_EXTRA_REG调用中指的是 event-codeb7和 umask 01。此事件代码0x01b7映射到 LLC 缓存事件，如下所示-

[ C(LL  ) ] = {
    [ C(OP_READ) ] = {
        [ C(RESULT_ACCESS) ] = 0x1b7,   /* OFFCORE_RESPONSE */
        [ C(RESULT_MISS)   ] = 0x1b7,   /* OFFCORE_RESPONSE */
    },
    [ C(OP_WRITE) ] = {
        [ C(RESULT_ACCESS) ] = 0x1b7,   /* OFFCORE_RESPONSE */
        [ C(RESULT_MISS)   ] = 0x1b7,   /* OFFCORE_RESPONSE */
    },
    [ C(OP_PREFETCH) ] = {
        [ C(RESULT_ACCESS) ] = 0x0,
        [ C(RESULT_MISS)   ] = 0x0,
    },
 },

该事件0x01b7将始终映射到MSR_OFFCORE_RSP_0，如这里所示。上面指定的函数循环遍历所有“额外寄存器”的数组，并将 event->config（包含原始事件 id）与核心响应 MSR 相关联。

因此，这意味着一次只能测量一个事件，因为只有一个 MSR -MSR_OFFCORE_RSP_0可以映射到一个LLC-cache事件。但事实并非如此！

核心外寄存器本质上是对称的，因此当第一个 MSR -MSR_OFFCORE_RSP_0寄存器忙时，perf使用第二个替代 MSRMSR_OFFCORE_RSP_1来测量另一个核心外 LLC 事件。此处的此功能有助于做到这一点。

static int intel_alt_er(int idx, u64 config)
{
    int alt_idx = idx;

    if (!(x86_pmu.flags & PMU_FL_HAS_RSP_1))
        return idx;

    if (idx == EXTRA_REG_RSP_0)
        alt_idx = EXTRA_REG_RSP_1;

    if (idx == EXTRA_REG_RSP_1)
        alt_idx = EXTRA_REG_RSP_0;

    if (config & ~x86_pmu.extra_regs[alt_idx].valid_mask)
        return idx;

    return alt_idx;
}

对于微架构系列，仅存在 2 个内核外寄存器Kaby-Lake阻碍了在没有任何多路复用的情况下同时针对超过 2 个 LLC 缓存事件测量的能力。

于 2020-05-24T12:10:05.540 回答