0

简短的问题：

为什么在 Java 中计算 5 MB 文件的 md5-sum 在树莓派上需要 84 秒，而 Mac 只需要 25 毫秒？

整个问题：

我需要编写一个 Java 程序，它计算一堆文件的 md5 或 sha-sum，这些文件的大小合计约为 50 GB。

为此，我编写了一个简单的 Java 程序，它计算单个 5 MB 文件的校验和。这是Java程序：

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.Arrays;

public class Main {

    public static final int BLOCKSIZE = 8*1024;

    public static void main(String[] args) throws FileNotFoundException, NoSuchAlgorithmException{
        String path = Main.class.getResource("file5M.img").getPath();
        File file = new File(path);
        FileInputStream fin = new FileInputStream(file);
        MessageDigest messageDigest = MessageDigest.getInstance("MD5");

        long fileSize = file.length();
        int length;
        long alreadyRead = 0;
        long startTime = System.currentTimeMillis();
        byte[] bytes = new byte[BLOCKSIZE];
        try {
            while (true) {
                int maxToRead = (int) (fileSize - alreadyRead < BLOCKSIZE ? fileSize - alreadyRead : BLOCKSIZE);

                if ((length = fin.read(bytes, 0, maxToRead)) < 0) break;
                messageDigest.update(bytes, 0, length);
                if ((alreadyRead += length) >= fileSize) break;
            }
        } catch (IOException ex){
            ex.printStackTrace();
        }
        byte[] md5 = messageDigest.digest();
        long stopTime = System.currentTimeMillis();
        long elapsedTime = stopTime - startTime;
        System.out.println("Time:\t" + elapsedTime + "\tRead:\t" + alreadyRead/1024/1024);
        System.out.println("MD5: " + Arrays.toString(md5));
    }
}

为了创建一个随机文件映像，我使用了这个 Linux 命令：

dd if=/dev/urandom of=file5M.txt bs=1M count=5

在不同的设备上执行程序，会导致混乱的结果：

 <table style="width:100%">
  <tr>
    <th>Time in ms</th>
    <th>Computer</th>
    <th>CPU</th>
    <th>RAM</th>
    <th>Harddrive</th>
    <th>Operating-System</th>
  </tr>
  <tr>
    <td>24</td>
    <td>MacBook Pro (13-inch, 2016)</td>
    <td>3.3 GHz Intel Core i7</td>
    <td>8 GB 2133 MHz LPDDR3</td>
    <td>APPLE SSD AP1024J</td>
    <td>MacOs Sierra</td>
  </tr>
  <tr>
    <td>45000</td>
    <td>Raspberry Pi Modell B</td>
    <td>0.7 GHz ARMv6 (32-bit)</td>
    <td>256 MB</td>
    <td>PRO microSD Card (SD Adapter)</td>
    <td>Arch Linux</td>
  </tr>
  <tr>
    <td>7600</td>
    <td>Odroid XU4</td>
    <td>Exynos5 Octa Cortex™-A15 1.6Ghz quad core and Cortex™-A7 quad core CPUs</td>
    <td>2Gbyte LPDDR3 RAM PoP</td>
    <td>Samsung PRO microSD Card (SD Adapter)</td>
    <td>Arch Linux for Odroid-XU3</td>
  </tr>
  <tr>
    <td>300</td>
    <td>VirtualBox on MacBook Pro</td>
    <td>1 Core with 0.7GHz (21% of MacCPU) no PAE/NX, no acceleration</td>
    <td>256MB of MacRAM PIIX3 with APIC</td>
    <td>Dynamic Allocated 8GB (VDI)</td>
    <td>Arch Linux 64-Bit</td>
  </tr>
</table>

那么为什么程序在 MacBook 上的执行速度如此之快，即使我限制了 VirtualBox 中的 CPU 和 RAM？

瓶颈可能在哪里？

我需要做什么才能让程序在 Odroid-XU4 上以大约 300 毫秒的时间执行？

评论：

我不认为它是 microSD 的 I/O，因为它非常快地读取整个文件而无需计算 md5sum。

将 odroid 上的 cpu 频率从 2Ghz 更改为 500MHz，将计算时间从 7 秒增加到 24 秒。

4

1 回答 1

1

Raspberry Pi 的 RAM 频率比 MacBook 低得多。这可能就是为什么它甚至在 VirtualBox 中运行得更快的原因。因为当你读取一个文件时，它会被存储在 RAM 中，即使它非常快，你每次读取文件并用 MD5 算法求和时都有 I/O 访问。

此外，如果您想提高性能，我建议您在程序中使用线程（在线程之间调度文件）。请注意，如果您的虚拟机上只有一个内核，则线程是无用的。

于 2017-04-16T15:32:08.563 回答