0

我正在尝试使用 Java 和 Windows 操作系统实现集群计算系统。我正在寻找一个解决方案

  1. 并不过时
  2. 相当容易安装和设置
  3. 有足够的文档可以在没有 MPI 知识的情况下开始使用类和方法
  4. 至少有点用户友好

这可能是不可能的，但如果它在使用上有点接近 Java Concurrent 框架，那就太好了。

我最初了解了一些关于 Java Concurrent 包的知识，并且很容易学会在我的本地 8 核机器上使用 Runnable 接口和 ExecutorService 编写并行程序，从而使我的所有类在此过程中都是线程安全的。但是，我还没有找到一种标准机制来将此编程框架扩展到集群。

然后我了解到了一个名为 Java-Interop-Library ( https://github.com/MicrosoftHPC/Java-Interop-Library ) 的 GitHub 项目，它可以与 Microsoft HPC Pack 一起使用。我通过 Amazon EC2 将几台云计算机联网并安装了 HPC Pack。Java-Interop-Library 是编译和设置的噩梦。我不得不手动编辑几个批处理文件，甚至一些 Java 代码来编译它。当我大部分工作（但不是全部）时，我刚刚开始认为必须有一种更简单的方法，然后我再次开始搜索。

我的新搜索将我引向 MPJ-Express ( http://mpj-express.org )。我通读了网站上的文档，似乎很容易设置。他们甚至有关于如何将其与 Eclipse 集成和调试的文档。但是，我永远找不到关于如何实际使用类和方法的任何文档（有一个简单的 hello world 示例，但还不够接近）。

更多搜索使我找到了 MPIJava、Hadoop 和 GridGain。由于没有使用 MPI 或 MPJ 的经验，并且知道 MPJ 是从 MPIJava 发展而来的，因此我开始尝试寻找相关文档。我找到了一些文档，但其中一些已经很老了，我不确定我是否走在正确的轨道上。我在另一个 StackOverflow 帖子上看到了 GridGain 的提及，并访问了他们的网站。他们似乎有一个集群计算框架，一个简单的发布示例甚至使用了似乎是使用 Runnable 对象的类，这对我来说似乎很有吸引力，因为我有一些 Java Concurrent 框架的经验。我对Hadoop一无所知，除了它可能是一种可能性。

我真的只需要一些更好的方向来完成 Java 中的集群计算的最佳方式。我觉得我只是在旋转我的轮子。

4

1 回答 1

3

您可以使用 MPJ Express，我假设您已经尝试过并且环境设置已完成。MPJ Express 可以在多核模式和集群模式下执行并行 Java 应用程序。必须提到的是，相同的应用程序无需任何修改即可在两种模式下工作，因此您可以选择在多核模式下开发和测试您的应用程序，完成后它也可以无缝运行集群模式。虽然不太清楚您最终要开发什么，但就其 Java 文档而言，您可以在此处找到它们：http: //mpj-express.org/docs/javadocs/index.html。这些是开发任何并行 Java 应用程序所需的所有类和方法。

使用 MPJ Express 学习集群编程非常容易，因为您可以访问一组全面的工作示例。为此，解压缩 MPJ Express 并浏览测试目录。它包含多个测试用例和并行 Java 应用程序的工作示例。您可以分别在 mpj-v0_xx/test/mpi/pt2pt 和 mpj-v0_xx/test/mpi/ccl 中获得点对点和集体通信的示例。只需使用点对点和集体通信方法，您就可以开发任何基本的并行应用程序。它将让您在学习使用 Java 的集群编程方面取得领先。

如果您在集群上设置 MPJ Express 或执行测试目录中提供的示例时遇到任何问题，请告诉我。您还可以在以下页面上的 MPJ Express 邮件列表中发布您的查询：http: //sourceforge.net/p/mpjexpress/mailman/ ?source=navbar

于 2014-06-13T07:42:30.697 回答