I have 5 leaf nodes with each node having setting

I am trying to load 100GB data of TPCH but not able to do so. LineItem Table loading is failed. Its count is 0.

Below is the picture of status table of memsql ops. It varies between 90GB and 108GB for leaf Table memory

When I tried to load LINEItem table again whose size is 74GB, status tab shows memsql is consuming all available memory

So even after setting more that double amount of memory (200GB), Memsql is still not able to load 100GB data. What is wrong here? Looks like I am missing on some obvious parameters.Please guide me for correct settings.

我按照下载页面上的视频说明安装了 MemSQL。在安装过程中，它告诉我端口 3306 无法与 Master Aggregator 一起使用，因此将其更改为 4000。我可以通过 MySQL Workbench 连接到它。

我尝试创建一个数据库：

它返回一个错误：Error Code: 1748. You must add at least one leaf to the system to run CREATE DATABASE。好的，所以我进入 Web UI，我看到没有一个节点（端口 4000 上的主聚合器或端口 3307 上的叶节点）正在运行。

我试过ATTACH LEAF '10.82.60.43':3307了，但它回来了Error Code: 1802. Leaf '10.82.60.43':3307 is currently 'offline' and cannot be attached back into the cluster until it is reachable and in the 'detached' state.

那么我可以解决这个问题并让master和leaf在线并且可以访问吗？

我试图使用​​更改我的管理员密码

memsql-ops memsql-update-root-password -p <password>

但我得到这个错误

J543a0b [错误] 无法对密码进行反混淆 ​</p>

有什么我做错了吗？

我的用例如下：我们正在使用 Spark 从 HDFS 读取和转换数据。转换后的数据应该保存在 memsql 中。

是否有使用 Spark 写入 memsql 的最佳实践？即，在使用 Dataframe 进行大规模（并行）写入时，确保写入性能和可扩展性的最佳方法是什么？

首选解决方案是什么：使用 memsql/Spark 连接器 ( https://github.com/memsql/memsql-spark-connector ) 或 DataFrame 的“写入”方法（结合 MySQL JDBC 驱动程序）。

长话短说：Spark 如何扩展对 memsql 的写入？

我有一个应用程序需要从 MemSQL 读取数据并加载到 DataFrames。我正在使用 memsql-spark-connector 来连接该通信。但是，不幸的是，我被困在我试图连接到我的 memSQL 主节点的地方。我连接到 memsql 主节点的方式有什么问题？实际上，我尝试在我的本地机器上使用 mySQL 客户端登录到 memsql 主节点并且它工作正常。所以我猜这个问题与服务器端无关。

这是我的异常的堆栈跟踪：

下面代码片段的最后一行是引发此异常的地方：

我的主节点上的memsql.cnf配置文件如下所示：

首先，请原谅我糟糕的英语。

我的测试环境：

• [centos 6.5 16G 内存] * 2
• MemSQL 社区：MemSQL Ops Server 版本：4.1.10 和 MemSQL 版本：4.1.2
• 我的集群图片
• 叶节点，上图
  

是的，只有一位大师和一叶。我在叶子节点上设置了 maximum_memory = 10G。

问题来了：表数据只用了334M内存，叶子节点却用了13.34G内存。这是为什么？

顺便说一句，我的使用场景就像“速度测试”，批量插入和批量删除。

非常感谢！

内存sql

我有一个单节点 MemSql 集群：

• 内存：16GM
• 核心：4
• Ubuntu 14.04

我已经在这个 Memsql 上部署了 Spark 用于 ETL。

我无法在 Memsql 上配置 spark。

1. 如何为 Spark Work 目录设置轮换策略：/var/lib/memsql-ops/data/spark/install/work/

2. 如何更改路径？

3. 应该设置多大spark.executor.memory才能避免 OutOfMemoryExceptions？

如何为已部署在 Memsql 集群上的 Spark 设置不同的配置设置？

我们有一个在 Memsql 下运行的 Spark 集群，我们有不同的 Pipelines 运行，ETL 设置如下。

1. 提取：- Spark 从 Kafka 集群读取消息（使用 Memsql Kafka-Zookeeper）
2. 转换：- 我们为此步骤部署了一个自定义 jar
3. 加载：- 来自 Transform 阶段的数据加载到列存储中

我有以下疑问：

如果作业在转换阶段失败，从 Kafka 轮询的消息会发生什么 - Memsql 是否负责再次加载该消息 - 或者数据丢失

如果数据丢失，我该如何解决这个问题，是否需要为此进行任何配置更改？

我已经使用http://cloud.memsql.com成功地将 MemSQL 集群部署到 EC2，如下所述：http: //docs.memsql.com/4.0/setup/setup_cloud/。

我可以通过 SSH 连接到主聚合器，并在本地成功登录到 MemSQL 提示符。但是，我无法使用 MySQL 客户端应用程序进行远程连接。

我已经仔细检查了端口 3306 是否打开，并且仅用于测试已将所有权限应用于 root：

该文档指出：

集群启动并运行后，使用任何有效的 MySQL 客户端驱动程序连接到主聚合器。

任何人都可以就我错过的步骤提供建议吗？

--

更新 1 - MemSQL 端口的源范围是开放的：

更新 2 - ufw 已被禁用以进行测试。

我们目前正在评估 memsql 并有两个设置。一个在 CentOS 6.7 上运行，一个在 CentOS 7.1 上运行。

在使用 CentOS 7.1 时，系统重新启动后，主服务器已启动所有服务，但 CentOS 6.7 变体没有，并显示聚合器处于脱机状态。我们不得不在 Single server Cluster 上运行memsql-ops cluster-start在MemSql 叶子中找到的。我们想知道这是否与机器上的 init.d/systemctl 差异有关。任何回复表示赞赏！

干杯，μatthias