问题标签 [cloudera]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
database - HBase 错误 - 分配 -ROOT- 失败
我刚刚从 cloudera (3) 安装了 hadoop 和 hbase,但是当我尝试访问http://localhost:60010时,它只是坐在那里不断加载。
我可以很好地访问 regionserver - http://localhost:60030 ...查看主 hbase 服务器日志,我可以看到以下内容。
看起来是根区域的问题。
所有这些都安装在运行 Ubuntu (Natty) 11 的 ext4 1TB 分区上。没有集群/其他盒子)。
任何帮助都会很棒!
windows - 在 Windows 上运行 Flume master
我可以在 Windows 上运行 Cloudera Flume 节点,但无法运行 Flume 主节点。这是可能的,你怎么能做到?
hadoop - Cloudera Mountable HDFS 是否提供去重
查看运行基于 HDFS 的存储集群,并查看通过 Cloudera 版本使用 Mountable HDFS 系统的简单方法。
我要问的第一个问题是这会提供自动重复数据删除吗?
我问的第二个问题是否会执行重复数据删除,当所有用户删除包含某个重复数据删除块的文件时,它实际上是从存储中删除该块还是仅删除该用户的索引/引用?
最后,这种方法是否包括 Rainstor 压缩方法?
感谢您的输入
amazon-ec2 - 如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例?
我正在尝试使用 Apache Whirr 在 Amazon Web Services 上运行 Hadoop 的单节点实例。我设置whirr.instance-templates
为1 jt+nn+dn+tt
。实例启动良好。我能够创建目录,但是当我尝试创建put
文件时,我得到一个File could only be replicated to 0 nodes, instead of 1 error
. 当我这样做时,hadoop fsck /
我得到一个Exception in thread "main" java.net.ConnectException: Connection refused
错误。有谁知道我的配置有什么问题?
ubuntu - 控制flume自身生成的日志文件的大小
Flume 在 /var/log/flume 文件夹中生成日志。那里的文件以 GB 为单位增长。如何限制这些日志的文件大小?
hadoop - 在多节点 Hadoop 集群上执行流作业时出现“子错误”(cloudera 发行版 CDH3u0 Hadoop 0.20.2)
我正在研究 8 节点 Hadoop 集群,我正在尝试使用指定的配置执行一个简单的流式作业。
我正在使用 cloudera 的 hadoop CDH3u0 发行版和 hadoop 0.20.2。执行此作业的问题是该作业每次都失败。这项工作给出了错误:
对于错误的原因,我检查了以下内容,但它仍然崩溃,我无法理解原因。
最奇怪的是,作业有时会成功运行,但大部分时间都会失败。关于这些问题的任何指导/帮助都会非常有帮助。我从过去 4 天开始处理这个错误,但我无法弄清楚任何事情。请帮忙!!!
谢谢和问候, 阿图尔
java - 从我的桌面连接到 Cloudera VM
我在我的 Windows 7 笔记本电脑上下载了 Cloudera VM 来玩。我正在尝试从 Windows 连接到在 VM 中运行的 Hadoop 实例。我做了一个 ifconfig 并获得了 VM 的 IP 地址。我可以从我的 Windows 机器上运行的 Firefox 连接到 VM 中运行的 Web 界面,所以我知道我至少可以连接到那个。
所以接下来,我尝试从 Java 连接到 Hadoop。
但我得到错误。
uri:hdfs://192.168.171.128/user
谁能帮我吗?
hadoop - 使用主机系统上的客户端访问在 VM 中运行的 HBase
我尝试使用客户端程序将一些数据写入 hbase
HBase @ Hadoop 在来自 Cloudera @ ubuntu 的预配置 VM 中运行。
客户端在托管 VM 的系统上运行,并直接在 VM 中运行客户端。
所以现在我想用vm外的客户端来访问vm上的服务器
我正在使用 NAT。为了能够访问在虚拟机上运行的 HBase Master、HUE 等服务器,我在虚拟框中配置了端口转发:
因此,我可以访问 HBase Master 的概述站点,HUE..
为了在 vm 上的服务器上运行客户端,我创建了 hbase-site.xml 的内容:
所以我希望转发有效:
运行客户端时日志中的错误消息如下所示:
正确的连接日志(直接在 vm 上运行客户端时)如下所示:
所以我现在只在第一个问题之前的日志行中看到连接 url 不正确,因为端口被正确转发,但 IP 仍然是 localhost 而不是端口转发设置中配置的 10.0.2.15:
我发现的唯一提示是禁用 IPV6 -> 在主机(win7)和 vm(Ubuntu)中禁用并检查端口 -> 它们被正确转发
有人有想法吗?
java - 连接并持久化到 HBase
我只是尝试使用 java 客户端连接到作为 cloudera-vm 一部分的 hbase。
(192.168.56.102是vm的inet ip)
我使用具有仅主机网络设置的虚拟机。
这样我就可以访问hbase master的webUI了@http: //192.168.56.102 :60010/master.jsp
我的 java 客户端(在 vm 本身上运行良好)也建立了与 192.168.56.102:2181 的连接
但是当它调用getMaster我得到连接被拒绝查看日志:
hbase-site.xml:
持久性.xml:
测试DAO.java:
只是添加了在 VM 上运行的网络服务(netstat -ntpl):
java - 在本地/远程集群上运行 java hadoop 作业
我正在尝试在本地/远程集群上运行 hadoop 作业。未来的这项工作将在 Web 应用程序中执行。我正在尝试从 eclipse 执行这段代码:
但是我收到以下错误:
我正在使用带有 Hue 的 CDH3。作业出现在作业列表中,并出现上述运行子错误。