问题标签 [encoding]

我正在尝试使我的一些代码对非纯 ascii 系统更加友好，并且想知道是否有特定的字符编码用于 ELF 二进制文件中的 NEEDED 条目，或者它是否相当不标准并且基于创建系统的文件系统编码（甚至直接传递给创建二进制文件的字节）（如果是这样，二进制文件中是否有任何地方指定编码？假设我认为当前的系统编码对我的使用效果不佳） ，非ascii名称几乎被禁止还是其他什么？

在我的环境中，我使用 Java 将结果集序列化为 XML。它基本上是这样发生的：

XML 在 Firefox 中如下所示：

但是当我解析 XML 时，我得到了

org.xml.sax.SAXParseException：字符引用“  ”是无效的 XML 字符。

我现在的问题是：我必须替换哪些字符或者我必须如何编码我的字符，它们将是有效的 XML？

我一直在寻找 .Net 中的通用方法来编码用于 Xml 元素或属性的字符串，但当我没有立即找到时感到很惊讶。那么，在我走得太远之前，我会不会错过内置功能？

假设它真的不存在，我正在整理我自己的通用EncodeForXml(string data)方法，并且我正在考虑最好的方法来做到这一点。

我正在使用的提示整个事情的数据可能包含像 &、<、" 等坏字符。它有时还可能包含正确转义的实体：&、< 和 "，这意味着只使用CDATA 部分可能不是最好的主意。这似乎有点笨拙；我宁愿最终得到一个可以直接在 xml 中使用的漂亮字符串值。

我过去曾使用正则表达式来捕获错误的＆符号，我正在考虑在这种情况下以及第一步中使用它来捕获它们，然后对其他字符进行简单的替换。

那么，这是否可以在不使其过于复杂的情况下进一步优化，还有什么我遗漏的吗？：

对不起所有 C# 的人——我真的不在乎我使用哪种语言，但我想让 Regex 成为静态的，你不能在 C# 中做到这一点而不在方法之外声明它，所以这将是 VB 。网

最后，我们仍然在我工作的 .Net 2.0 上，但如果有人可以将最终产品转化为字符串类的扩展方法，那也很酷。

更新前几个响应表明.Net 确实有内置的方法来做到这一点。但是现在我已经开始了，我有点想完成我的 EncodeForXml() 方法只是为了好玩，所以我仍在寻找改进的想法。值得注意的是：应该编码为实体的更完整的字符列表（可能存储在列表/映射中），并且比对串行不可变字符串执行 .Replace() 获得更好的性能。

我知道这是习惯，但为什么呢？是否有真正的技术原因为什么任何其他方式都是一个非常糟糕的主意，或者它只是基于编码和向后兼容性的历史？此外，不使用UTF-8，而是使用其他编码（最值得注意的是，UTF-16）有什么危险？

编辑：通过交互，我主要是指shelland libc。

我需要在 VBA 中将 100KB+ 的字符串编码为 base64。是否有任何可用的内置函数或 COM 对象可以做到这一点，因为纯 VBA 方法要么很复杂，要么在这些卷上不能很好地扩展（参见dbb和marxidad的链接）？

我使用术语“词法编码”是因为我没有更好的词法编码。

与字母相反，单词可以说是交流的基本单位。Unicode 尝试为所有已知字母的每个字母分配一个数值。对一种语言来说是字母，对另一种语言来说是字形。目前，Unicode 5.1 为这些 Glyphs 分配了超过 100,000 个值。在现代英语中使用的大约 180,000 个单词中，据说使用大约 2,000 个单词的词汇，您应该能够进行一般性的交谈。“词汇编码”将对每个单词而不是每个字母进行编码，并将它们封装在一个句子中。

在这个例子中，String 中的每个 Token 都被编码为一个 Integer。这里的编码方案只是简单地根据单词使用的广义统​​计排名分配一个int值，并为问号分配一个常数。

最终，一个单词同时具有拼写和含义。任何“词汇编码”都会保留整个句子的含义和意图，而不是特定于语言的。一个英文句子将被编码为“……语言中立的原子意义元素……”，然后可以将其重构为具有结构化句法形式和语法结构的任何语言。

“词法编码”技术的其他例子是什么？

如果您对单词使用统计数据的来源感兴趣：
http ://www.wordcount.org

我使用 3rd 方工具以 Unicode 格式输出文件。但是，我更喜欢它是 ASCII。该工具没有更改文件格式的设置。

使用 Python 转换整个文件格式的最佳方法是什么？

我正在将一个 struts 应用程序从 Websphere 迁移到 Tomcat 6，并且我的应用程序支持俄语。在 Websphere 中，我们使用传递 JVM 参数 -Dclinet.encoding.override=cp1251 但是当我通过传递 JVM 参数 -DFile.encoding=cp1251 尝试使用 tomcat 时，系统不接受输入（我是搜索中的任何文本框屏幕）并以无效输入响应。

我也尝试传递与 Websphere 相同的参数（-Dclinet.encoding.override=cp1251），但没有解决我的问题。

我正在编写一个 Java 应用程序，它接受可能编码或未编码的 URL 参数值。我需要一种简单的方法来判断我是否需要对参数字符串进行编码。

换句话说，我想要一个函数boolean needsEncoding(String param)，如果我传入字符串“foo@test.com”，它将返回 true，如果传入“foo%40test.com”，它将返回 false。这个想法的问题在于这是模棱两可的。我怎么知道后一个字符串中的“%”符号是否应该被编码？处理此问题的一种方法是修改我的合同 - 要求客户端传入未编码的字符串，以便我知道我总是需要对它们进行编码。想法？

我正在用 PHP 为 iPhone 应用程序编写服务器端程序。而且我没有 iPhone。:P

每当用户运行 iPhone 应用程序时，iPhone 应用程序都会从​​站点请求 XML 文件。您可以访问http://www.appvee.com/iphone/ads或http://www.appvee.com/iphone/latest获取 XML 文件。

并且会显示一个消息框，其中包含以下错误消息：“Web Site Error Conversion of data failed. The file is not UTF-8, or in the encoding specified in XML header if XML.”

也许我必须添加 header("Content-type: text/xml"); 在 PHP 文件的开头？我没有添加这一行，它之前运行良好。

任何帮助是极大的赞赏。