问题标签 [json-normalize]

我想在 pandas 中使用 URL 读取 json 文件，但它给我带来了一些错误，我认为这是我给出的相关路径，请查看代码和 url。我在堆栈溢出时没有找到它，所以问了它。这个可能是重复的，但请帮助我。

json_url 如下：

https://github.com/jackiekazil/data-wrangling/blob/master/data/chp3/data-text.json

错误信息：

for 循环仅输出 json 文件的最后一组比赛的市场 ID。我认为这是因为 for 循环之前的 if 语句。有人知道我如何在保持 if 语句的同时继续循环吗？

我的代码：

代码输出：

json1 示例：

我有几个大型 json 文件正在尝试加载到 pandas 数据框中。我发现在 Python 中处理大型 json 的一种典型方法是使用 ijson 模块。我拥有的 jsons 代表地理定位的推文 ID。我只对来自美国的推文 ID 感兴趣。json 数据如下所示：

我将如何使用 ijson 仅从美国选择推文 ID，然后将这些美国 ID 放入数据框中？ijson 模块对我来说是新的，我不明白如何处理这个任务。更具体地说，我想获取所有的推文 ID，例如国家代码user_location是美国，或者国家代码tweet_locations是美国。感谢所有帮助！

我有一个字典列表。以下是我的示例数据：

如果我发现事务列表为空，我需要删除字典。下面是我尝试的代码：

我的输出：

我只能删除该特定列表，而不能删除与之相关的详细信息。

预期输出：

请让我知道该怎么做。提前致谢！

我有一个从 Twitter 的 API 收集 JSON 数据的脚本。该脚本jq每分钟收集数据并对其进行解析。这些数据被收集到一个文件中，最终看起来如下所示：

我以前每个文件都有一个 JSON 数据列表，Pandas 可以轻松地处理文件中的一个列表。但是我怎样才能有效地遍历这些不是逗号分隔且长度不一定相同的多个列表？

我的最终目标是聚合这个文件中的所有 JSON 数据并将其转换为 CSV 文件，其中每一列都是 JSON 数据中的一个键。它最终应该看起来像：

如果我还是要尝试读取文件，则会发生以下情况：

我对使用 API 密钥比较陌生。我已经尝试过 IG Markets API 并获得以下内容。通过使用 r.json()，我设法创建了类型（字典）。我想知道如何处理这种类型的数据并以“更好”的方式访问这些值。

我试过使用： for key, value in data() : print (key, value) 和 data["positions"] 但字典似乎只包含一个键。任何帮助表示赞赏！

我有一个 CSV 文件，其中包含以下列：

• customer_id: 正是这样。
• report_date：报告的创建日期。
• json_report: 一个 JSON 对象

JSON 对象是这样的：

如您所见，该对象中有嵌套的 JSON 对象和列表。此外，原始 CSV 文件中的其他行可能在 JSON 文件中包含更多元素。

我需要的是创建可以相互关联的 Pandas 数据框。按照上面的示例，我需要以下数据框：

• Name，有列：
  • customer_id
  • `report_date'
  • FirstName
  • LastName
• Accounts，有列：
  • customer_id
  • `report_date'
  • AccountNumber
  • AccountStatus
• Alerts
  • customer_id
  • `report_date'
  • DT
  • Msg
  • Msg2

到目前为止，我一直在手动处理这个问题，识别 JSON 对象中的嵌套对象并相应地处理它们；但是，我知道在未来的某个时候，这将是不可持续的。

所以，我的问题是：有没有办法自动化这个任务？

到目前为止我一直在做什么：

1. 我将 CSV 文件读取为 Pandas 数据框
2. 我遍历每一行，读取customer_id, thereport_date和 thejson_report
3. 我将 JSON 报告转换为字典
4. 我得到了相关的嵌套对象。
   • 如果嵌套对象是字典（例如Name），我添加customer_id和report_date键值对，并将编辑的字典添加到列表（例如lst_names）
   • 如果嵌套对象是一个列表（例如Accounts/Account，我将customer_id和report_date键值对添加到每个嵌套字典，然后我将每个字典添加到列表（例如lst_accounts）。
5. 我将每个列表转换为 Pandas Dataframe

拥有多个数据框很重要，因为我需要每个数据框执行不同的任务（即，如果可能，我不想使用json_normalize）。

我需要使用 Pandas 读取 CSV 文件，并且 CSV 中的一列是 JSON 数据。但是，一旦我引入文件，JSON 就会损坏（？），我无法使用json_normalize()它。

我无法附加该文件，但这里有一些演示该问题的示例代码：

有什么我遗漏的东西read_csv()可以让 JSON 保持可用吗？

先感谢您。

我有一个 mongoDB 集合，其中包含类似这样的文档

我需要将此集合转换为熊猫数据框。

此处建议的解决方案如何将数据从 mongodb 导入到 pandas？ 做主要工作。但是我仍然有 Rounds列，里面有字典的字典。

我做了一组循环以访问Rounds的子字典

最后我将 A_data 连接到我的主数据框。

有更快的方法吗？现在循环需要很多时间。谢谢！

我试图从 URL 加载数据框

所以不是一个有几行的数据框，我只是得到了一堆列。任何帮助将不胜感激。