-2

我必须将数据从 excel 文件导入数据库。这些文件的结构与模型的结构不匹配，所以我想我需要做一些数据操作来相应地安排元组。

我必须导入的文件如下所示： excel文件

django-model 有以下属性：Country, Commodity, Year, Value

那么读取数据的最佳方法是什么，以正确的结构排列数据并将其导入数据库（最好使用现有元组的自动更新）。

我花了很多时间研究现有的 python 和 django 库来满足这个要求（比如 PyExcel、Pandas、Django-Excel、Django-Import-Export），但我真的不知道哪个是最好的，如果它支持导入前重新排列数据。

我希望你能给我一些关于这个任务的建议和解决方案:)

4

2 回答 2

1

好的，有几件事。请注意，我不是其中任何一个方面的专家。

首先，如果您的数据是 Excel 文件，则它是结构化的。表的本质是结构化数据。非结构化数据类似于文本文件或文本文件目录。

其次，请在制定问题时阅读并遵循：https ://stackoverflow.com/help/mcve

第三，SO 不是来为您编写所有代码的。根据您的问题，您尚未尝试任何事情，这就是您的问题被否决的原因。

除了前言之外，您可以使用 Python 的 pandas 库来导入 Excel 文件、操作它们并将它们上传到 SQL 数据库。

import pandas as pd

df = pd.read_excel('tmp.xlsx')
df2 = pd.melt(df, id_vars = ['Country', 'Commodity'], var_name = 'Year', value_name = 'Value')
df2

输入：

    Country Commodity  2009  2010  2011  2012  2013
0  Austria    Com. 1     1     1     1     1     1
1  Austria    Com. 2     2     2     2     2     2
2  Belgium    Com. 1     3     3     3     3     3
3   France    Com. 1     4     4     4     4     4

输出：

   Country Commodity  Year  Value
0  Austria    Com. 1  2009      1
1  Austria    Com. 2  2009      2
2  Belgium    Com. 1  2009      3
3   France    Com. 1  2009      4
4  Austria    Com. 1  2010      1

如果您有许多 Excel 文件，您可以使用glob或os.walk遍历/遍历目录，并导入部分或全部 Excel 文件。

您可以使用 pandasDataFrame.to_sql将数据上传到 SQL 数据库，这需要定义数据库连接（服务器地址、登录名/密码等）。

于 2017-12-16T17:13:21.543 回答
0

这是使用一个外键插入的示例。

    models.py

        from django.db import models

        class Table1(models.Model):
            system = models.CharField(max_length=383)

        class Table2(models.Model):
            name = models.CharField(max_length=383)
            system = models.ForeignKey(Table1, blank=True, null=True, on_delete=models.CASCADE)

您需要创建一个 modelResource 并覆盖 before_import_row 以在 table1 中插入数据。您可以更改字段名称并创建表格和自定义。'column_name'是excel数据中的字段名，属性是数据库中的字段名。在方法 nefore_import 中，您可以在表中插入数据并分配外键。

并将 ModelResource 设置为管理类。

    admin.py
        from .models import Table1,Table2
        from import_export import resources,widgets
        from import_export.fields import Field
        from django.contrib import admin


        class Table2Resource(resources.ModelResource):
            name = Field(column_name='name',attribute='name')
            system_id = Field(column_name='system', attribute='system_id', widget=widgets.ForeignKeyWidget(Table1))

            class Meta:
                model = Table2
                skip_unchanged = True
                fields = ('name','system_id')

            def before_import_row(self,row, **kwargs):
                value = row['system']
                obj = Table1.objects.create(system = value) #create object place
                row['system'] = obj.id # update value to id ob new object


        @admin.register(Table2)
        class Table2Admin(ImportExportModelAdmin,admin.ModelAdmin):
            resource_class = Table2Resource

这是所有的了。

于 2018-03-28T07:26:15.040 回答