0

我有一个包含大约 5 亿条记录的表。我正在从表中读取数据并将其存储在字典中。

编辑:我正在将数据加载到字典中,因为这些数据需要与来自索引服务器的另一量数据进行比较。

我的代码如下:

public static void GetDetailsFromDB()
{
    string sqlStr = "SELECT ID, Name ,Age, email ,DOB ,Address ,Affiliation ,Interest ,Homepage FROM Author WITH (NOLOCK) ORDER BY ID";
    SqlCommand cmd = new SqlCommand(sqlStr, _con);
    cmd.CommandTimeout = 0;

    using (SqlDataReader reader = cmd.ExecuteReader())
    {
        while (reader.Read())
        {
            //Author Class
            Author author = new Author();

            author.id = Convert.ToInt32(reader["ID"].ToString());
            author.Name = reader["Name"].ToString().Trim();
            author.age = Convert.ToInt32(reader["Age"].ToString());
            author.email = reader["email"].ToString().Trim();
            author.DOB = reader["DOB"].ToString().Trim();
            author.Address = reader["Address"].ToString().Trim();
            author.Affiliation = reader["Affiliation"].ToString().Trim();
            author.Homepage = reader["Homepage"].ToString().Trim();

            string interests = reader["Interest"].ToString().Trim();
            author.interest = interests.Split(new char[] { ',' }, StringSplitOptions.RemoveEmptyEntries).Select(p => p.Trim()).ToList();

            if (!AuthorDict.ContainsKey(author.id))
            {
                AuthorDict.Add(author.id, author);
            }

            if (AuthorDict.Count % 1000000 == 0)
            {
                Console.WriteLine("{0}M author loaded.", AuthorDict.Count / 1000000);
            }
        }
    }
}

这个过程需要很长时间才能从数据库中读取和存储所有 5 亿条记录。此外,RAM 使用率非常高。

这可以优化吗?另外,可以减少运行时间吗?任何帮助表示赞赏。

4

1 回答 1

3

如果我捏住鼻子,我可以提出以下优化:

  1. 将字段的顺序位置存储在局部变量中,并reader使用这些顺序变量引用字段。

  2. 不要调用ToString读者并转换 - 只需以正确的类型获取值。

  3. 获得 id 后立即检查作者 id 是否存在AuthorDictAuthor如果不需要,甚至不要创建实例。

    using (SqlDataReader reader = cmd.ExecuteReader())
    {
        var idOrdinal = reader.GetOrdinal("ID");
        //extract other ordinal positions and store here
    
        while (reader.Read())
        {
            var id = reader.GetInt32(idOrdinal);
    
            if (!AuthorDict.ContainsKey(id))
            {
                Author author = new Author();
                author.id = reader.GetInt32(idOrdinal);
                ...
            }
        }
    }
    
于 2013-02-17T15:21:57.663 回答