1

我正在我的 SQL 服务器实例中创建 JSON 数据（大约 5000 条记录），并尝试使用 golang 中的批量插入操作将其插入到沙发库存储桶中。这里的问题是没有推送整个数据，并且仅插入随机数量的记录（2000 到 3000 之间）。

代码是：

package main

import (
    "database/sql"
    "log"
    "fmt"
    _ "github.com/denisenkom/go-mssqldb"
    "gopkg.in/couchbase/gocb.v1"
)


func main() {
    var (
        ID string
        JSONData string
    )

    var items []gocb.BulkOp      
    cluster, _ := gocb.Connect("couchbase://localhost")
    bucket, _ := cluster.OpenBucket("example", "")

    condb, _ := sql.Open("mssql", "server=.\\SQLEXPRESS;port=62587; user id=<id>;password=<pwd>;")

    // Get approx 5000 Records From SQL Server in JSON format
    rows, err = condb.Query("Select id, JSONData From User")
    if err != nil {
        log.Fatal(err)
        err = nil
    }

    for rows.Next() {
        _ = rows.Scan(&ID,&JSONData)
        items = append(items, &gocb.UpsertOp{Key: ID, Value: JSONData})
    }

    //Bulk Load JSON into Couchbase
    err = bucket.Do(items)
    if err != nil {
        fmt.Println("ERRROR PERFORMING BULK INSERT:", err)
    }

    _ = bucket.Close() 
}

请告诉我这里哪里出错了。

仅供参考，sql 查询中的列 ID 和 JSONdata 包含有效的键和 JSON 字符串。此外，将不胜感激其编码方式的任何改进建议。

4

2 回答 2

1

我错过了检查 InsertOp 类型的 Err 字段，当我这样做时，我知道当数据超出其容量时项目数组会溢出，并且当您打印该字段时屏幕上会显示消息“队列溢出”

for i := range items {
    fmt.Println( items[i].(*gocb.InsertOp).Err)
}

错误消息的附加屏幕截图在这里： Err.png

除了将数据拆分为多个批次并执行多个批量插入之外，是否有任何解决此限制的方法？

于 2017-07-18T11:57:33.283 回答
0

为什么不尝试使用多个 goroutine 和一个通道来同步它们。创建需要插入的项目通道，然后启动 16 个或更多从通道读取的 goroutine，执行插入然后继续。严格串行插入器最常见的明显瓶颈是网络往返，如果您可以有多个 goroutines 一次执行插入，您将大大提高性能。

PS批量插入不插入每个文档的问题是一个奇怪的问题，我将对此进行研究。正如上面提到的@ingenthr，您是否有可能正在执行 upsert 并对同一个键进行多个操作？

老问题，在错误的答案部分：您是否从批量插入中获得任何错误输出？

于 2017-07-13T21:36:15.440 回答