1

我对 node 和 lambda 很陌生，所以我可能会犯一些愚蠢的错误。我创建了一个 node.js aws lambda 函数，它从 s3 事件中获取文件。如果文件是 gzip，它会解压缩，将其上传到 sftp 服务器，然后创建一个 sig 文件并将其上传到同一个 sftp 服务器。当一切顺利时它可以工作，但它似乎没有正确触发错误。

sftp 命令是使用 then 链接的，所以我预计任何错误都会使随后的 then 失败。例如，如果我关闭我的 sftp 服务器，sftp 客户端将生成超时错误，但 lambda 永远不会看到回调错误，只有成功。该日志确实向控制台显示了错误输出，但在遵循其余 .then() 项之后，它似乎使用了成功回调。连接是否未正确记录为承诺？

示例日志：

...
Starting SFTP
Connected to sftp, starting sftp put for lastsub2.dat file.
{ Error: Timed out while waiting for handshake
    at Timeout._onTimeout (/var/task/node_modules/ssh2/lib/client.js:687:19)
    at ontimeout (timers.js:386:14)
    at tryOnTimeout (timers.js:250:5)
    at Timer.listOnTimeout (timers.js:214:5) level: 'client-timeout' } 'Error occured during sftp relay.'
END

示例代码：

console.log('Loading function');
const aws = require('aws-sdk');
const s3 = new aws.S3({
    apiVersion: '2006-03-01'
  });
const zlib = require('zlib');
const fs = require("fs");
const connSettings = {
  host: 'xxx',
  port: '22',
  username: 'xxx',
  password: 'xxx'
};

exports.handler = function (event, context, callback) {
  console.log('Received event:', JSON.stringify(event, null, 2));
  console.log('Bucket Name: ' + event.Records[0].s3.bucket.name);
  console.log('Object Key: ' + decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, ' ')));
  const bucket = event.Records[0].s3.bucket.name;
  const key = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, ' '));
  const params = {
    Bucket: bucket,
    Key: key,
  };

  s3.getObject(params, (err, data) => {
    if (err) {
      console.log(err);
      const message = 'Error getting object ${key} from bucket ${bucket}. Make sure they exist and your bucket is in the same region as this function.';
      console.log(message);
      callback(message);
    } else {
      if (data.ContentType == 'application/x-gzip') {
        console.log('CONTENT TYPE is application/x-gzip');
        var dataStream = s3.getObject(params).createReadStream().pipe(zlib.Unzip());
        console.log('Created unzip datastream');
        console.log('Starting SFTP');
        let Client = require('ssh2-sftp-client');
        let sftp = new Client();
        sftp.connect(connSettings)
        .then(console.log('Connected to sftp, starting sftp put for ' + key.replace('.gz', '.dat') + ' file.'))
        .then(() => {
            console.log('Finished sftp put for ' + key.replace('.gz', '.dat') + ' file.');
            return sftp.put(dataStream, key.replace('.gz', '.dat'), true, 'utf-8');
        }).then(() => {
          var sigFileName = key.replace('.gz', '.sig');
          var sigStream = fs.createWriteStream('/tmp/' + sigFileName);
          sigStream.end();
          console.log('Created ' + sigFileName + ' sig file.');
          var readStream = fs.createReadStream('/tmp/' + sigFileName);
          console.log('Uploaded ' + sigFileName + ' sig file.');
          return sftp.put(readStream, sigFileName, true, 'utf-8');
        }).then(() => {
            console.log('Ended sftp connection.');
            return sftp.end();
        })
        .then(callback(null, 'Success'))
        .catch ((err) => {
          console.log(err, 'Error occured during sftp relay.');
          callback('Error', err);
        });
      } else {
        callback(null, 'Uploaded file not in gzip format, will not be processed.');
      }
    }
  });
};
4

1 回答 1

0

您遇到的问题正在发生，因为您没有从then()s 中返回任何内容。结果是每个then()都立即执行，而无需等待任何异步 sftp 函数返回，因为它立即解析为未定义。

你没有提到你正在使用什么 sftp 库，但假设它返回一个承诺，你应该能够简单地从then()s.

例如：

.then(() => {
      console.log('Finished sftp put for ' + key.replace('.gz', '.dat') + ' file.');
      // assumes stfp.put returns a promise, just return it into the chain
      return sftp.put(dataStream, key.replace('.gz', '.dat'), true, 'utf-8');
    })

根据评论编辑：

您应该能够从 then()s 调用回调。现在在您的编辑中查看日志输出，当出现错误时，这几乎不是您所期望的 - 它会跳转到问题所在。由于您当时调用它的方式，您将获得控制台输出“已连接到 sftp...”。代替：

.then(console.log('Connected to sftp, starting sftp put for ' + key.replace('.gz', '.dat') + ' file.'))

应该是：

.then(() => console.log('Connected to sftp, starting sftp put for ' + key.replace('.gz', '.dat') + ' file.'))

按照您的方式，控制台将在错误从 sftp 返回之前记录。

于 2017-12-08T20:26:14.623 回答