0

我正在尝试启用Remote Airflow logs,为此我按照以下步骤操作:

apache气流安装

pip install apache-airflow[crypto,postgres,ssh,s3,log]==1.10.10

气流.cfg 文件:

remote_logging = True
remote_base_log_folder = s3://bucket-name/logs
encrypt_s3_logs = False
logging_level = INFO
fab_logging_level = WARN
remote_log_conn_id = MyS3Conn

我已经Airflow在. 我读到如果气流托管在 EC2 服务器上,您应该创建连接,除了连接类型应该保持为 S3 之外,配置中的所有内容都留空。dockerAWS ECS Blue/Green deploy

S3hook 将默认为 boto,这将默认为您正在运行气流的 EC2 服务器的角色。假设此角色拥有 S3 的权限,您的任务将能够访问存储桶。

所以我应用了这个,但我不知道使用 docker 是否能按预期工作。

如果我运行 dag,我会看到在/urs/local/airflow/logs文件夹中创建的日志docker container,但在 S3 中的指定文件夹中没有新文件。

4

0 回答 0