Linux 拨号vps windows公众号手机端

Beam中的OutputTag怎么使用

lewis 6年前 (2020-01-29) 阅读数 15 #网络运维
文章标签 Beam

在Apache Beam中,OutputTag是用来定义一个特定类型的Side Output的标记。Side Output是在处理元素时可以将其发送到另一个PCollection中的一种机制。使用OutputTag可以帮助将不同类型的输出分开,方便后续处理。

要使用OutputTag,首先需要创建一个OutputTag对象并指定要标记的类型,例如:

// 创建一个OutputTag对象,类型为String
final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};

然后在ParDo函数中,可以使用OutputTag将元素发送到Side Output中,例如:

PCollectionTuple output = input.apply(ParDo.of(new DoFn<String, String>() {
    @ProcessElement
    public void processElement(ProcessContext c) {
        String element = c.element();
        if (element.startsWith("A")) {
            c.output(outputTag, element);
        } else {
            c.output(element);
        }
    }
}).withOutputTags(outputTag, TupleTagList.empty()));

在上面的例子中,如果元素以"A"开头,则将其发送到Side Output中,否则将其发送到主输出中。最后,可以通过调用output.get(outputTag)来获取Side Output的PCollection,例如:

PCollection<String> sideOutput = output.get(outputTag);

版权声明

本文仅代表作者观点,不代表米安网络立场。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

热门