深入理解Spark:核心思想与源码分析. 3.14 将SparkContext标记为激活

    xiaoxiao2023-12-24  21

    3.14 将SparkContext标记为激活

    SparkContext初始化的最后将当前SparkContext的状态从contextBeingConstructed(正在构建中)改为activeContext(已激活),代码如下。

    SparkContext.setActiveContext(this, allowMultipleContexts)

    setActiveContext方法的实现如下。

    private[spark] def setActiveContext(

            sc: SparkContext,

            allowMultipleContexts: Boolean): Unit = {

        SPARK_CONTEXT_CONSTRUCTOR_LOCK.synchronized {

            assertNoOtherContextIsRunning(sc, allowMultipleContexts)

            contextBeingConstructed = None

            activeContext = Some(sc)

        }

    }

    相关资源:敏捷开发V1.0.pptx
    最新回复(0)