Générer un Spark StructType / Schema à partir d'une classe de cas

Question

Si je voulais créer un StructType (c'est-à-dire un DataFrame.schema ) à partir d'un case class existe-t-il un moyen de le faire sans créer une DataFrame ? Je peux facilement le faire :

case class TestCase(id: Long)
val schema = Seq[TestCase]().toDF.schema

Mais cela semble exagéré de créer une DataFrame alors que tout ce que je veux, c'est le schéma.

(Si vous êtes curieux, la raison de cette question est que je suis en train de définir une UserDefinedAggregateFunction et pour ce faire, il faut surcharger quelques méthodes qui renvoient StructTypes et j'utilise des classes de cas).

Answer 1

Vous pouvez le faire de la même manière SQLContext.createDataFrame le fait :

import org.apache.spark.sql.catalyst.ScalaReflection
val schema = ScalaReflection.schemaFor[TestCase].dataType.asInstanceOf[StructType]

Answer 2

Je sais que cette question date de près d'un an, mais je suis tombée dessus et j'ai pensé que d'autres qui le font aussi pourraient vouloir savoir que je viens d'apprendre à utiliser cette approche :

import org.apache.spark.sql.Encoders
val mySchema = Encoders.product[MyCaseClass].schema

Answer 3

Au cas où quelqu'un voudrait faire cela pour un haricot Java personnalisé :

ExpressionEncoder.javaBean(Event.class).schema().json()

Answer 4

Plutôt que de reproduire manuellement la logique de création de l'implicite Encoder qui est transmis à toDF on peut l'utiliser directement (ou, plus précisément, implicitement de la même façon que toDF ) :

// spark: SparkSession

import spark.implicits._

implicitly[Encoder[MyCaseClass]].schema

Malheureusement, cette méthode présente le même problème que l'utilisation de l'option org.apache.spark.sql.catalyst o Encoders comme dans les autres réponses : le site Encoder trait est expérimental.

Comment cela fonctionne-t-il ? Le site toDF méthode sur Seq provient d'un DatasetHolder qui est créé par l'intermédiaire de la méthode implicite localSeqToDatasetHolder qui est importé via spark.implicits._ . Cette fonction est définie comme suit :

implicit def localSeqToDatasetHolder[T](s: Seq[T])(implicit arg0: Encoder[T]): DatasetHolder[T]

Comme vous pouvez le voir, il faut un implicit Encoder[T] qui, pour un case class peut être calculée par newProductEncoder (également importé via spark.implicits._ ). Nous pouvons reproduire cette logique implicite pour obtenir une Encoder pour notre classe de cas, via la commodité scala.Predef.implicitly (dans le champ d'application par défaut, parce qu'il provient de Predef ) qui retournera simplement l'argument implicite demandé :

def implicitly[T](implicit e: T): T