Comment faire la somme d'une colonne de chaînes de caractères au format rdd ?

Question

Je suis nouveau dans l'utilisation de spark. sc.textFile . Je veux utiliser reduceByKey pour additionner une colonne qui est de type chaîne mais qui contient des chiffres. Lorsque j'essaie avec quelque chose comme ceci reduceByKey(_ + _) il a juste mis les numéros les uns à côté des autres. Comment puis-je faire ? Dois-je convertir la colonne ?

Answer 1

Vous devrez analyser les chaînes de caractères, par exemple :

scala> val rdd = sc.parallelize(Seq(("a", "1"), ("a", "2.7128"), ("b", "3.14"),
       ("b", "4"), ("b", "POTATO")))
rdd: org.apache.spark.rdd.RDD[(String, String)] = ParallelCollectionRDD[57] at parallelize at <console>:27

scala> def parseDouble(s: String) = try { Some(s.toDouble) } catch { case _ => None }
parseDouble: (s: String)Option[Double]

scala> val reduced = rdd.flatMapValues(parseDouble).reduceByKey(_+_)
reduced: org.apache.spark.rdd.RDD[(String, Double)] = ShuffledRDD[59] at reduceByKey at <console>:31

scala> reduced.collect.foreach{println}
(a,3.7128)
(b,7.140000000000001)