Spark
textFile関数の最後 hadoopFIle関数の最後はHadoopRDDをnewして終了 new HadoopRDD( this, confBroadcast, Some(setInputPathsFunc), inputFormatClass, keyClass, valueClass, minPartitions).setName(path) ただnewしているだけですが興味深い点を２点まず…
引き続きtextFile def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = { hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], minPartitions).map(pair => pair._2.toString).setName(p…
