From e4f0b08233df63f091060adfc379574536de48d1 Mon Sep 17 00:00:00 2001 From: evan Date: Tue, 14 Jun 2016 14:11:38 +0900 Subject: [PATCH] getLog def error filter --- app/com/piki_ds/ver2ggh/expConTime.scala | 12 +++++++++--- 1 file changed, 9 insertions(+), 3 deletions(-) diff --git a/app/com/piki_ds/ver2ggh/expConTime.scala b/app/com/piki_ds/ver2ggh/expConTime.scala index 3823cd1..33f3f5d 100644 --- a/app/com/piki_ds/ver2ggh/expConTime.scala +++ b/app/com/piki_ds/ver2ggh/expConTime.scala @@ -79,9 +79,15 @@ object expConTime { } }).flatMap(x => x) - val df = action.filter(x => x.getOrElse("ERROR", null) == null).map { x => - (x("event"), x("time").toLong, x("uuid").toLong, x("cid").toLong, - x.getOrElse("fromKey", null), x.getOrElse("position", null), x.getOrElse("dwell", "0").toInt,x.getOrElse("consume", "0").toInt)} + val df = action.filter(x => x != None).filter(x => x.getOrElse("ERROR", null) == null).map { x => + try { + Some(x("event"), x("time").toLong, x("uuid").toLong, x("cid").toLong, + x.getOrElse("fromKey", null), x.getOrElse("position", null), x.getOrElse("dwell", "0").toInt, x.getOrElse("consume", "0").toInt) + } catch { + case e: Exception => + None + } + }.filter(x => x != None).map(x => x.get) // 로그가 밀리는 현상이 발생 5/16일 기준 로그에서 5/16일 로그가 90.9% 5/15일 로그가 6.5% 를 차지하고 214개의 다른 날이 존재(오류포함)하기 때문에 기준일 t에 대한 데이터(91%)만 선택 val df1 = df.toDF("event","time","uuid","cid","fromKey","position","dwell","consume").where("uuid != 0"). -- 1.8.5.2