[나만을 위한 짧은 이야기] Impala 에서는 UDAF 가 안된다.. 쿼리 튜닝을 위해 고민을 하다가 Hive 가 아닌 Impala 로 쓰기로 결정! 그냥 대놓고 돌렸더니...!! Syntax 에러가 난다. 찾아보니... Impala 에서는 UDAF 가 안된다구... 그래서 Hive 에 내장되어 있는 collect_set, collect_list( UDAF ) 와 같은 함수는 사용할 수가 없다. 또한, Hive 에 기본으로 내장되어 있는 explode ( UDTF ) 함수 또는 UDF 같은 함수를 바로 쓸수는 없고 java 나 C++ 로 만들어서 쓸수는 있다. 그러니 아래 쿼리는 Hive 에서만 동작하지 Impala 에서는 동작하지 않는 것이다 ㅠㅠ SELECT a.uid, collect_list(a.items) FROM ( SELECT a.items, b.uid as u.. 더보기 3. Spark SQL, DataFrames and Datasets Spark 에서도 데이터를 SQL 문을 이용해서 데이터를 Query 할 수 있는데, 그 부분에 대해서 간단하게 얘기해 보려고 한다. 기본적으로 SQL 로 Query 한 데이터는 DataFrame 이라는 데이터 형태로 데이터를 Return 한다. DataFrame 은 스파크에서 분산처리를 위해 만든 컬럼이 존재하는 분산 콜렉션이다. 사실 뭔가 업무할 때 ( 코딩할 때 ) 필요한 것만 적을거라 더이상의 자세한 설명은 빼고 아래 코드로 대체 하겠다. # sc is an existing SparkContext. from pyspark.sql import SQLContext, Row sqlContext = SQLContext(sc) # Load a text file and convert each line to a.. 더보기 부록. React 에서 stylesheets embedded 시키기 ( 그리고 webpack 조금.. ㅋㅋ ) 쩝... 너무 별거 아닌 팁이긴 한데... 일단 공유해 봅니다 ㅎㅎ그리고 react 를 쓴다면 webpack 을 쓴다는걸 당연하게(?) 가정하고 글을 씁니다. webpack 은 Module bundler 로도 많이 알려져 있지만, 요새는 Gulp, Grunt 와 같은 task runner 들에서 하는 갖가지 일을 대신해 줍니다. 그러면서 react 를 할때는 굳이 Gulp 나 Grunt 를 쓰는 시대는 지났죠! Webpack 이 짱먹었으니까요 하하!! webpack 소개 에 대한 자세한 글은 아래 링크를 참조해 주세요.https://blog.madewithenvy.com/getting-started-with-webpack-2-ed2b86c68783#.eefnwbwh3 그리고 webpack 도 버전 2가 .. 더보기 이전 1 ··· 5 6 7 8 9 10 11 ··· 25 다음
