Hive, Impala, Tez 썸네일형 리스트형 [부록] Hive 에서 만든 Table 이 Impala 에서 인식이 되지 않을 때 부제 : Impala INVALIDATE METADATA Statement Hive 로 테이블을 만드는 경우 CREATE TABLE IF NOT EXISTS db_name.table_name (user_id string, item_id string) partitioned by (partition_name string); Impala 에서 use db_name; show tables; # table_name 이라는 테이블이 없는 것을 볼 수 있다. 이유 is 뭔들. ** 참고 : SQL Statement자세한 내용은 위 링크를 봐도 좋다.Impala 는 쿼리를 날릴때마다 Metadate 를 reload 하지 않는다. 그래서 Hive 에서 수정한 Metadata 를 available 하도록 하기 위해서는 아.. 더보기 [나만을 위한 짧은 이야기] Impala 에서는 UDAF 가 안된다.. 쿼리 튜닝을 위해 고민을 하다가 Hive 가 아닌 Impala 로 쓰기로 결정! 그냥 대놓고 돌렸더니...!! Syntax 에러가 난다. 찾아보니... Impala 에서는 UDAF 가 안된다구... 그래서 Hive 에 내장되어 있는 collect_set, collect_list( UDAF ) 와 같은 함수는 사용할 수가 없다. 또한, Hive 에 기본으로 내장되어 있는 explode ( UDTF ) 함수 또는 UDF 같은 함수를 바로 쓸수는 없고 java 나 C++ 로 만들어서 쓸수는 있다. 그러니 아래 쿼리는 Hive 에서만 동작하지 Impala 에서는 동작하지 않는 것이다 ㅠㅠ SELECT a.uid, collect_list(a.items) FROM ( SELECT a.items, b.uid as u.. 더보기 이전 1 다음