본문 바로가기

Spark

개발환경 셋팅하기 with pycharm

와씨... 2시간동안 삽질하고 답을 결국 못찾음...


인터프리터 언어에서 자동완성을 찾는 나도 참 어리석지만서도... ㅜㅠ


게을러지고 싶어서 했다가.... ㅋㅋ




다른건 그닥 없을거고 virtual env 환경만 최대한 서버의 python 버전과 맞춰주고

( 왜냐면 파이썬이 2와 3이 아키텍처가 다르다고 함 - 저도 이거 들은 얘기라 나중에 기회되면 어떤 차이점이 있는지 꼭 찾아보고 정리하겠습니다!! )



File > Default Preference 에 들어가서 ( 맥에서는 단축키가 command + ,  입니다 )







해서 맞는 버전에 python 경로를 찾아 선택해 주면 됩니다! ㅎㅎ




그리고 코드는 일단... 빨간줄이 가는건 너무 싫으니 ㅜㅠ 아래와 같이!

#!/usr/bin/env python
# coding=utf-8


import sys

try:
    from pyspark.sql import HiveContext
    import pyspark
    print ("Successfully imported Spark Modules")

except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)


def main(argv=sys.argv[1:]):
    sc = pyspark.SparkContext()
    sql_context = HiveContext(sc)



이렇게 놓고 개발하기로 결정... !!

'Spark' 카테고리의 다른 글

[부록] Jupyter ( IPython ) 에서 pyspark 사용하기  (0) 2017.01.23
3. Spark SQL, DataFrames and Datasets  (0) 2017.01.22
2-2.RDD - Operations  (0) 2016.06.03
2-1. RDD - Parallelized Collections, External Datasets  (0) 2016.06.03
2. RDD  (0) 2016.04.05