글또 7기 회고록5월에 시작한 글또 7기가 벌써 끝났다. 체감상 이번 기수가 제일 길게 느껴졌다. 이번 기수도 회고록을 작성하며 지난 6개월을 되돌아보고 부족한 점을 찾아보자..!!Oct 16, 20221Oct 16, 20221
pydantic 살펴보기최근 파이썬으로 개발할 때 파이썬 타입 어노테이션을 통해 더 견고한 프로그래밍을 하기 위해 노력하고 있다. 확실히 타입 에러로 인한 문제점을 초기에 발견할 수 있고, 코드를 짤 때 조금 더 논리적으로 사고하게 되어 좋다고 느꼈다.Sep 18, 2022Sep 18, 2022
spark의 local mode와 deploy modespark-submit 명령어로 애플리케이션을 제출할때 --master 와 --deploy-mode 옵션으로 어떤 모드로 실행할지 정할 수 있다. 각 모드마다 어떤 차이점이 있는지 자세히 정리해보려고 한다 :)Sep 4, 2022Sep 4, 2022
파이썬 logging혼자 개발할때와 회사에서 개발할때의 가장 큰 차이점 중 하나가 바로 로깅이 아닐까 싶다. 혼자 개발할때는 여기저기 print를 남발했다면 회사에서는 logging을 통해 조금 더 체계적으로 로그를 남기고 있다. logging 잘 써보자..!Aug 7, 2022Aug 7, 2022
파이썬 모듈과 패키지오늘은 파이썬 공식 문서의 모듈과 패키지에 대한 설명을 읽고 정리해보려고 한다. 대부분 그저 import해서 사용하면 그만이기 때문에 모듈과 패키지에 대해 더 깊게 알지 못한 것 같아 이번 기회에 조금 더 깊게 파헤쳐볼 예정이다.Jul 24, 2022Jul 24, 2022
하이브(hive)란 무엇인가이번 글은 하둡 에코시스템 중 하나인 hive에 대한 글이다. 회사에서 hive를 사용하고 있지만 대충 사용 문법만 알고있어서 이번 기회에 정의, 아키텍쳐 등 정리해보려고 한다 :)Jul 10, 20221Jul 10, 20221
istio(이스티오) 이란 무엇인가kubeflow는 내부적으로 istio를 사용하여 k8s 위에 올라간 서비스들을 연결하고 있다. 관련 디버깅을 하다보니 어떤 놈인지 자세히 알고싶어져서 istio에 대해 정리하게 되었다.Jun 12, 2022Jun 12, 2022
Hadoop YARN 이란 무엇인가하둡을 사용하다보면 YARN 이란 단어를 자주 듣게 된다. 이번 글에서는 가깝고도 먼 개념인 YARN에 대해 정리해보려고 한다 :)May 29, 2022May 29, 2022
글또 7기 다짐글4기, 5기 다짐글에 이어 벌써 세번째 글또 다짐글이다. 5기때는 대학생+인턴이었고, 6기때는 취준생이었는데 7기인 지금은 어엿한 1년차 데이터엔지니어가 되었다. 글또와 같이 늙어가는 기분이다. 이번 기수도 잘해보자..!May 15, 2022May 15, 2022
fluentd 튜토리얼이번 글에서는 fluentd가 무엇인지 살펴보고, fluentd 설치 방법 및 로그를 읽어 카프카로 전송하는 간단한 튜토리얼을 정리해보았다 :)Apr 10, 2022Apr 10, 2022
