하둡을 사용하다보면 YARN 이란 단어를 자주 듣게 된다. 이번 글에서는 가깝고도 먼 개념인 YARN에 대해 정리해보려고 한다 :) 정의 YARN은 Yet Another Resource Negotiator의 줄임말로 번역하면 “(또 다른) 리소스 협상가” 라는 뜻이다. 즉, CPU, memory와 같은 하둡 클러스터 …

4기, 5기 다짐글에 이어 벌써 세번째 글또 다짐글이다. 5기때는 대학생+인턴이었고, 6기때는 취준생이었는데 7기인 지금은 어엿한 1년차 데이터엔지니어가 되었다. 글또와 같이 늙어가는 기분이다. 이번 기수도 잘해보자..! 지원 계기 글또의 가장 큰 지원 계기는 늘 “블로그에 글을 꾸준히 쓰기 위해” 이다. 강제성없이 블로그에 …

이번 글에서는 fluentd가 무엇인지 살펴보고, fluentd 설치 방법 및 로그를 읽어 카프카로 전송하는 간단한 튜토리얼을 정리해보았다 :) fluentd란? fluentd는 한마디로 로그 데이터 수집기다. fluentd를 사용하면 다양한 데이터 소스(ex. 로그, http, tcp) 로 부터 데이터를 받아오고, 다양한 목적지 …

2021 카카오 여름 인턴 합격 기념 약 6개월 동안의 취준 기간을 되돌아보려고 한다. IT기업 개발 직군을 준비하는 많은 취준생들에게 도움이 되길 바라며 카카오의 전반적인 채용 프로세스와 나는 어떻게 준비했는지 정리해보았다 :) 나는 어떤 사람인가 스타트업에서 직접 서비스를 개발해보면서 내가 가진 기술력으로 세상에 선한 영향력을 …

늘 그래왔듯 올해도 시간이 참 빠르게 지나갔다. 빠르게 지나간 2021년을 조금 더 오래 기억하고, 앞으로 올 2022년을 위해 1년을 되돌아보는 회고록을 쓴다 :) 잘한 점 취준 올해 상반기에는 취준을 했다. 스타트업에서 인턴을 하다 보니 네카라쿠배 같은 IT 대기업에서는 어떤/어떻게 일하는지 궁금해졌다. 약 6개월 동안 자소 …

지난 기수보다 길게 느껴졌던 글또 5기 활동이 끝났다!!! 약 6개월동안 글또 5기 다짐글을 포함하여 10개의 글을 작성했다. 지난 기수와 마찬가지로 글또 활동을 되돌아보는 회고록을 작성하며 이번 글또 활동을 마무리하려고 한다. 어떤 글을 작성했나 이번 글또 활동의 목표는 내 주력언어인 파이썬을 깊게 공부하고 그 내용을 잘 정리하는 …

저번에 4가지 비동기 라이브러리를 비교해보고 asyncio 라이브러리가 제일 빠르다는 것을 알게 되었다. 따라서 이번 글에서는 asyncio 라이브러리 사용법을 공부하고 정리해보았다. 코루틴 (coroutine) 함수는 누군가 call하면 실행되고 결과값을 return하면 함수가 종료되는 방식이다. 반면 코루틴은 여기에 suspend/resu …

파이썬으로 짜여진 오픈소스 코드를 분석해보니 데코레이터를 직접 정의해서 사용하고 있었다. 데코레이터를 사용하면 함수가 어떤 식으로 동작하는지 궁금해서 이번 기회에 즐거운 마음으로 공부해보았다 :) decorator? 데코레이터! 데코레이터는 말 그대로 함수를 장식하는 도구로, @로 시작한다. 함수를 인자로 받아 작업을 추가하고 다시 함수를 반환한 …

C언어의 배열과 파이썬의 리스트는 같은 자료형이지만 파이썬의 리스트가 훨씬 사용하기 편리하다. 그 이유는 아래와 같다. 리스트는 초기 선언시 크기를 지정하지 않아도 된다. 리스트는 초기 선언시 저장할 변수의 자료형을 지정하지 않아도 된다. 하나의 리스트 안에 서로 다른 자료형 데이터를 저장할 수 있다. 파이썬 리스 …