Jay's Code Factory

백엔드 개발자가 만들어 본 App 테스트 자동화 (feat. Appium, Jenkins, AWS DeviceFarm)

피트웨어 제이 (FitwareJay) — Sun, 7 Jan 2024 17:39:35 +0900

제가 만든 프로젝트 로고 QA(QuokkA)ㅋㅋ

안녕하세요! QA엔지니어(?) Jay입니다 ㅋㅋㅋㅋ ~는 아니고 저는 백엔드 개발자입니다. 오늘 이렇게 시작을 한 이유는 최근 회사에서 했던 과제 중 하나가 앱로그 QA 자동화입니다.

"갑자기 왠 QA?"라고 하신다면...ㅋㅋ 해당 과제가 중요하기도 했고 저희팀이 플랫폼 전반적인 과제들을 하고 있기 때문에 저희팀에서 과제를 가져와서 진행하게 되었습니다.

게다가 단순히 앱 UI 테스트 자동화는 아니고, 앱에서 어떤 액션을 할때마다 정상적으로 로그가 남는지까지 확인하는 End-To-End 테스트라서 백엔드 영역의 핸들링도 필요하기 때문에 저희 쪽에서 진행하게 된 이유도 있습니다.

이런저런 이유로 제가 진행했던 과제에서 App 테스트 자동화를 어떤 식으로 했고 어떤 기술들을 이용했는지 정리 및 소개를 하려고 합니다!

1. 어떤 기술을 사용했나?!

저는 Appium이란 오픈소스 서비스를 사용했습니다~ 특별히 다른 서비스를 찾아보진 않았고 Appium이 가장 많이 쓰이는 것 같아 Appium을 선택했습니다.

Appium은 모바일(iOS, Android, Tizen), 브라우저(Chrome, Firefox, Safari), 데스크톱(macOS, Windows), TV를 포함한 많은 앱 플랫폼의 UI 자동화를 용이하게 하도록 설계된 오픈 소스 프로젝트이자 관련 소프트웨어의 생태계입니다. (Roku, tvOS, Android TV, Samsung)

네 그렇다고 합니다ㅋㅋ Appium을 사용하는 방법은 대략적으로 아래와 같습니다.

Appium 설치
Appium 드라이버 및 해당 종속성을 설치. (ios = xcuitest, android =uiautomator2)
선택한 언어로 Appium 클라이언트 라이브러리를 설치합니다(JavaScript, Python, Java, Ruby 및 .NET를 지원하는 Appium 라이브러리가 있습니다. 사용하시는 언어에 맞게 설치하시면 됩니다.)
샘플 애플리케이션을 사용하여 간단한 Appium 자동화 스크립트 작성 및 실행

이번 포스팅에서는 전체적인 설치에 대한 가이드는 이야기하지 않겠습니다. (Appium 설치 가이드는 여기를 확인해 주세요!)

Appium을 정상적으로 설치하고 실행시키면 요런 모습들을 볼 수 있습니다.

2. 테스트 디바이스 실행 및 연결

일단 테스트를 실행하기 위해서는 디바이스가 있어야 합니다. 하지만 우리는 모든 디바이스를 가지고 있지 않기 때문에 가상 디바이스를 활용합니다! (다만 여기서 함정이 있습니다. 함정은 잠시 후 공개....)

일단 Android의 경우 Android Studio Emulator를 사용할 수 있습니다. ios도 마찬가지로 Xcode Simulator를 사용할 수 있는데... 여기서 함정이 있습니다. ios Simulator 같은 경우에는 ipa파일이 설치가 안되더라고요... 직접 만든 앱을 Simulator에 빌드(Build)해서 실행시키는 건 됩니다. 그래서 ios 같은 경우에는 부득이하게 실제 Device를 연결해서 테스트를 진행했습니다. (혹시 방법을 아신다면 댓글로...)

참고로 이번 포스팅에서는 Android 기준으로 설명해보려고 합니다.

Android Studio 설치 링크

Android Emulator 실행 방법 링크

Android Emulator 실행 모습

3. 테스트를 위한 사전 작업

일단 테스트를 진행하려면 테스트할 apk가 있어야 합니다. 아래 블로그에서 sample apk를 제공해 주셔서 요걸 사용해 보겠습니다. 감사합니다!!

App 테스트 자동화를 위한 Sample Test App 공유 (APK)

2023년 목표 중 하나는 바로 QA Engineer 강의를 만드는 것이였습니다. 그래서 마이크도 구매하고 실제로 동영상을 촬영하기도 하였지만 상업용으로 사용할 수 있는 어플이 없어서 강의 영상촬영을

goddessbest-qa.tistory.com

테스트할 apk도 생겼으니 이제 테스트 스크립트를 작성해 볼까요?!

그전에 먼저 테스트를 하려면 UI Element들을 제어하기 위해 어떤 값들을 가졌는지 알아야 하는데요. 이걸 가능하게 하는 게 바로 Appium inscpector라는 툴입니다. 릴리즈 파일들은 여기에서 확인할 수 있으니 os 맞게 설치해 주시면 됩니다!

GitHub - appium/appium-inspector: A GUI inspector for mobile apps and more, powered by a (separately installed) Appium server

A GUI inspector for mobile apps and more, powered by a (separately installed) Appium server - GitHub - appium/appium-inspector: A GUI inspector for mobile apps and more, powered by a (separately in...

github.com

Appium Inspector를 실행하면 이런 창을 확인할 수 있습니다!

Appium-Inspector 실행 화면

Appium Inspector를 통해 앱에 접근하기 위해서는 당연히 Appium Server가 실행되어 있어야 하고 몇 가지 값들을 Capability에 정의해줘야 합니다.

- Android Emulator

{
  "platformName": "Android", 
  "appium:automationName": "uiautomator2", // 안드로이드 전용 드라이버
  "appium:deviceName": "emulator-5554", // 안드로이드 에뮬레이터는 이 이름으로 고정
  "appium:app": ".../app.apk" // apk 경로
}

- ios Device

{
  "platformName": "ios",
  "appium:automationName": "XCUITest",  // ios driver
  "appium:platformVersion": "17.2",
  "appium:deviceName": "iPhone12",
  "appium:app": "../app.ipa", // 앱 경로
  "appium:wdaBaseUrl": "http://xxx.xxx.xxx.xxx:8100", // wda 로컬 네트워크
  "appium:xcodeSigningId": "iPhone Developer",
  "appium:xcodeOrgId": "",   // xcode org id
  "appium:udid": ""  // device UDID
}

- ios Simulator

{
  "platformName": "ios",
  "appium:automationName": "XCUITest",
  "appium:platformVersion": "17.2",
  "appium:udid": "",
  "appium:deviceName": "simulator",
  "appium:bundleId": "" # 앱 번들 ID
}

저의 경우 위에 서서도 말했지만 Simulator에 ipa 파일 설치하는 게 안 됐어서 Device로 테스트를 진행했습니다. 상황에 맞게 선택해 주시면 될 것 같아요!

참고로 ios의 경우 실 디바이스, Simulator에서 Appium을 사용하려면 WebDriverAgent라는 앱이 필요합니다. WebDriverAgent 설치 관련 내용은 아래 블로그를 참고해 주세요!

Appium - iOS 환경 셋팅

Appium에서 iOS를 실행할 수 있도록 환경 셋팅하기

velog.io

capability가 입려된 Appium-Inspector

Capability에 대한 자세한 내용은 capabilites.md를 참고해 주세요!

Start Session 버튼을 클릭하면 Emulator에 앱이 설치되면서 Appium Inspector에서 앱의 화면을 캡처한 형태로 보이게 됩니다.

앱 실행과 함께 화면이 캡처된다.

화면의 UI Element를 클릭하면 선택한 Element의 속성들이 보입니다

위 이미지처럼 UI Element를 클릭하면 속성들을 확인할 수 있고 이 속성값들을 이용해서 앱을 제어할 수 있습니다! 참고로 이 화면은 앱 화면에 따라 자동으로 변경되진 않고 상단의 돋보기 버튼 왼쪽에 있는 새로고침 버튼을 클릭해야지 현재 화면 기준으로 캡처가 됩니다.

자 이제 본격적으로 테스트 스크립트를 작성해 보겠습니다!

4. 테스트 스크립트 작성

Appium에 접근해서 앱을 제어하기 위한 라이브러리들을 Appium에서 제공을 하는데요. 다양한 언어로 된 라이브러리를 제공합니다. 저는 python이 주 언어이이기 때문에 Appium-Python-Client를 사용했습니다! 본인에게 맞는 언어로 사용하시면 될 것 같고 저는 python 기준으로 테스트 코드를 작성해 보겠습니다.

테스트 코드는 깃헙에 업로드해놨으니 참고해 주세요!

GitHub - JAY-Chan9yu/appium-python-example

Contribute to JAY-Chan9yu/appium-python-example development by creating an account on GitHub.

github.com

python을 사용해 보신 분들이라면 unnittest, pytest에 대해서 한 번쯤 들어 보셨을 텐데요. Appium 테스트도 똑같습니다! 일단은 Appium Driver를 연결을 위한 BaseTest 클래스를 만듭니다.

BaseTest 클래스에서는 Driver를 통해 Appium Server와 session을 맺고 끊는 역할을 제공합니다. 이 클래스를 상속해서 Test Class를 구현하면 됩니다!

테스트 코드를 짤 때 보통 page단위로 Element와 Action들을 정리를 하더라고요! 그래서 이 page들에 공통으로 기능을 제공해 주는 BasePage 클래스를 만들고 이 클래스를 상속해서 테스트할 페이지를 구현해 보겠습니다. 저희는 샘플 앱의 home page를 테스트할 예정입니다.

BasePage에서는 click, get_element, send_keys와 같은 공통 동작들을 구현해 놓았습니다.

HomePage에는 홈화면의 버튼들과 그 버튼들에 대한 액션을 정의했습니다. 각 element들의 속성은 Appium Inspector를 통해서 추출하면 됩니다.

위에서 정의한 BaseTest, BasePage, HomePage 클래스들을 사용해서 테스트 케이스를 작성해 봤습니다. 코드는 특별히 설명이 없어서 보시면 어떤 액션들을 할지 알아보실 거 같아서 따로 설명은 드리지 않고 동작이 어떻게 되는지 영상으로 공유드리겠습니다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

아주 잘 동작하는 걸 볼 수 있습니다! 여기까지가 이제 로컬에서 테스트하는 방법이었고 테스트 자동화라고 하기엔 뭔가 부족하죠?!ㅎㅎ 그래서 좀 더 자동화에 가깝게 Jenkins + DeviceFarm을 연동하는 방법에 대해 간단하게 설명드리겠습니다. (깊게 설명하자면 글이 너무 길어져서 어떤 식으로 연동했는지 정도만 말씀드릴게요)

5. Jenkins + DeviceFarm 연동 테스트 자동화

Jenkins 같은 경우 CI/CD 파이프라인으로 많이들 사용하고 있습니다. 그럼 DeviceFarm은 무엇인가?! 두둔!

AWS Device Farm | 모바일 및 웹 앱 테스트 | Amazon Web Services

수동으로 문제를 재현하고, 병렬로 자동 테스트를 실행합니다. AWS에서는 동영상, 로그 및 성능 데이터를 수집하므로, 이를 분석하여 문제를 신속하게 해결할 수 있습니다. 자동화된 테스트의 경

aws.amazon.com

AWS DeviceFarm은 테스트 인프라를 프로비저닝하고 관리하지 않아도 다양한 데스크톱 브라우저 및 실제 모바일 디바이스에서 테스트를 진행하여 웹 및 모바일 앱 품질을 향상시키는 애플리케이션 테스트 서비스입니다. 테스트를 통해 여러 데스크톱 브라우저나 실제 디바이스에서 동시에 테스트를 실행함으로써 테스트 도구 실행 속도를 높이고 비디오 및 로그를 생성하여 앱과 관련된 문제를 빠르게 식별할 수 있습니다.

말 그대로 저희가 테스트를 위해 여러 디바이스를 구비하지 않아도 AWS를 통해서 테스트할 수 있는 디바이스들을 빌려서 사용한다고 생각하시면 됩니다. 디바이스를 대여하는 것, 사용한 만큼 지불하는 것 등 여러 옵션이 있습니다. 기본적으로 1000분의 Free Trial을 제공해 주기 때문에 테스트하시는데 큰 어려움은 없으실 겁니다! (요금정책)

그리고 Jenkins에는 DeviceFarm과 연동할 수 있는 플러그인(Plugin)을 제공하기 때문에 쉽게 연동할 수 있습니다. 처음에는 요걸 몰라서 직접 DeviceFarm API를 호출해서 파이썬 스크립트로 자동화를 구현하다가 뒤늦게 해당 플러그인을 발견했네요 ㅋㅋㅋ 그래도 boto3로 DeviceFarm API호출하는 것도 나름 재밌습니다. (jenkins-aws-device-farm plugin)

AWS 공식문서에 가보시면 jenkins와 연동하는 방법에 대해 나와있으니 구현하실 때 참고 하시면 될 것 같습니다. 저 같은 경우 Jenkins를 도커로 설치한 뒤 진행했습니다.

AWS Device Farm integration with Jenkins CI plugin - AWS Device Farm

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

What is AWS Device Farm? - AWS Device Farm

What is AWS Device Farm? Device Farm is an app testing service that you can use to test and interact with your Android, iOS, and web apps on real, physical phones and tablets that are hosted by Amazon Web Services (AWS). There are two main ways to use Devi

docs.aws.amazon.com

테스트 자동화 파이프라인 설명

jenkins에서 테스트할 apk를 업로드하고 github branch를 선택해서 build하게 되면 AWS DeviceFarm에서 테스트가 실행하고 결과를 알려준다

최종적으로 제가 구현한 형태는 위 이미지처럼 동작합니다. 필요에 따라서 apk 빌드부터 업로드하는 부분까지 자동화할 수 있을 것 같습니다. 위 내용도 자세하게 설명하면 좋겠지만 이번 포스팅에서는 다루지 않고 따로 글을 쓰도록 하겠습니다

6. 정리

Appium을 사용해서 앱 테스트 자동화 코드를 만들고 Jenkins + DeviceFarm 연동까지 정리해 봤습니다. 마지막에 Jenkins + DeviceFarm 연동에 대해 자세히 다루지 못해서 아쉽지만... 이런 식으로 테스트 자동화를 해봤다 정도로 참고해 주시면 좋을 것 같습니다.

개인적으로 회사에서 이번 과제를 진행하면서 몇 가지 느낀 점이 있습니다.

힘든 QA

1. 내 업무와 직접적인 관계는 아니지만 간접적인 업무였을 때 내가 할 수 있는 일이 있다면 적극적으로 해보기

2. 잠시 QA 엔지니어의 삶을 느껴봤는데 생각보다 재밌었고 어쨌든 개발과 관련된 부분이다 보니 커리어에 도움이 될 것 같다

3. 앱테스트 자동화다 보니 혼자 하는데 한계가 있다. (못하는 건 아님)

예를 들어 시나리오 작성을 하려면 UI Element를 찾아야 하는데 고유의 ID가 없거나 움직이는 배너이라던가 (속도가 빠르면 클릭 잘 못 할 수 있음) 하는 일들 때문에 앱개발자들도 함께 자동화 환경을 만들어 가야 한다.

4. 앱이 어떻게 빌드되고 설치되는지에 대한 이해도가 없어서 초반에 삽질 많이 했다.

특히 ios는 ~~지랄맞게~~ 추가적인 작업들 (WebDriverAgent 설치 등)과 개발자 등록이 안되면 일주일에 열 번 빌드인가? 암튼 제한이 있어서 삽질하다가 빌드를 못해서 Apple 계정을 새로 만들기도 했다.

5. 잘 만들면 QA 하기 편할 것 같다. (하지만 그 과정이 빡셀 것 같긴 하다 ㅋㅋ)

암튼 재밌었던 과제였고 아직 마무리된 건 아니지만, 마무리가 되고 잘 사용이 되면 기분이 좋을 것 같습니다. (poc까지 끝낸 상황)

긴 글 읽어주셔서 감사드리며 오늘도 좋은 하루 보내시길 바랍니다!

유부월드 합류한 5년차 개발자의 2023년 회고

피트웨어 제이 (FitwareJay) — Sun, 31 Dec 2023 22:49:59 +0900

안녕하세요! Jay입니다! 글을 쓰는 지금은 23년도 12월 31일 오후 5시경입니다. 회고를 쓸 때면 늘 생각나는 이야기지만... 시간이 참 빠르게 흘러가는 것 같습니다.

어느 순간부터 회고를 작성하면서 한해를 마무리하는 게 루틴이 되었네요. 올 한 해도 정말 다양한 일이 있었고 또 많은 고민과 해결의 반복들이 있던 것 같습니다. 개발자로서 그리고 개인적인 삶에서의 생각들을 정리해보려고 합니다.

1. 올 한해 나는 성장하였는가?

이건 진짜 끝이 없는 고민인 것 같습니다ㅋㅋ 아마 이 글을 보시는 다른 분들도 같은 고민을 많이 하실 것 같습니다. 어렵습니다... 성장의 기준은 어떻게 잡아야 하고 "지금 나의 성장은 또 다른 사람보다 적었던 건 아닐까?"라는 생각도 들고... 그러다 보면 가면증후군에 빠지는 적도 있던 것 같습니다.

작년 10월에 화해(버드뷰)에 입사하고 백엔드센터라는 조직에서 1년이라는 시간이 지났습니다. 저희팀에서는 플랫폼 전반적으로 필요한 공통모듈, 정책, 기술들에 대한 정리와 개발을 하고 있습니다. 대부분 서비스와 직접적으로 관련 있는 업무보다는 간접적인 업무들을 많이 해왔습니다.

그러다 보니 내가 하고있는 일들이 서비스에 기여도가 적은 것 같다는 생각이 들었습니다. 다른 분들은 회사에 기여를 많이 하는거 같은데 나는 이 문제들을 해결하기 위해 너무 많은 시간만 쏟고 있는 건 아닌지? 도움이 되는 건지? 이게 맞나?라는 생각을 상반기 까지는 많이 했던 것 같습니다. (+ 서비스 개발을 안 하다 보니 나만 백엔드 개발자로서 뒤쳐지는 기분이 들기도 했습니다.)

시간이 좀 더 지나고... 지금와서 생각해 보면 저희 팀에서만 할 수 있는 일들을 해왔던 것 같습니다. 플랫폼 정책들을 통일하고 정리하는 과정들, 플랫폼 개발자들의 생산성을 높여줄 수 있는 기능 개발 등, 이 모든 것들이 결국 플랫폼에 필요한 일들이었고 누군가는 해줬으면 하는 일들이었습니다. 서비스에 직접적이진 않지만 간접적인 형태로 회사에 기여를 했다고 생각하고 그 과정에서 저는 이런 것들을 배웠고 성장했다고 생각합니다.

- 우리팀, 내가 하고 있는 업무에 대한 자부심
- 우리팀만이 할 수 있는 일이라 생각하고 도전하는 마음가짐
- 업무가 진행되게 하기 위한 과정과 노력, 역할

다시 "올 한해 나는 성장하였는가?"에 대한 스스로의 답변은 이렇습니다.

'개인(개발자)' 성장보다는 ' 팀'으로서의 성장이 있었다!

다가오는 2024년도에도 우리팀만이 할 수 있는 일, 우리 팀이 잘하는 일들을 하면서 회사에 기여하고 개인의 성장도 가져가려고 합니다. 위에서 제가 팀으로서의 성장을 이야기했지만 그 속에서 개발자로서 성장하는 챌린지도 많았습니다 ㅋㅋㅋ 팀 특성상 다양한 업무들을 하긴 했지만 재밌는 과제들도 많이 했습니다ㅋㅋ

2. 개발은 삶을 살아가는 수단 중 하나

불과 몇달 전까지만 해도 저는 '개발자'로서의 삶에 높은 비중을 두고 살았었습니다. 사실 지금도 개발에 쏟는 시간이 일주일 중 제일 많은 것 같긴 합니다ㅋㅋ 다만 약간 생각하는 자세(?), 태도(?)가 조금 바뀌긴 했습니다.

올 10월에 제가 결혼을 했습니다! (축하 부탁드립니다 ㅋㅋ) 아주 좋습니다 여러분! 결혼하세요~ㅋㅋㅋ 결혼을 하면서 여러가지 생각이 바뀐 것도 있지만, 팀장님께 들었던 말이 굉장히 인상 깊었던 것 같습니다.

"삶에 있어서 개발이 전부가 아니고 개발은 삶을 살아가는 수단 중 하나다"

이 이야기를 듣고 많은 생각을 하게 되었던 것 같습니다. 이전까지는 개발자로서의 성장이 약간 삶의 전부처럼(물론 이정도는 아니지만) 생각했고 그에 따른 가면증후군, 압박감도 되게 심했었습니다. (연차가 쌓일수록 더 심해졌던 것 같습니다) 하지만 이제는 개발은 삶을 살아가는 수단 중 하나로 생각하고 삶을 어떻게 잘 살아갈지를 더 고민하게 되었습니다.

그러다 보니 회사생활이나 삶을 바라보는 시야가 넓어진 것 같습니다. 예컨대 모든 걸 잘해야 한다는 오만에서 조금 벗어난 것 같습니다. 모두가 개발천재일 필요는 없고 각자 잘할 수 있는 일을 하고 부족한 부분은 서로 보완하면 된다고 생각합니다.

그리고 이제 가정을 꾸리다보니 삶의 중요도가 가족, 가정에 더 집중을 하게 된 것도 있는 것 같습니다. 개발에 온 신경을 쏟고 시간을 보내는 게 내 삶에 최선은 아닌 걸 느꼈습니다. (이렇게 살면 집에서 쫓겨납니다... 여보 사랑해)

개발은 제가 추구하는 행복과 삶을 살기위한 수단일 뿐입니다. 제가 추구하는 행복과 삶을 위해 뭐가 됐던 최선을 다할 거고 열심히 살려고 합니다! 여러분들도 여러분이 추구하는 행복과 삶을 최선을 다해 사시길 바라며...

23년도 올한해 모두 고생 많으셨고 24년도에는 좋은 일만 가득하길 기원하겠습니다!!

AWS Secret Manager그리고 Lambda Extension

피트웨어 제이 (FitwareJay) — Thu, 30 Nov 2023 23:47:27 +0900

안녕하세요! 이번 포스팅에서는 AWS Secret Manger 그리고 Lambda extension 사용에 대해서 정리해보려고 합니다.

회사에서 사용 중인 Lambda 서비스에서 하드코딩으로 관리되고 있던 값들을 정리하기 위해 AWS Secret Manager를 사용하기로 논의가 되었습니다. 해당 서비스가 자주 업데이트 되는 서비스가 아니었어서 유지보수 하기 어려운 형태였는데요. 시간이 지나고 보니 생각보다 중요한 레거시(?)가 돼서 지금이라도 유지보수를 위해 정비를 하게 되었습니다.

1. 하드코딩 된 값들을 제거함으로써 dev, stg, prd 환경에서 동일한 코드로 관리

2. 이런 값들을 Secret으로 빼서 보안성 높이기

크게 위 두가지 목표를 가지고 작업을 시작했습니다.

1. AWS Secret Manager란?

출처: https://aws.amazon.com/ko/secrets-manager/

AWS Secret Manager는 데이터베이스 보안 인증정보 혹은 api key와 같은 정보들을 안전하게 암호화하고 중앙집중식으로 관리할 수 있는 서비스입니다. 말 그대로 시크릿 매니저입니다ㅋㅋ

콘솔에서 AWS Secret Manager를 추가하는 과정

Secret Manager 사용하는 방법도 크게 어렵진 않은데요. 콘솔로 Secret Manager를 생성하고 키/값을 추가하면 끝입니다. 이후 Secret Manger 이름을 정의하고 생성하면 끝! 저는 test/lambda/jay로 이름을 지정했습니다~

샘플코드까지 줘서 개꿀

Secret Manager를 생성하면 여러 언어로 샘플코드까지 줘서 테스트하는데 크게 어렵지 않습니다. 해당 코드를 복사하고 Lambda에 추가해서 배포해보겠습니다.

import {
  SecretsManagerClient,
  GetSecretValueCommand,
} from "@aws-sdk/client-secrets-manager";

export const handler = async (event) => {
  const secretName = "test/lambda/jay"; // 시크릿 매니저 이름
  const client = new SecretsManagerClient({
    region: "ap-northeast-2",
  });
  let result;
  
  try {
    result = await client.send(
      new GetSecretValueCommand({
        SecretId: secretName,
        VersionStage: "AWSCURRENT", // VersionStage defaults to AWSCURRENT if unspecified
      })
    );
  } catch (error) {
    throw error;
  }
  
  const secret = result.SecretString;
  const response = {
    statusCode: 200,
    body: JSON.stringify(secret),
  };
  return response;
};

위 코드는 샘플코드 그대로 가져왔으며 Secret Manager에 접근해서 secret들을 가져온 뒤 response로 전달하고 있습니다. 실제로 그렇게 동작할까요?

Exception 발생

익셉션(Exception)이 발생했네요 ㅋㅋㅋ 내용을 확인해 보면...

jayLambdaTest is not authorized to perform: secretsmanager:GetSecretValue on resource: test/lambda/jay because no identity-based policy allows the secretsmanager:GetSecretValue action"

역시 엄격한 AWS! 위 내용은 Lambda에서 test/lambda/jay 라는 Secret Manager의 GetSecretValue 액션을 허용하는 정책이 없기 때문에 접근이 불가하다는 말입니다. 당연하죠~?! 저희는 서비스 별로 권한을 분리하고 특정 서비스에서는 특정 리소스만 사용하게 해야 보안도 높일 수 있고 관리도 편합니다.

IAM role에서 Lambda의 역할을 확인

현재는 기본 권한 정책만 존재하기 때문에 test/lambda/jay lambda에 접근할 수 있는 권한정책을 추가해 보겠습니다.

권한 추가 버튼을 클릭후 Secret Manager를 선택

저희는 GetSecretValue 액션만 필요하기 때문에 해당 옵션만 선택하고 리소스를 특정합니다. 여기서 특정 리소스는 접근하고자 하는 Secret Manager의 ARN을 말합니다. 내용을 모두 입력 후 저장한 후 다시 Lambda를 호출해 보겠습니다.

정상적으로 Secret 값 들을 반환!!

호출 결과를 보시면 정상적으로 Secret Manager의 값들을 가져온 것을 확인할 수 있습니다!! 오예!!

2. SecretManager를 그대로 쓰면 안 되는 이유!

소중한 회삿돈...

위 내용에서 끝난 줄 알았지만 사실 끝이 아닙니다! Secret Manager 호출하는 것도 모두 '돈'입니다 ㅋㅋㅋ 저희는 회사에 소속되어 있기 때문에 AWS 리소스를 최적화해서 사용할 의무가 있습니다~

AWS 요금 계산기로 계산해본 예상 비용

엇... 이렇게 보니까 생각보다 안 비싸네... 여하튼 트래픽이 늘어나고 사용하는 보안암호(Secret)들이 많아질수록 요금은 올라가겠죠? 그리고 매번 Lambda에서 Secret Manager를 호출하는 것 자체가 응답속도에 영향을 주는 행위입니다!

그래서 왜 이렇게 말이 길었느냐?! 위 문제들을 어느 정도 해소해 줄 수 있는 방법이 있습니다! 바로 Lambda Extension 중 하나인 AWS-Parameters-and-Secrets-Lambda-Extension 입니다!!

출처: https://aws.amazon.com/ko/blogs/compute/using-the-aws-parameter-and-secrets-lambda-extension-to-cache-parameters-and-secrets/

AWS-Parameters-and-Secrets-Lambda-Extension을 사용하면 시크릿을 검색한 후 로컬 캐시에 저장합니다. 그런 다음 캐시 된 값은 만료될 때까지 이후 호출에 사용됩니다. 캐시된 값은 TTL(time-to-live)이 경과한 이후에 만료되며 SECRETS_MANAGER_TTL 환경변수로 TTL 시간을 조절할 수 있습니다. (default 300초)

익스텐션 이름 그대로 AWS Parameter Store도 동일하게 사용할 수 있습니다. 이렇게 캐시를 사용하게 되면 Secret Manager API를 계속 호출하지 않으니 비용도 감소되고 Lambda의 응답시간도 빨라질 것입니다.

자! 그럼 AWS-Parameters-and-Secrets-Lambda-Extension을 추가해 보도록 하겠습니다

처음엔 Layers에 아무것도 추가가 안되어 있습니다

Layer 추가를 하게되면 위 내용처럼 Extension을 선택할 수 있습니다

Layer가 한개 추가된 걸 확인할 수 있습니다.

이제 코드를 수정해 보겠습니다. Lambda에서는 더 이상 직접적으로 Secret Manager를 호출하는 게 아니라 Extension을 통해서 호출하게 됩니다. (캐싱된 값이 없을 때만)

export const handler = async (event) => {
  const secretName = "test/lambda/jay"; // 시크릿 매니저 이름
  const url = `http://localhost:${process.env.PARAMETERS_SECRETS_EXTENSION_HTTP_PORT}/secretsmanager/get?secretId=${secretName}`;
  const options = {
    headers: { 'X-Aws-Parameters-Secrets-Token': process.env.AWS_SESSION_TOKEN },
    method: 'GET',
  };
  let result;
  
  try {
    const response = await fetch(url, options);
    if (!response.ok) {
      const json = await response.json().catch((err) => err.message);
      console.error('Invalid response :', json);
      throw new Error(`Invalid ${response.status} response`);
    }
    result = await response.json();

  } catch (error) {
    console.error('Error:', error);
    throw error;
  }
  
  return {
    statusCode: 200,
    body: JSON.parse(result.SecretString)
  };
};

Extension port를 환경변수로 지정해줘야 합니다. (default: 2773)

응답 결과

Lambda Extension 호출은 localhost를 호출하게 되며 Secret Manager, Parameter Store 별 API endpoint가 존재합니다. 자세한 내용은 여기서 확인 가능합니다.

3. 참고

Lambda Extensions API - AWS Lambda

Lambda Extensions API Lambda function authors use extensions to integrate Lambda with their preferred tools for monitoring, observability, security, and governance. Function authors can use extensions from AWS, AWS Partners, and open-source projects. For m

docs.aws.amazon.com

Using the AWS Parameter and Secrets Lambda extension to cache parameters and secrets | Amazon Web Services

Caching data retrieved from external services is an effective way to improve the performance of your Lambda function and reduce costs. Implementing a caching layer has been made simpler with this AWS-managed Lambda extension.

aws.amazon.com

Attach a permissions policy to an AWS Secrets Manager secret - AWS Secrets Manager

The following put-resource-policy example adds a permissions policy to a secret, checking first that the policy does not provide broad access to the secret. The policy is read from a file. For more information, see Loading AWS CLI parameters from a file in

docs.aws.amazon.com

How To Cache Secrets Using AWS Lambda Extensions | HackerNoon

Build a cache layer for secrets stored in AWS Secrets manager using AWS Lambda extension

hackernoon.com

AWS Lambda 함수에서 AWS Secrets Manager 보안 암호 사용 - AWS Secrets Manager

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

AWS Lambda 함수에서 Parameter Store 파라미터 사용 - AWS Systems Manager

AWS Lambda 함수에서 Parameter Store 파라미터 사용 AWS Systems Manager의 기능인 Parameter Store는 구성 데이터 관리 및 암호 관리를 위한 안전한 계층적 스토리지를 제공합니다. 암호, 데이터베이스 문자열, A

docs.aws.amazon.com

[AWS Lambda] Nodejs 16.x 지원종료, 18.x 버전업 대응 요약(feat.s3)

피트웨어 제이 (FitwareJay) — Wed, 4 Oct 2023 22:16:05 +0900

안녕하세요! 제이입니다! 오늘은 사내에서 사용 중인 AWS Lambda의 Nodejs runtime 버전을 변경하면서 그 과정에 대한 요약과 어떤 점을 수정했는지 일부 요약 해보려고 합니다!

1. 버전관리

기본적으로 우리가 사용하고 있는 언어, 라이브러리, 프레임워크에 대한 지원종료에 대해서 인지하고 있어야 합니다. 저는 백엔드 센터 소속으로서 최근 백엔드에서 사용 중인 기술들에 대한 버전관리 및 업데이트를 진행(중)했습니다.

첫 번째로 저희가 사용 중인 AWS Lambda의 node버전을 체크했습니다. 버전 지원 종료에 대한 내용은 https://endoflife.date/nodejs 에서 쉽게 확인할 수 있습니다.

(참고: https://endoflife.date/ 에는 다양한 언어, 제품에 대한 수명주기를 명시하고 있기 때문에 즐겨찾기 해놓으시면 많은 도움이 되실 거예요!)

nodejs 지원에 대한 내용

저희는 16.x를 사용 중이었는데 표를 보시다시피 23년도 9월 11일에 보안 지원까지 종료가 되었습니다. 좀 더 일찍 대응을 했으면 좋았을 텐데 그래도 당장 뭐 이슈가 있는 건 아니니 ㅎㅎ (늦었다 생각했을 때가 늦었다)

여하튼 현재 올릴 수 있는 안정된 버전은 18(LTS) 버전입니다. 25년 4월 30일까지 지원기간도 넉넉합니다!

https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html

혹시 모르니 Lambda에서 nodejs18.x를 지원하는지도 체크해 줍니다! 확인해 보니 아주 다행히도 지원을 해주고 있었습니다. 다만 변경된 점은 nodejs18.x부터 AWS SDK V3를 사용합니다. (역시 쉬운 게 없습니다)

저희는 AWS SDK의 S3 관련 모듈을 사용하고 있었기 때문에 이 부분에 대한 변경점이 있을 거라 예상하며 적용을 진행했습니다.

2. 적용

저희는 serverless framework라는 툴을 사용하여 lambda 배포를 진행하고 있습니다. 로컬에서는 serverless offline이라는 라이브러리를 통해서 테스트를 하고 있고요! (진짜 좋습니다!)

기존에 사용하던 AWS SDK V2(aws-sdk)에서 V3로 변경되면서 패키지 구조와 사용되는 모듈들의 변화가 조금씩 있는 것 같습니다. aws 공식문서에서 V3(js) code 예제들을 제공하고 있습니다. (참고: AWSJavascriptSDK V3)

https://docs.aws.amazon.com/AWSJavaScriptSDK/v3/latest/introduction/

yarn add @aws-sdk/client-s3

SDK v3부터는 각 모듈별로 따로 설치를 하는 것 같습니다. 공식문서에 되게 친절하게 나와있어서 이해하시기 어려운 부분은 없을 거예요! 이런 방식으로 변경된 이유는 패키지 전체 리소스보다 필요한 것만 사용하는게 적기때문이기도 한 것 같습니다. 자세한 내용은 아래 문서를 확인해보시면 좋을 것 같습니다!

Modular packages in AWS SDK for JavaScript | Amazon Web Services

As of December 15th, 2020, the AWS SDK for JavaScript, version 3 (v3) is generally available. On October 19th, 2020, we published the Release Candidate (RC) of the AWS SDK for JavaScript, version 3 (v3). One of the major changes in the JavaScript SDK v3 i

aws.amazon.com

v2에서는 getObject, putObject와 같은 형태로 메서드를 제공했었는데 v3부터는 GetObjectCommand, PutObjectCommand와 같은 형태로 메서드를 제공합니다. 단순히 메서드의 형태만 바뀐 게 아니라 데이터를 가져오고 전송하는 형태도 달라졌습니다.

S3.GetObject no longer returns the result as a string · Issue #1877 · aws/aws-sdk-js-v3

Describe the bug I'm using the GetObjectCommand with an S3Client to pull a file down from S3. In v2 of the SDK I can write response.Body.toString('utf-8') to turn the response into a string. In v3 ...

github.com

v3에서부터는 buffer를 스트리밍 형태로 주고받습니다. 대표로 GetObjectCommand의 사용형태를 확인해 보겠습니다.

https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/with-s3-tutorial.html

코드를 보시다시피 GetObjectCommand의 결과로 가져온 데이터의 Body의 타입은 StreamingBlobPayloadOutputTypes 입니다. v2에서 getObject로 가져온 값의 body는 buffer였으나 v3부터는 buffer가 아니라 stereaming 형태의 타입이며 buffer 형태로 가져오기 위해서는 stream을 buffer로 변환해야 합니다.

에피소드

로컬에서 테스를 하면서 약간의 에피소드가 있었는데 nvm으로 node버전을 변경해 가면서 테스트하다 보니 e2e테스트를 위해 띄우는 로컬 서버는 18.x로 띄우고 테스트 실행하는 node 버전은 16.x로 실행하다 보니 자꾸 127.0.0.1:4569 (serverless-offline 주소)를 연결할 수 없다고 뜨는 것이었습니다.ㅎㅎ

결론적으로는 node버전이 달랐기도 했고 v17.x 부터는 기본적으로 IPv6를 사용하기 때문에 서버가 떠있는데도 연결이 불가능했던 것입니다. 약간 바보 같은 실수이긴 하지만 그래도 나름 얻은 건 있던 것 같습니다 ㅋㅋ

[NodeJs] localhost가 실행되었는데 127.0.0.1 에 접속되지 않는 경우

해결 방법 (결론) 결론부터 말하자면 NodeJs 버전 17 이상부터 서버 실행시 ipv6 프로토콜을 우선적으로 사용하기 때문에 ipv4 프로토콜의 루프백 주소인 127.0.0.1 은 연결이 되지 않는 것이다. 그래서

stirringdev.tistory.com

3. 결론

저희는 테스트 케이스를 작성하고 있어서 버전업에 대한 대응이나 리팩토링에 대해 덜 부담스럽게 작업할 수 있었던 것 같습니다. 비즈니스 로직을 작성하는 것도 중요하지만 적절한 시기에 맞추어 유지보수를 위한 버전관리도 정말 중요합니다. 이럴 때 특히 테스트 케이스의 필요성이 더 강조되는 것 같습니다!

아직 버전 관리에 대응해야 하는 프로젝트들이 많지만... 연말인 만큼 이런 것들 후다닥 해치우고 서비스 성장을 위해 달려가야 할 것 같습니다!

Serverless Framework로 AWS Lambada 배포하기

피트웨어 제이 (FitwareJay) — Sat, 1 Apr 2023 22:57:33 +0900

안녕하세요! 오랜만에 돌아온 개발자 JAY입니다! 요즘 좀 업무에 집중하고 이것저것 하다 보니 글을 진짜 오랜만에 쓰네요 ㅋㅋ 오늘은 신규업무를 하면서 알게 된 Serverles Framework에 대해서 설명해보려고 합니다.

1. What is Serverless Framework

serverless freamwork 홈페이지

Severless Framework 홈페이지에 들어가게되면 대문짝만 하게 위와 같은 설명이 나옵니다. AWS 람다 앱 auto-scaling을 위한 all-in-one 개발 솔루션이라고 하네요 ㅋㅋ

serverless framework는 람다 배포를 야믈(yaml) 파일 형태로 배포할 수 있게 해주는 솔루션 입니다. 보통 람다는 AWS 콘솔에 들어가서 직접 수정할 수도 있지만 serverless framework를 이용하면 배포와 인프라 세팅을 손쉽게 할 수 있습니다.

2. AWS Lambda 배포하기

자, 이제 serverless framwork를 통해 간단한 람다 api를 만들어 보겠습니다.

첫 번째로 serverless framework를 설치합니다.

npm install -g serverless

설치가 완료되면 제대로 설치되었는지 버전확인을 한번 해봅니다

serverless --version 혹은 sls --version

두 번째로는 프로젝트를 생성합니다.

serverless 혹은 sls

명령어를 실행하면 어떤 형태의 프로젝트를 만들것인지 선택할 수 있습니다.

저는 node.js 프로젝트를 생성했습니다.

이렇게 기본적으로 생성된 파일들을 확인 할 수 있습니다.

세 번째로 생성된 프로젝트 경로에 가서 로컬환경에서 람다함수를 실행합니다.

sls invoke local --function helloWorld

네 번째로 배포를 위해 AWS 계정 세팅을 합니다.

배포 시 AWS계정을 사용하는 방법은 여러 가지가 있는데 저는 aws profile을 세팅해서 진행했습니다. 몇 가지 이유가 있는데 default로 회사계정을 사용하고 있어서 제 개인계정으로 쉽게 사용하기 위해서 aws profile 방식을 선택했습니다.

~/.aws/credentilas파일에서 아래와 같이 프로필을 세팅합니다. AWS IAM 계정을 생성하는 방법은 별도로 다루지 않겠습니다. AWS IAM 계정 생성 시 인프라 세팅을 위한 권한이 필요합니다. 저는 테스트를 위해 adminisrator 권한이 있는 IAM 계정을 사용했습니다

[profileName1]
aws_access_key_id=***************
aws_secret_access_key=***************

[profileName2]
aws_access_key_id=***************
aws_secret_access_key=***************

배포 명령어는 아래와 같습니다.

serverless deploy --aws-profile devProfile

배포전 yaml파일을 살짝 수정하겠습니다. 저는 HTTP GET 호출을 사용하기 위해서 다음과 같이 events를 추가했습니다.

http get 요청을 받는 이벤트를 추가

자 이제 배포를 해보겠습니다!

배포가 잘 되었다고 한다~

배포가 잘 되었고 api endpoint까지 공유를 해주네요!

endpoint에 접근하면 람다가 잘 응답을 주는걸 확인할 수 있습니다.

3. serverless framework 이거 무슨 magic이야?

간단한 serverless framwork 프로젝트 생성부터 배포까지 해봤는데요. 처음 보면 되게 마법 같다고 생각하시겠지만 알고 보면 그렇지 않습니다.

CloudFormation 작동 방식

배포하고 이것저것 생성된 인프라를 보니까 CloudFormation이란게 생성되어 있더라고요. CloudFormation은 aws인프라를 템플릿을 통해 생성하고 배포하는 서비스입니다.

아마도 serverless framework는 CloudeFormation을 사용해서 인프라 구성을 하는 것 같아요. 직접 CloudeFormation을 사용할 수 도 있지만 좀 더 편하게 구성할 수 있게 도와주는 것 같습니다.

자동으로 생성된 인프라 리소스들

배포 파일은 S3에 올라가는걸로 보이네요

CloudeFormation에 가보면 어떤 이벤트들이 있었고 어떤 리소스가 생겨났는지 한 번에 확인할 수 있습니다. 저같은 경우는 HTTP 이벤트를 사용한다고 yaml에 적었기 때문에 API Gateway까지 자동으로 생성되고 람다와 연결된걸 확인 할 수 있었습니다.

스택 제거시 생성된 인프라들이 하나씩 삭제되는걸 볼 수 있습니다

생성된 CloudeFormation 스택을 제거하면 연관된 인프라들도 자동으로 삭제가 됩니다.

4. 트러블 슈팅

serverless framework docs에 설명이 잘 되어있어서 크게 어려운 부분은 없었는데요. 다만 권한 설정하는데 시간을 많이 소비했던 것 같습니다.

배포시 연관된 리소스들에 대한 권한이 없으면 에러가 납니다

배포할 때 사용할 리소스들에 대한 권한이 IAM 계정에 없으면 위처럼 에러를 뿜습니다. 위 에러는 처음에 제가 CloudFormation에 대한 권한을 주지 않아서 에러가 나더라고요 ㅎㅎ 근데 이게 일일이 사용할 인프라들에 대한 권한을 줘야 하다 보니 한 5개 추가하다가 계속 에러가 나서 그냥 administrator 권한을 줘버렸습니다 ㅎㅎ

근데 실무에서는 보안을 위해서 실제 사용하는 인프라에 대한 권한만 줘야 합니다. 회사 동료는 한 60개를 한 땀 한 땀 직접 찾아서 넣었다고 하네요... 저는 그냥 맛보기니까 그냥 administrator로 했...지만 ㅋㅋㅋ

5. 마치며

람다를 사용할 일이 크게 없었어서 serverless framework와 같은 서비스가 있는지 몰랐고 실제로 사용해 보니 정말 편하네요! serverless framework 말고도 AWS SAM과 같은 서비스들도 있다고 합니다.

람다를 적재적소에 잘 사용하면 좋기 때문에 여러분들도 한번 간단하게 실습을 해보시면 좋을 것 같습니다! 그럼 오늘도 좋은 하루 보내시길 바랍니다!

참고

[AWS] 서버리스 프레임워크란? (serverless framework)설치부터 배포까지 (node.js)

Provider: AWS(Amazon Web Service) 작업환경: macOS(Mojave, 10.14.6 서버리스(Serverless)란? 요즘 이곳저곳에서 MSA(Micro Service Architecture)가 관심이 많아지고 있다. 이에따라 MSA를 편리하게 구현시킬 수 있는 클라

yongyong-blog.tistory.com

Serverless Framework - AWS Credentials

The Serverless Framework documentation for AWS Lambda, API Gateway, EventBridge, DynamoDB and much more.

www.serverless.com

AWS CloudFormation으로 인프라 자동화 시작하기

이 글은 CloudFormatin을 처음으로 시작하는 사용자를 위한 안내서이다. 이미 CloudFormation을 능숙하게 사용하고 있다면 사용 방법에 대한 설명은 대충 보고, 실무에서 어떻게 사용하는지에 대해서 주

medium.com

중니어가 되고싶은 개발자의 2022년 회고

피트웨어 제이 (FitwareJay) — Mon, 26 Dec 2022 07:17:24 +0900

안녕하세요! 운동'했'던 개발자 제이입니다! 매년 느끼는 거지만 시간이 참 빠르게 지나가는 것 같다는 생각이 듭니다ㅎㅎ 그만큼 바쁘게 살아왔다는 거겠죠?! ㅋㅋ

그래서 한해를 마무리하면서 회고를 쓰는 게 참 좋은 것 같습니다. 회고를 통해서나마 1년 동안 내가 목표했던 것들을 이루었는지, 무엇을 잘했고 못했는지를 정리하는 시간을 가지는 게 다음 해의 성장과 로드맵(인생, 커리어)을 그리는데 도움이 되는 것 같아요.

저에게 2022년은 꽤 많은 일들이 있었던 한해였습니다. 당황, 슬픔, 기쁨...희로애락이 Big 이벤트로 하나씩 왔던 것 같습니다 ㅋㅋㅋ 올해는 어떤 일들이 있었는지 하나씩 살펴보겠습니다.

1. 사내 컨퍼런스 (aka 프로콘)

DDD 관련 주제로 발표를 진행했다

개인적으로 컨퍼런스에서 발표하는 게 버킷리스트 중 하나였습니다. 마침 회사에서 사내 컨퍼런스를 연다고 해서 "이때다!" 싶어서 바로 지원을 했습니다. 저의 발표 주제는 새로운 프로젝트를 진행하면서 DDD를 처음 접했을 때 느꼈던 생각등에 대해서 정리한 내용이었습니다.

발표는 늘 새롭고 힘든 것 같습니다. 몇 번을 연습했는데도 발표 당일 호흡조절도 잘 못하고 목소리도 떨리고 ㅋㅋㅋ 그래도 덕분에 좋은 경험을 했던 것 같습니다.

컨퍼런스를 통해 동료들과 더 친해지는 계기도 되고 준비를 하는 과정에서 많은 것들을 배웠습니다. 정말 나중에는 외부 컨퍼런스에서 여러 사람들에게 도움이 되는 발표를 하고 싶네요.

2. 사내 글쓰기 모임 리딩

채널에 글쓰기를 함께할 동료들을 모았다

글을 읽는 여러분들도 마찬가지겠지만, 저는 '성장'을 중요하게 생각하는 사람입니다. 근데 이 '성장'이 저 혼자만의 성장이 아니라 나, 동료, 회사의 성장을 말합니다!

회사생활을 하면서 함께 성장할 수 있는 재밌는 이벤트가 뭐가 있을까 고민하다가 제가 예전에 참여했던 개발자 글쓰기 모임(글또)이 떠올랐습니다. 그래서 다또(다노+글또)를 만들어서 함께할 동료들을 모집했습니다.

대단한 일은 아니지만 2주마다 서로 공부한 내용을 블로그로 적고 공유하는 과정에서 함께 성장한다는 느낌도 받았고 동료들에게 많은 동기부여도 많이 받았던 것 같습니다.

사실 이런 모임을 만들어도 결국 같이 하는 동료들이 없다면 무용지물인데 생각보다 많은 동료들이 함께해줘서 놀랍고 고마웠습니다.

사내 글쓰기 모임 운영 후기 및 회고 (feat.다또)

올해 1월부터 6월까지 사내 글쓰기 모임을 운영하면서 느낀 점 등을 정리하는 글입니다! 시간이 생각보다 금방 흘러가네요...벌써 반년이 지나다니;; 사내 글쓰기 모임을 시작한 이유 개인적

jay-ji.tistory.com

3. 해커톤 아이디어가 프로덕으로!

해커톤 아이디어에 대한 구체적인 방향 논의

2022년에는 뭔가 굵직한 이벤트들이 많았던 것 같습니다. 회사에서 무려 일주일 동안 해커톤을 진행했습니다. IT회사를 다니면서 나름 로망이 해커톤을 해보는 거였는데 로망을 이루었습니다 ㅋㅋㅋ

해커톤은 아이디어를 제공하고 많은 픽(pick)이 된 아이디어를 가지고 프로토타입을 만드는 방식으로 진행되었습니다. 저도 아이디어를 냈는데 운 좋게(?) 픽이 되어서 함께할 동료들을 모아서 진행했습니다.

제가 낸 아이디어는 여러 사람들이 플랜(plan)을 공유하고 피드백해주는 플랫폼입니다. 최근에 여자친구랑 제주도 여행을 준비하면서 계획을 짜는 과정이 쉽지 않았어서 누군가의 계획을 그대로 보고 따라 하면 좋을 것 같다는 생각에서 시작된 아이디어였습니다.

코딩도 하긴 했지만... 저녁에 많이 놀긴 했음...ㅋㅋㅋ

해커톤을 진행하던 일주일 동안은 동료들과 에어비엔비로 숙소를 잡아서 함께 코딩도 하고 맛있는 음식을 먹으면서 재밌는 시간을 보냈습니다.

개인적으로 이번 해커톤이 더 뜻깊었던 것은 실제 프로덕까지 릴리즈 했다는 것입니다. 이 시기에 회사에서 많은 도전을 해보던 때라서 해커톤 프로젝트 중 몇 개를 선정해서 실제 릴리즈까지 하게 되었는데 그 과정에서 제 아이디어가 선택되었습니다.

한 달 좀 넘는 기간 동안 TF팀을 꾸려서 더 완성도 높은 프로덕으로 릴리즈를 했습니다. 팀원들 모두 열정을 다해서 기획, 개발, 디자인을 했던 것 같고 애정도 많았던 것 같습니다.

아쉽게도 회사 사정상 프로덕은 접게 되었지만 이 과정에서 혼자 백엔드 전반적인 부분을 담당하면서 얻어가는 것들이 많아서 개인적으로는 성장에 도움이 많이 되었던 것 같습니다.

함께해준 플랜어스 TF팀들에게도 다시 한번 고맙고 고생했다는 말을 전달하고 싶네요

해커톤 아이디어에서 실제 프로덕 배포까지 썰

안녕하세요! 개발자 JAY입니다! 몇 달 전에 사내 해커톤을 진행했었는데요! 운이 좋게도 제가 낸 아이디어가 선정되어 팀을 만들어서 프로토타입을 만들었습니다! 더 신기하게도 해커톤 아이디

jay-ji.tistory.com

4. '나는 주니어 개발자다' 세종도서 학술 부문 선정

응? 이게 왜?ㅋㅋㅋ 갑자기 세종도서 학술부문 선정 되었다

글또를 통해 만났던 분들과 작년에 '나는 주니어 개발자다'라는 책을 공동집필 했었습니다. 책을 출판했다는 것 자체만으로도 기분이 좋았는데 갑자기 세종도서 학술부문에 선정되었다고 해서 더 기분이 좋았던 것 같습니다.

사실 연락을 받기 전까지는 이런 기관이 존재한다는 것 자체도 몰랐지만 ㅋㅋㅋ 전문가들의 피드백을 통해서 저희 책이 선정되었다는 점에서 뜻깊었던 것 같습니다. 저희 책이 조금이나마 다른 분들에게 도움이 되고 긍정적인 영향을 줄 수 있으면 좋겠네요!

5. 예정에 없던 퇴사 (Good Bye DANO)

얼어붙은 IT 업계

올 한 해중 가장 당황스럽고 아쉬웠던 순간이었습니다. 아무래도 올 한해 IT업계의 투자상황이 좋지 않은 것도 있고 회사 내부사정으로 여러 가지 힘든 일들이 겹쳤던 것 같습니다. 결론부터 말하자면 예정에 없던 퇴사를 하게 되었습니다.

되돌아 보면 다양한 활동도 많이하고 재밌었던 일들도 많았던 것 같다

다노(DANO)는 정말 동료가 복지라는 말이 과언이 아닐 정도로 좋은 동료들이 많았습니다. 개발문화도 정말 좋았고 성장하기 정말 좋은 환

경이었어서 더 아쉬움이 큰 것 같습니다. (최소 2년은 있을 줄 알았는데... 1년 만에 ㅠㅠ) 살면서 내가 이런 일을 겪을지 몰랐는데... 사람일은 정말 어떻게 될지 모르는 것 같습니다.

다노에서 함께했던 모든 동료들의 앞날을 응원하고 저와 비슷한 상황에 놓였던 분들도 응원하겠습니다! 그리고 저에게 좋은 동료들을 만나게 해 준 다노의 내일도 함께 응원합니다!

6. 재도전, 합격! 커리어 세 번째 이직 성공!

출근 첫날 찍었다ㅋㅋㅋ 링크드인 프사로 이용중

다노에서 예상치 못한 퇴사를 정하고 다음 거처를 정해야 했습니다. 근데 한편으로는 다노에서 1년 동안 많이 성장했기 때문에 어디든 갈 곳은 있겠지라는 자신감은 있던 것 같습니다.

그리고 예전에는 면접이 너무 무섭기만 했지만 지금은 저를 테스트해볼 수 있는 수단, 다른 회사의 개발자들을 만날 수 있는 기회(?) 같이 생각이 돼서 면접과 이직을 하는 과정이 설레고 재밌기도 했습니다. (물론 떨리기도 합니다 ㅋㅋㅋㅋㅋ)

결론적으로 현재 '화해'라는 서비스를 하고 있는 '버드뷰'에 최종 합격하여 입사하게 되었습니다. 사실 버드뷰는 예전에 첫 이직준비 할 때 떨어졌었는데 이번에 재도전을 해서 합격하게 되었습니다. 지금 와서 보면 그때는 떨어질만했던 것 같습니다 ㅋㅋㅋㅋ 처음 지원했을 때 면접의 기억도 좋았고 버드뷰 기술블로그를 통해 접하는 개발문화를 보면서 꼭 이 회사에서 일해보고 싶다는 생각이 항상 있던 것 같습니다.

회사 자랑 좀 하자면 복지도 좋고 개발문화도 좋고 사람들도 다 좋습니다! 정말 다들 성장에 대한 욕구와 서비스를 잘 만들고자 하는 마음이 커서 옆에 있는 동료들에게 동기부여도 많이 받고 또 동기부여를 줄 수 있는 환경입니다.

물론 저희 회사가 완벽한 회사는 아니지만(완벽한 회사가 있나요?ㅋㅋ) 적어도 앞으로 계속 나아가고 지속적으로 성장하려는 회사라고 자신 있게 말할 수 있습니다! 주도적으로 일하시는 분들에게는 좋은 환경이라고 자부합니다!

수습 3개월이 곧 끝나가는데, 개인적인 목표 및 바람으로는 동료들이 신뢰할 수 있는 개발자가 되고 싶네요. 그리고 동료들과 함께 열심히 성과를 내서 2023년에 버드뷰가 더 날개를 활짝 펴고 날아갈 수 있게 힘이 되고 싶네요!

7. 나는 어떤 개발자가 되고 싶은가?!

오늘 점심 고민만 하다가... 더 어려운 질문이...

회사 복지중 MSA 관련된 강의가 있는데 강의를 해주시는 동료께서 최근에 수강생들에게 "어떤 개발자가 되고싶냐?"라는 질문을 했던 적이 있습니다. 이 질문은 지금까지 누군가에게 들어봤던 적은 몇 안 되는 것 같습니다.

저는 내년이면 5년 차 개발자입니다. 매년이 커리어에 중요한 시기지만 특히나 저희 회사에서는 5년 차부터는 미들급이기 때문에 더 중요한 시기로 와닿는 것 같습니다. 저 스스로도 이제는 주니어딱지(?)를 떼고 중니어로서 역할을 잘 해내야 하지 않나 생각도 했습니다.

그래서 더 "나는 어떤 개발자가 되고싶지?"라는 질문에 대해서 더 깊게 고민해 봤습니다.

함께라면...뭐든 할 수 있어!

여러 번 고민해본 결과 저는 "동기부여를 줄 수 있는 개발자"로 결론을 냈습니다. 예전에는 업계 최고의 개발자... 뭐 이런 목표를 가지고 있었던 기억이 있네요ㅋㅋ 그럼에도 불구하고 "동기부여를 줄 수 있는 개발자"로 정한 이유는 나 혼자 잘되는 것보다는 누군가 포기하고 싶거나 도움이 필요할 때 손을 내밀수 있고 저를 통해서 한 단계 나아갈 수 있다면 그것만으로도 되게 의미 있고 보람이 있을 것 같다고 느꼈습니다.

이런 생각을 가지게 된 이유는 제가 1년 차 때부터 그런 시기를 겪었고 그 과정 속에서 많은 분들에게 도움을 받으며 성장했기 때문입니다. 함께 일하던 동료와 지인들의 위로와 칭찬, 동기부여를 통해서 지금의 제가 있다고 생각합니다.

단순히 개발실력뿐만 아니라 멘털, 마인드 적으로도 도움이 될 수 있는 그런 개발자가 되고 싶습니다. (사실 실력 좋으신 분들은 너무 많아서 ㅋㅋㅋ 저는 이제 노빠꾸 정신력 뭐 이런 거... 혹은 아재개그(?)ㅋㅋ) 내년에는 멘토 혹은 어떤 방법이든 도움을 줄 수 있는 프로그램이나 글들을 남길 수 있는 활동들을 많이 하고 싶네요.

8. 회고를 마치며

흐름을 탄다는걸 나름 고민해서 표현해본 짤

2022년 한 해도 나름 재밌게 보낸 것 같습니다. 개발자로서 뿐만 아니라 좀 더 인간적으로 성숙해진 것 같기도 해요.

30년 조금 넘게 살아오면서 느낀 건 인생은 예상치 못한 이벤트들을 통해서 흘러가는 것 같습니다. 그게 좋던 나쁘던 우리는 그 흐름을 타야 할 때가 있습니다. 그 흐름 속에서 중요한 건 내가 어떻게 방향을 잡느냐 인 것 같아요.

어떤 목표를 가지고 방향성을 잡느냐에 따라서 더 좋은 쪽으로 흘러갈 수도 있고 나쁜 쪽으로 흘러갈 수 도 있습니다. 뻔한 말이지만 여러분들도 여러분의 인생에서 목표와 방향성을 잘 잡고 나아가셨으면 좋겠습니다!

그럼 23년도에도 모두 한층 더 성장하는 한 해가 되길 바라며...아디오스~

2022년 아디오스~

홈서버(?)에서 서빙하던 서비스 클라우드 이전 썰 (feat. OPGC, AWS Lightsail)

피트웨어 제이 (FitwareJay) — Mon, 3 Oct 2022 20:19:14 +0900

재밌어 보이죠?!!ㅋㅋㅋ

안녕하세요! 개발자 Jay입니다! 오늘은 약간 재미난 썰(이라고 쓰고 날벼락 맞은 썰 이라고 읽는다...)을 가지고 왔습니다ㅎㅎ

2년 전쯤 [Server] 안쓰는 노트북으로 개인서버(Ubuntu) 만들기 라는 글을 쓴 적이 있었습니다. 집에서 버리려다가 만 노트북을 ubuntu server로 만들어서 사용을 했습니다. 덕분에 이 서버에서 토이 프로젝트도 서빙하고 여러 가지 실험도 할 수 있었습니다.

엊그제 까지만 해도(?) OPGC라는 서비스를 서빙하고 있었죠 ㅋㅋ

2022년 9월 31일 오후 1시 사건의 발단

백수의 하루

사건은... 평화로운 백수생활을 즐기면서 꿀잠자고 있던 2022년 9월 30일 오후 1시에 일어났습니다... 갑자기 탕! 하는 큰소리와 함께 건물 외벽이 울리는 겁니다...

순간 무슨 사고라도 밖에 터졌나 했는데 너무 조용하고..."뭐지?" 하다가 벽을 보니까 뭔가 끊어진 선이 하나... 보이더라고요. 3초간 머엉~ 하고 생각하다가 랜선인가? 하고 생각했는데 ㅋㅋㅋㅋ 서버가 죽었다고 슬랙 알림이 오기 시작했습니다ㅋㅋㅋㅋㅋ

ㅋㅋㅋ 가운데 길게 떨어진게 우리집 랜선

어이가 없어서 황급히 밖에 나가보니 랜선 하나가 끊어져 있는게 보이더라고요 ㅋㅋㅋㅋㅋ 아니 살다 살다 ㅋㅋㅋ 탑차 같은게 지나가다가 저희 집 랜선을 걸고 가서 끊어진 걸로 추측이 됩니다ㅠㅠ

요렇게 든든하게 사용하던 홈서버인데....랜선 끊어지니 무용지물

readme에 위 빨간박스 안에 뱃지로 제공해주는 OPGC

뭐 당장 인터넷이 안되는건 상관없는데 유저들이 사용하고 있는 OPGC에 장애가 생기는게 걱정이었습니다. OPGC에서는 개발자 랭킹을 github 뱃지(?)로 제공하고 있어서 서비스 장애가 나면 깃헙 readme에 엑박(엑스박스)떠서 보기 좋지 않기 때문입니다.

너무 황당해서 생코에 바로 글을 올렸습니다 ㅋㅋㅋ

유저가 많지는 않지만 실제로 유저들이 사용하는 서비스이기 때문에 빨리 복구를 해야겠다는 생각뿐이었습니다. 안그래도 맨날 이사 가거나 집 구조 바꿀 때마다 인터넷이 끊기면 서비스 장애가 돼서 클라우드로 이전을 해야겠다고 생각했는데 ㅋㅋㅋㅋ 강제로 그 시기가 찾아왔습니다.

클라우드로의 이전

이전 직장에서 동료들이 AWS Lightsail로 토이프로젝트를 서빙하고 있고 값이 싸다고 알려준 적이 있어서 바로 AWS로그인해서 Lightsail페이지로 들어갔습니다.

클릭 몇번으로 인스턴스를 생성할 수 있다

Lightsail은 클릭 몇번으로 원하는 사양과 목적에 맞는 서버를 생성할 수 있습니다. 저는 홈서버와 비슷하게 하나에 서버에 nginx, mysql, redis, django application을 구성할 거라 ubuntu 20.04 LTS로 선택했습니다. 서버 사양은 홈서버와 비슷하게 20달러짜리로 하고 싶었는데 10달러짜리가 3개월 무료라서 10달러짜리를 선택했습니다.

어차피 트래픽이 그렇게 많지도 않고 고사양 스펙을 돌리는것도 아니라서 괜찮을 거라고 생각했습니다. (+ 고정아이피 사용)

서버를 생성하고 기존 홈서버에서 몇가지 파일들과 DB data를 옮기기 위해 USB를 사용했습니다.

USB 마운트 해서 파일 복사하는 과정

탑차가 저희집 랜선을 끊고 간 덕분에 usb 마운트 해서 파일 옮기는 법도 알게 되었네요 ㅎㅎ 일단 파일들을 옮기고 기존 홈서버와 동일하게 환경 세팅을 했습니다.

nginx, mysql, redis를 설치하고 원래 사용하던 fabfile을 통해 init 배포를 시작했습니다. fabfile은 fabric이라는 파이썬 라이브러리로 간단하게 배포를 할 수 있는 파일을 말합니다.

https://jay-ji.tistory.com/38?category=828550

local 개발환경 세팅부터 배포까지 - 3부(Fabric)

안녕하세요! 운동하는 개발자 Jay입니다. 오늘은 대망의 3부 배포에 대해 알아 보겠습니다. 배포를 위해 Fabric 이라는 python 라이브러리를 사용하겠습니다. GitHub에서 프로젝트를 clone 받아서 실행(r

jay-ji.tistory.com

사실 기존 홈서버와 다른점이 클라우드라는 점만 빼면 동일했기 때문에 특별히 이슈는 없었고 OPGC의 클라우드 이전은 무사히 마칠 수 있었습니다.

클라우드 서비스 이전 과정 요약

ubuntu 서버 생성
nginx, mysql, redis 설치
djagno application 배포 및 gunicorn 실행, nginx <-> gunicorn 연결
프론트(react) build 및 nginx에 index경로 연결
도메인 서비스(GoDaddy) 가서 A레코드 IP 주소 변경
SSL 인증서 설치
서비스 동작 확인

마치며

긍정회로 돌리

세상 황당한 일을 겪었지만 덕분에 많은걸 얻은 것 같습니다 (긍정 회로 돌리기)

클라우드로 서비스 이전 (이제 이사가거나 두꺼비집 내려가서 서비스 장애 나는 불상사 없어짐)
ubuntu usb 마운트 하는법 습득
블로그 컨텐츠 획득
서버 배포과정 한 번 더 복습

여러분들도 토이프로젝트 하신다면 AWS Lightsail 한 번 이용해보시길 바랍니다. 값이 싸서 이것저것 해보기 좋은 것 같아요! 인터넷이 복구되면 기존에 사용하던 서버는 좀 자유롭게 이상한짓(?)을 해보는 테스트 서버로 사용해야겠네요 ㅋㅋ

그럼 오늘도 즐거운 코딩 하시길 바래요!

참고자료

Ubuntu usb mount/unmount

[Ubuntu] USB 마운트(mount)/언마운트(unmount) 하는 방법

안녕하세요. 메이플입니다. 최근에 라즈베리파이에 우분투 OS를 설치해서 작업 중인데, USB를 사용하는 방법을 잘 모르겠더라고요. 그래서 열심히 검색해봤는데.. 제가 원하는 딱! 정리된 정보가

mapled.tistory.com

https://mingg123.tistory.com/88

[Ubuntu] MySql 재설치, 제거부터 설치까지

mySql을 로컬에 깔아야 할 일이 생겼다. 몇 번이나 삭제, 수정을 하면서 그냥 포스팅 하려고한다. 재설치 mysql관련된 라이브러리 까지 모두 깔끔하게 삭제한다. sudo apt-get remove --purge mysql* 혹여나

mingg123.tistory.com

https://wikidocs.net/6601

03) Nginx, Gunicorn 배포

[TOC] # 시스템 구성 예시 * 우분투 16.04 * Django * nginx * Gunicorn 다음 설치 예제는 실제 물리서버가 아닌 vultr.com의 가상 ...

wikidocs.net

우분투 nignx 무료 ssl 인증서 설치하기

우분투 리눅스에 Nginx 무료 HTTPS 인증서 설치하기

이 튜토리얼은 우분투 리눅스에서 무료 SSL을 암호화하여 Nginx 무료 HTTPS 인증서를 설치하는 데 필요한 모든 단계를 보여줍니다.

itexpert.tips

https://joonyon.tistory.com/entry/EC2%EC%97%90%EC%84%9C-EC2%EB%A1%9C-ssh-public-key-%EB%B0%B0%ED%8F%AC%ED%95%98%EA%B8%B0PEM-File-%EC%9D%B4%EC%9A%A9

EC2에서 EC2로 ssh public key 배포하기(PEM File 이용)

AWS EC2에 접근하기 위해서는 PEM File을 이용하게 되는데, 이 때문에 EC2 끼리 패스워드 없이 접속하기 위해서 ssh-keygen 후 public key를 배포하는데 ssh-copy-id 를 이용 할 수가 없다. 이러한 문제를 해결

joonyon.tistory.com

https://chamshna.tistory.com/3

PEM 키를 이용한 SSH 원격 접속

[목표] 터미널 창에서 pem 키를 이용하여 ssh 원격접속 1. 키페어 파일에 권한부여 (Linux의 경우) - OS마다 차이가 있지만 대표적인 예로 MacOS는 파일 권한이 400(파일 소유권자만 읽기 가능)이 아닌 경

chamshna.tistory.com

[SQLAlchemy] async_scoped_session과 context-local

피트웨어 제이 (FitwareJay) — Sat, 1 Oct 2022 20:42:49 +0900

안녕하세요! 개발자 Jay입니다! 오늘은 지난번 Session vs scoped_session에 이어서 async_scoped_session에 대해서 정리해보려고 합니다!

async_scoped_session이 나오게 된 배경

async_scoped_session은 1.4.19 release에서 추가된 클래스입니다. 그럼 async_scoped_session은 왜 추가되었을까요? 릴리즈 내용을 먼저 확인해 보겠습니다.

async_scoped_session 릴리즈 내용

scoped_session과 AsyncSession 사이의 비호환성을 해결하기 위해 async_scoped_session이 구현되었다고 합니다. 그리고 async_scoped_session.remove()와 함께 사용되어야 한다고 하네요.

그럼 어떤 비호환성이 있었을까요?

#6583 이슈

#6584 이슈를 보면 scoped_session과 AsyncSession을 함께 사용한 코드에서 AsyncSession의 close가 호출되지 않는 오류입니다. 에러 메세지로는 이런 에러를 뿜어내고요!

RuntimeWarning: coroutine 'AsyncSession.close' was never awaited

뭐가 문제였을까요? scoped_session의 remove는 async/await를 지원하지 않기 때문에 이런 문제가 생겼던 것입니다.

두 번째로는 위 PR에도 이야기가 나오긴 하는데... scoped_session은 thread-local을 사용합니다. 하나의 스레드에 하나의 세션(Session)을 할당하는 방식이죠.

출처: https://eng.paxos.com/python-3s-killer-feature-asyncio

Asyncio 코루틴(coroutine)에서는 하나의 thread로 여러 컨텍스트(context)를 실행합니다. 이때 컨텍스트들은 동일한 세션에 접근하게 됩니다. 그럼 어떤 일이 벌어질까요? [SQLAlchemy] Session vs scoped_session 에서 설명했듯이 thread-safe하지 않은... 여기서는 context-safe라고 해야 하나... 아무튼 의도하지 않은 동작과 오류가 날 수 있습니다.

비동기를 지원하려면 context-local을 보장해야 한다는 말입니다!

async_scoped_sesison은 어떻게 context-local을 보장하는가?

async_scoped_session이 context-local을 보장하는 코드

async_scoped_session은 asyncio.current_task와 같은 scopedfunc을 주입받아서 self.registry 딕셔너리에 키값으로 사용합니다. 즉 각각의 context의 current_task를 key값으로 사용하고 Session(AsyncSession)을 vaule로 넣어줍니다.

이렇게 되면 context-local을 보장하는 형태가 되는 거지요! ㅎㅎ 그럼 실제로 이렇게 동작하는지 확인해보겠습니다.

MySQL 커넥션을 담당하는 클래스를 만들고 내부에서 async_scoped_session을 사용하도록 정의

쿼리를 날려서 정보를 출력

쿼리는 select()이며 중간 생략하였습니다. 먼저 context-local에 대해 테스트를 해보기 위해 async_scoped_session.remove()를 마지막에 호출하지는 않았습니다.

async_scoped_session.remove()를 꼭 호출해야 하는 이유는 위에서 언급한 context-local을 지원하기 위해 context마다 AsyncSession을 저장하고 작업이 완료되면 해당 AsyncSession을 삭제해야 하기 때문입니다. async_scoped_session.remove()를 호출하지 않으면 AsyncSession이 메모리에 남게 되고 메모리 누수에 대한 위험이 있습니다.

저는 테스트를 위해 일부러(?) async_scoped_session.remove() 호출하지 않겠습니다. API를 호출해서 get_detail_info()를 한번 호출해보도록 하겠습니다.

첫 호출에는 아무값도 없기 때문에 KeyError

당연히 처음 호출할 때는 self.registry에는 아무 값도 없기 때문에 예외처리로 들어가서 AsyncSession을 생성하겠죠? 그럼 두 번째 호출을 해봅시다.

오...무언가 들어있다

self.registry에 무언가 들어있습니다. AsyncSession객체가 하나 들어있는데 이 객체는 방금 전 호출한 Task의 AsyncSession입니다. 우리가 async_scoped_session.remove()를 호출하지 않았기 때문에 메모리에 계속 남아있는 것입니다.

그럼 좀 더 많이 호출을 해보겠습니다.

엄청난게 쌓인 AsyncSession객체들

와우... 일단 첫 번째로 async_scoped_session이 context-local을 어떻게 보장하는지 눈으로 직접 확인할 수 있네요.

두 번째로는 async_scoped_session.remove()를 호출하지 않으면 메모리 누수를 일으킬 수 있다. 무조건 마지막에 호출을 해줘야 한다. 하지만 여기서 끝이 아닙니다...

커넥션이 계속 생성됨

더 큰 문제는 MySQL의 커넥션 스레드가 계속 증가한다는 점입니다. 다만 계속 호출하다 보면 max_overflow에 걸려서 연결된 커넥션 풀이 특정 개수 이상이 되면 오류를 냅니다.

연결할 수 있는 최대 connection pool을 넘어가면 오류

pool 설정 관련

저의 경우는 default를 사용해서 self._overflow = 0 - 5(default) 이기 때문에 최대 커넥션이 -5부터 +1씩 증가해서 최대 15개까지 만들어진 후에 그때부터 오류가 났습니다. 결과적으로 API 호출에 대해 응답이 오지도 않았고요 (프로덕션이었으면 장애)

https://docs.sqlalchemy.org/en/14/errors.html#connections-and-transactions

Error Messages — SQLAlchemy 1.4 Documentation

Previous: Third Party Integration Issues Next: Changes and Migration Up: Home On this page: Error Messages Connections and Transactions DBAPI Errors SQL Expression Language Object Relational Mapping AsyncIO Exceptions Core Exception Classes ORM Exception C

docs.sqlalchemy.org

연결된 커넥션은 줄어들지만 생성된 커넥션 스레드는 줄어들지 않음

그리고 특이하게 MySQL에서 Threads_connected는 당연히 연결된 커넥션이니까 애플리케이션을 종료하면 줄어드는데 Threads_created는 줄어들지 않더라고요. 이 부분도 문제가 될 것 같고 정확한 내용은 MySQL 쪽 공부를 좀 더 해봐야 할 것 같습니다.

그래서 결론은...

공식문서에서도 주의사항으로 나타내주고 있네요

async_scoped_session을 사용할 때는 항상 async_scoped_session.remove()를 호출해라

https://docs.sqlalchemy.org/en/14/orm/extensions/asyncio.html#using-asyncio-scoped-session

Asynchronous I/O (asyncio) — SQLAlchemy 1.4 Documentation

Asynchronous I/O (asyncio) Support for Python asyncio. Support for Core and ORM usage is included, using asyncio-compatible dialects. Tip The asyncio extension as of SQLAlchemy 1.4.3 can now be considered to be beta level software. API details are subject

docs.sqlalchemy.org

마치며

며칠 동안 SQLAlchemy의 Session, scopred_session, async_scoped_session을 살펴보면서 상당히 많은 지식들을 공부했던 것 같고 습득했습니다.

그냥 단순히 기술을 사용하는 것보다는 왜 이렇게 동작하고 어떤 문제가 있을 수 있는지에 대해 알아보고 테스트해봤습니다. 확실히 시간과 이해에 대한 시간이 오래 걸리긴 하지만 기술에 대해 제대로 알 수 있었던 것 같고 공식문서와 PR 등을 살펴보는 것도 나름 재밌었던 것 같습니다.

혹시나 위 글을 읽으면서 잘못된 내용이 있다면 댓글로 첨언 부탁드립니다! 큰 도움이 될 거예요!

참고자료

https://www.hides.kr/1081?category=666044

FastAPI SQLAlchemy 연동하며 발생한 문제 정리

개요 기존과 다른 패러다임을 가진 비동기 프레임워크 FastAPI와 SQLAlchemy를 연동하는 과정에서 발생했던 문제들과 어떠한 형태로 해결했는지에 대해 다뤄본다. 사전 지식 SQLAlchemy는 scoped_session()

www.hides.kr

[SQLAlchemy] Session vs scoped_session

피트웨어 제이 (FitwareJay) — Sat, 1 Oct 2022 02:23:10 +0900

안녕하세요! 개발자 Jay입니다!

블로그에 말하지는 않았지만 퇴사한지 거진 한 달쯤 다되어가네요 ㅋㅋㅋ 입사 전 이것저것 해볼 계획은 많았는데... 생각보다 많이 못해서 아쉽지만... 여하튼ㅋㅋㅋ

토이 프로젝트 프레임워크로 FastAPI를 사용하면서 SQLAlchemy를 사용했었습니다. 그때는 막상 구현하는데 급급해서 자세히 알아보지 못했던 부분들이 있었습니다.

이번에 repository 쪽 코드를 리팩토링 하면서 Session과 scoped_session에 대한 내용을 제대로 파보았습니다.

Session이란?

SQLAlchemy에서 말하는 Session은 DB Session과는 전혀 다릅니다.(혹시나 헷갈릴 수도 있으니)

session이 하는 역할을 그림으로 나타내어 봄

SQLAlchmey의 Session은 일종에 ORM 버퍼라고 보면 되며 ORM 매핑 객체(object)에 대한 지속성 작업을 관리합니다. DB connection의 트랜잭션을 설정하고 관리합니다. 이 트랜잭션은 commit 하거나 rollback 지시가 있기 전까지 유효합니다.

그림에서 볼 수 있다시피 Session은 Unit-of-work(UoW) 패턴으로 되어있습니다. 공식문서에도 나오는 내용인데 UoW에 대해서는 여기를 참고하길 바랍니다. 간단히 말하자면 비즈니스 레이어에서의 트랜잭션 개념입니다. UoW 패턴을 사용하면 데이터 무결성을 보장할 수 있습니다.

Session은 ORM 혹은 model 객체(object) 들을 이용하여 DB에 CRUD 작업들을 실행시킬 수 있습니다.

Session은 thread-safe를 보장하지 않습니다.

(이게 진짜 오늘의 핵심 포인트)

https://docs.sqlalchemy.org/en/14/orm/session_basics.html#is-the-session-thread-safe

Session Basics — SQLAlchemy 1.4 Documentation

Session Basics What does the Session do ? In the most general sense, the Session establishes all conversations with the database and represents a “holding zone” for all the objects which you’ve loaded or associated with it during its lifespan. It pro

docs.sqlalchemy.org

scoped_session이란?

session은 오직 하나의 스레드에서만 사용하도록

여기서부터가 진짜 중요한 내용입니다. 위에서 Session은 thread-safe하지 않다고 했습니다. 공식문서를 보면 Session은 일반적으로 하나의 스레드에서 비동기 방식으로 사용하기 위한 것이라고 나와있습니다.

두 번째 문단의 내용을 간단히 말하면 아래와 같습니다.

다중 스레드(multi-thread)간에 Session이 공유되는 경우 thread-safe하지 못하다.
이것을 막기 위해서는 하나의 스레드당 하나의 Session을 연결하면 된다.(=Thread-local).
아니면 session이 함수 간에 전달되는 과정에서 다른 스레드와 공유하지 않는 패턴을 이용하는 것이다.

근데 위와 같은 것을 자동으로 해주는 게 scoped_session입니다!

scoped_session은 thread.local()을 사용하여 스레드 고유의 데이터 영역에 Session을 저장함으로서 thread-safe를 보장합니다. 이 말은 즉슨, 스레드끼리 Session을 공유하지 않습니다.

그럼 여기서 질문! Session을 스레드끼리 공유하면 무슨 문제가 있나요?

네 문제가 있죠. 위에서 계속 언급한 thread-safe와 관계있습니다. thread-safe는 다중 스레드 환경에서 여러 스레드가 공유자원에 접근해도 프로그램 실행에 문제가 없음을 뜻합니다. Session을 여러 스레드가 공유하게 되면 Session을 제어하면서 잘못된 동작 혹은 오류를 유발할 수 있습니다.

요약하자면...

thread-local을 사용하는 scoped_session은 하나의 thread당 하나의 Session을 가지기 때문에
thread-safe 하게 Session을 다룰 수 있다!

코드로 알아보자!

그럼 scoped_session을 사용하면 정말 thread-safe 한 지? scpoed_session에서는 어떻게 thread-local을 구현해서 session을 매니징 하는지 알아보겠습니다.

1. session을 다중 스레드에서 공유하는 형태

sessionmaker 선언

Session은 sessionmaker로 생성합니다. 여기서 사용되는 engine은 데이터베이스 연결과 동작의 소스를 제공하는 객체입니다.

동일한 session이 thread의 arg로 전달되는 예제

위 코드는 UserRepository의 메서드에서 thread에 session이 공유되는 형태입니다. API 호출을 통해 get_detail_info() 호출되면 어떻게 로그가 찍히는지 확인해 봅시다!

모두 동일한 Session을 사용하는걸 확인

결과는 역시 동일한 Session을 스레드가 공유하는 걸 확인할 수 있습니다. 그렇다면 이렇게 Session을 여러 스레드에서 공유하게 되면 어떤 문제가 있을 수 있을까요?

user를 추가하는 메소드

UserRepository에 위와 같은 insert 메소드를 만들어 보았습니다. 예제가 다소 극단적이긴 하지만 만약에 두 개의 스레드가 동시에 같은 데이터를 가진 User객체를 add하고 main 스레드에서 commit하면 어떻게 될까요?

IntegrityError를 뿜는 sqlalchemy

에러를 마주하게 됩니다. 두개의 스레드가 동일한 session을 사용함으로써 같은 트랜잭션 내에서 오류가 생겼습니다(Duplicate entry). 뭐 위처럼 코드를 작성하지는 않겠지만 이런 식으로 오류를 일으킬 수 있다고 생각하시면 됩니다. 그리고 같은 session내에서 에러가 생겼기 때문에 User는 DB에 추가되지 않았음을 확인할 수 있습니다.

이것이 SQLAlchemy 공식문서에서 말하는 Session이 thread-safe하지 않다는 말입니다.

그렇다면 scoped_session을 사용하면 어떨까요?

2. scoped_session에서 다중 스레드를 사용하는 경우

scoped_session 사용

코드가 바뀌는 부분은 scoped_session을 사용하는 것뿐입니다. 먼저 위에서 만든 get_detail_info()를 호출해보겠습니다.

thread1과 thread2가 서로 다른 Session을 사용

오! 정말 하나의 thread당 하나의 Session사용이 가능해졌습니다.

이제 insert()를 호출해볼 건데 약간의 코드 변경이 있습니다.

스레드 내부에서 commit() 호출

scoped_session은 thread당 다른 Session을 사용하기 때문에 각자 commit()을 호출하도록 했습니다. 결과는 어떨까요?

하나는 성공 하나는 실패

첫 번째 데이터를 추가할 때는 성공, 두번째 데이터를 추가할때는 오류가 났습니다. 어떻게 보면 당연한 거죠?! 다만 session을 서로 공유하지 않기 때문에 적어도 먼저 실행한 트랜잭션은 제대로 실행되었습니다.

지금 와서 보니 약간 예제가 다소 적절하지는 않은 것 같기도 하고... 좀 더 적절한 예제를 생각해본다면... Session을 여러 스레드에서 사용하는데 중간에 flush 혹은 commit을 어떤 스레드가 해버리면 다른 스레드에서는 잘못된 동작이 되겠... 죠?!

여튼 "여러 스레드에서 동일한 session을 공유하게 되면 thread-safe하지 않게 되어 의도하지 않은 동작이 일어날 수 있다" 정도로 이해하면 좋을 것 같습니다.

그럼 여기서 궁금증! scoped_session은 어떻게 thread-safe 하게 Session을 사용할 수 있는 것일까? 앞서 말했던 thread-local data를 사용하기 때문인데요.

scoped_session init()

ThreadLocalRegistry

scopre_session에서는 Session을 생성할 때 threading.local()을 사용합니다. self.registry.value에 값이 있으면 그대로 리턴, 값이 없으면 새로운 Session을 만들어서 리턴합니다.

Session객체를 가지고 있는경우

디버깅을 찍어보면 이렇게 thread-local data로 Session을 가지고 있는 것을 볼 수 있습니다.

번외 (Thread가 아닌 Process를 사용하는 경우)

get_deatil_info()에서 Thread를 Process로 변경한 경우

자 그럼 이 경우는 어떨까요? scoped_session을 사용할 때 Thread가 아닌 Process를 사용한다면?! ㅋㅋㅋ 한번 고민해보시고 아래를 봐주시겠어요?

동일한 Session을 사용한다

결과는 동일한 Session을 사용합니다! 이유는 scoped_session은 하나의 스레드당 하나의 Session을 사용한다고 했습니다. 위 코드에서는 메인 스레드에서 두 개의 Process를 실행했습니다. 결국 두 프로세스가 같은 메인 스레드에서 실행되었기 때문에 같은 Session을 사용한 것입니다.

처음에 Thread 말고 Process로 쓰다가 예상했던 동작이 아니어서 삽질하다가 발견한 내용입니다;; ㅋㅋㅋ

마치며

사실 이전에 SQLAlchemy를 사용할 때 토이 프로젝트에서 사용하기도 했고.... 그렇기에 구현 자체에만 집중했던 것 같습니다. 이번에 공식문서와 다른 블로그들을 참고하면서 Session 하나에서도 thread-safe, thread-local, unit-of-work 등 다양한 개념들을 배울 수 있었습니다.

이번에 글을 쓰면서 공식문서를 잘 읽기 위해 영어를 공부해야겠다는 생각을 정말 많이 한 것 같네요 ㅋㅋㅋ 물론 구글 번역과 일부 문장은 해석이 되지만... 문법이 좀만 복잡해지거나 모르는 단어가 많으면 헷갈리더라고요 ㅋㅋㅋ 영어를 잘했으면 삽질을 덜 했을 것 같네요.

여튼 글을 쓰면서도 재밌었고 다음은 async_scope_session에 대한 내용을 정리해보도록 하겠습니다! 그런 오늘도 즐거운 코딩 하세요~

참고자료

https://jybaek.tistory.com/914

SQLAlchemy add, flush, commit

SQLAlchemy는 애플리케이션 개발자에게 SQL의 모든 기능과 유연성을 제공하는 Python SQL 툴킷 및 객체 관계형 매퍼입니다 (공식 홈페이지 소개 문구). 모든 데이터베이스 객체를 다룰 때 신경 써야 하

jybaek.tistory.com

https://yujuwon.tistory.com/349

[SQLALCHEMY] session 관리

SQLAlchemy에서는 정말 편리하게도 많은 기능들을 제공해 주고 있다. 그 중 하나로 pool 관리도 해주는데 대부분 아래와 같이 사용할 것이다. from sqlalchemy import create_engine from sqlalchemy.orm import s..

yujuwon.tistory.com

https://velog.io/@khh180cm/6.-%EC%9E%91%EC%97%85-%EB%8B%A8%EC%9C%84-%ED%8C%A8%ED%84%B4

6. 작업 단위 패턴

UoW(Unit of Work)

velog.io

https://soundprovider.tistory.com/entry/python-Thread-Local-Data

[python] Thread-Local Data

파이썬에서 thread-local data와 관련된 좋은 글이 있어 정리하고자 한다. 원글은 이 글인데 이 사이트에 Threading, Multiprocessing, ThreadPoolExecutor, ProcessPoolExecutor에 대한 설명들이 매우 잘 돼있다...

soundprovider.tistory.com

https://www.hides.kr/1103?category=666044

FastAPI에서 SQLAlchemy Session 다루는 방법

개요 FastAPI는 비동기 프레임워크이다. 내부적으로는 Starlette를 Wrapping한 프레임워크인데 일반적인 동기 프레임워크인 Flask, Django등과는 다른 패러다임을 가지고 있다. 그에 따라 프로덕션 레벨에

www.hides.kr

RabbitMQ 톺아보기 2부 (feat.pika)

피트웨어 제이 (FitwareJay) — Sat, 17 Sep 2022 20:47:42 +0900

RabbitMQ 톺아보기 1부에 이어서 2부를 시작하겠습니다!

RabbitMQ 톺아보기 1부

안녕하세요! 개발자 Jay입니다! 최근에 저의 관심사는 Event-driven, MSA입니다. 아무래도 MSA의 문제가 서비스가 잦은 호출로 인한 네트워크 과부하, 데이터 정합성, 트랜잭션 등에 문제가 있다 보니 E

jay-ji.tistory.com

2부에서는 실제 python application으로 RabbitMQ를 활용하는 방법에 대해 알아보려고 합니다. pika라는 라이브러리를 활용할 예정이에요!

공식 홈페이지에서 다양한 언어로 사용하는 방법이 예제로 나와있네요

pika는 RabbitMQ 공식 홈페이지 듀토리얼에서도 사용되는 라이브러리입니다! 공식홈페이지에 보면 다양한 언어에 대해 친절하게 예제들이 만들어져 있습니다! RabbitMQ 듀토리얼과 pika공식문서가 진짜 잘 나와 있어서 여길 보시는 게 제일 좋은 것 같아요! 일단 그냥 속성으로 아 이렇게 쓰구나 정도로 제 글을 보시면 될 것 같습니다!

1. pika란?

pika pika pika~~chu~

피카(pika)란 피카 피카 피카츄~~~백만볼트를 사용하는 라이브러리...

미안합니다...

에헴... pika는 RabbitMQ를 사용할 수 있게 도와주는 python 라이브러리 입니다.

네 pika는 이런 역할을 하는 라이브러리 입니다.

앞서 말씀드렸다시피 RabbitMQ 공식 튜도리얼에서도 이 라이브러리를 사용하는 거면 상당히(?) 검증이 되어있는 라이브러리라고 볼 수 있을 것 같습니다.

먼저 간단히 pika를 이용해서 RabbitMQ 커넥션과 Pub/Sub을 담당하는 모듈을 만들어 보겠습니다.

2. Pub/Sub 모듈 만들기

pika에서 제공하는 커넥션 어댑터 모듈

pika는 동기, 비동기 커넥션 모듈을 제공합니다. 비동기 어댑터에서는 별도의 I/O loop와 콜백 형태의 사용 방식으로 비동기 구현을 할 수 있습니다. pika로 RabbitMQ 커넥션 하는 방법 중 가장 간단하고 쉬운 방법은 BlockingConnection을 사용해 동기적으로 처리하는 방법입니다.

일단은 BlockingConnection 어댑터를 사용해서 Pub/Sub모듈을 만들고 간단히 테스트 먼저 해보겠습니다. 뒤에서 비동기 어댑터에 대한 내용을 좀 더 자세히 다루도록 할게요!

BasicPikaClient

첫 번째로 BasicPikaClient라는 클래스를 정의했습니다. 기본적으로 RabbitMQ와의 커넥션을 만들어주는 클래스입니다. PlainCredentals은 말 그대로 인증과 관련된 클래스입니다.

ConnectionParameters를 통해 url, host, user, password, port, credentials 등의 값을 BlockingConnection 어댑터로 전달하여 인스턴스를 생성합니다. 생성된 커넥션 객체를 통하여 chnnel을 생성할 수 있습니다.

chnnel 설명

chnnel은 간단히 말하자면 "단일 TCP 연결을 공유하는 경량화된 연결"이라고 합니다. 뭐 TCP연결을 여러 개 만들어서 사용하면 리소스 낭비니까 하나의 TCP 연결에 여러 개의 chnnel을 만들어서 공유한다는 의미인 것 같습니다.

주의사항으로는 멀티 프로세스, 스레드인 경우 chnnel을 공유하지 말고 새로운 각 프로세스, 스레드마다 새로운 chnnel을 만들어서 사용하는 것이 일반적이라고 합니다.

좀 더 자세한 chnnel에 대한 설명은 여기서 확인하시길 바라요!

기본적인 커넥션에 대한 클래스를 생성했으니 publisher, consumer 클래스를 만들어 보겠습니다.

이벤트 생성 클래스

코드를 보면 queue, exchange를 선언하는 메소드와 메세지를 publish 하는 메소드가 있습니다.

이벤트 소비 클래스

이벤트를 소비하는 클래스에서는 하나의 메세지만 처리하는 메소드, 메세지를 계속 소비하는 메소드 두 가지가 있습니다.

여기서 주의해서 봐야 할 건 basic_consume의 auto_ack파라미터 인데요. 말 그대로 acknowledgement를 자동으로 처리할 건지에 대한 옵션입니다. True인 경우 자동으로 처리해주고 아닌 경우 사용자가 직접 ack에 대한 처리를 해줘야 합니다.

여기서 ack에 대한 처리란 RabbitMQ로 ack를 보내줘야 한다는 의미입니다. 메세지에 대한 callback을 마지막까지 잘 처리했다는 걸 보장하는 의미입니다. 중간에 로직이 잘못되어 실행이 안 되는 경우 다시 이 메세지를 소비해야 하기 때문입니다.

auto_ack=False

auto_ack가 False일때 메시지를 모두 처리하고 ack를 RabbitMQ로 전달하지 않은경우 위 처럼 메시지가 삭제되지 않고 Unacked에 남아있게 됩니다. 이때 실행중인 consumer를 중지하면 Ready로 메세지가 이동합니다.

start_consuming()은모든 consumer들이 canceld 될 때까지 I/O events, dispatchers timers, 'basic_consume' callback 등을 처리한다고 합니다. while문을 돌다가 채널이 close 되면 rasie 호출되면서 종료되는 형태로 보입니다.

flush_output()에서 ioloop pulling을 하고 있다

내부적으로 어떻게 되나 궁금해서 좀 더 파보았는데... 계속 event를 polling 하여 처리할 event가 있는지 확인합니다.

deque에 저장되어있는 이벤트들

event가 존재하면 basic_consum()의 on_messge_callback 파라미터로 넘겨준 함수가 callback으로 실행됩니다.

소켓에서 데이터를 읽어들여서 프로토콜로 전달

근본적으로 RabbtMQ에서 데이터를 어떻게 받아오는지 보고 싶어서 좀 더 들여다보았는데요! on_socket_readable 메소드의 설명을 보면

소켓에서 데이터를 수집하고 예외가 발생하거나(일반적으로 EAGAIN 또는 EWOULDBLOCK), 이벤트별 데이터 소비 제한에 도달하거나, 전송이 비활성화되거나, 실패할 때까지 데이터를 프로토콜에 전달합니다.

라고 하네요. 당연한 거긴 하지만 결국 모든 것은 소켓을 통해...ㅎㅎ

3. 메세지 생성 및 소비 테스트

1초 간격으로 메세지를 계속 생성하고, 그 메세지를 소비하는 예제를 만들어 보겠습니다.

(좌) 1초 간격으로 메세지를 publish (우) 메세지를 소비

저는 exchange를 topic타입으로 설정해서 테스트했습니다. 위 두 프로그램을 실행시키면 아래처럼 동작을 하게 됩니다.

메세지를 publish 하고 consum 하는 모습

RabbitMQ GUI에서 보면 현재 상태는 이렇습니다.

publisher, consumer 두개의 커넥션이 연결된 모습

두개의 채널 (publisher, consumer)

Queue에서 메세지의 소비와 어떤 cuonsumer가 연결되었는지 확인할 수 있음

예제코드

GitHub - JAY-Chan9yu/rabbitmq-python-event

Contribute to JAY-Chan9yu/rabbitmq-python-event development by creating an account on GitHub.

github.com

4. 비동기 어댑터 (Asynchronous adapter)

pika에서 제공하는 커넥션 어댑터 모듈

위에서 잠시 설명했던 비동기 어댑터에 대해서 설명해보겠습니다.

BlockingConnection의 설명

blocking connection adapter 모듈은 Pika의 핵심 AMQP 드라이버 위에 blocking semantics을 구현합니다.
blocking connection adapter를 사용할 때 대부분의 비동기식 예상(asynchronous expectations)이 제거되지만,
서버에서 보낸 RPC 명령의 지원, AMQP 프로토콜의 비동기식 RPC 특성에 충실하려고 시도합니다.

공식문서 설명을 번역한 건데 정확히 맞는 표현인지는 조금 애매하지만, 결론적으로는 동기적(synchronous)으로 브로커(RabbitMQ)로부터 받은 message를 소비하는 모듈입니다.

그럼 비동기적으로 처리하는 방법이 있다는 건데 위에서 보다시피 AsyncConnection, SelectConnection, GeventConnection, TornadoConnection, TwistedProtocolConnection이 비동기적으로 event를 처리하는 어댑터들입니다.

비동기 커넥션 어댑터들은 BlockingConnection과는 다르게 별도의 I/O loop와 콜백 형태의 문법을 통해 비동기적으로 event를 처리할 수 있습니다. 콜백형태의 문법이라 다소 파이써닉하지 않고 복잡하다고 하네요ㅎㅎ

이렇게 글로 보는 것보다는 코드로 한번 확인하는 게 좋을 것 같습니다! 저는 AsyncConnection을 사용해서 설명드리겠습니다.

(영문으로 정확한 내용을 파악하시려면 공식문서를 보시길 추천드립니다!)

publishing 하는 모듈은 동기로 그냥 사용하도록 하겠습니다. 비동기로 메세지를 소비하는 예제를 보겠습니다!

비동기적으로 메세지를 소비하는 예제

main 함수에서 gather()를 통해 코루틴(random_task)을 실행시킵니다. 또 create_task()로 do_rabbitmq()를 schedule 합니다.

AsyncioConnection을 사용한는 RabbitMQ 커넥션 모듈

AsyncioConnection으로 커넥션을 생성하는 모듈을 만들었습니다. 중요 코드만 설명하고 전체 코드는 깃헙을 참고해주시길 바랍니다.

생성자에서 새로운 이벤트 루프(new_event_loop())를 만들어서 AyncioConnection의 custom_ioloop로 전달합니다.

AsyncioConnection 으로 cusuming 하는 테스트

참고 (요건 코드를 커스텀 해서 사용하는 부분에 대한 저의 개인적인 의견 - 정확하지 않을 수 있습니다)

새로운 event loop를 만든 이유는 공개할 소스코드를 보면 확인할 수 있습니다만, 간략히 설명드리자면...

RabbitMQConnection 클래스의 start 메소드

코드에 RabbitMQ 커넥션을 시작하는 start 메소드가 있는데 여기서 새로운 스레드를 만들고 event loop를 run_forever()로 running 시키기 때문입니다. 만약 이 상태에서 RabbitMQConnection클래스의 생성자에서 get_event_loop()를 사용하면 main thread의 evnet loop를 가져오게 되고 이미 running중인 event loop를 재실행하려고 해서 RuntimeError가 납니다.

main thread의 event loop를 다시 running시키려고 해서 오류

그래서 main thread의 event loop를 사용해서 rabbitmq consumer를 비동기로 처리하고 싶다고 하시면 RabbitMQConnection의 start 메소드를 실행하지 않고 생성자에서 get_event_loop()를 호출하면 됩니다.

요런 느낌?!

저도 참고한 코드라 처음 작성자의 의도는 모르겠지만... main thread가 아닌 새로운 thread의 event loop를 사용하려는 이유를 추측해 보자면 애초에 하나의 thread(or process)에 하나의 chnnel을 권장하기도 하고 main thread의 event loop를 그대로 사용하면 main에서 사용하는 다른 event들과 pika에서 처리하는 event들이 같은 event loop에서 처리되기 때문에 작업이 겹치는(?) 상황이라 이런 부분이 조금 어색하기 때문이지 않나 생각됩니다.

결론은

용도, 역할별로 별도의 event loop를 만들어서 사용하자라는 의미로 새로운 thread에 새로운 event loop를 사용하지 않았을까
그리고 main은 main대로 pika는 pika대로 따로 처리해야 하기 때문에

저는 이런 의미라고 이해하고 사용했습니다. (혹시나 다른 의견이 있으시다면 댓글로 남겨주세요!)

예제코드

GitHub - JAY-Chan9yu/rabbitmq-python-event

Contribute to JAY-Chan9yu/rabbitmq-python-event development by creating an account on GitHub.

github.com

5. pika 문서를 보면서 잘 모르던 단어

문서를 보면서 잘 모르지만 중요한 거 같은 단어들에 대해서 정리해보려고 합니다.

첫 번째는 RPC입니다!

여기서 말하는 RPC는 gRPC의 RPC와 동일한 개념인데요. RPC(Remote Procedure Call)란 간단하게 Client는 Request를 Server에 전달하고 Server는 해당 Request를 처리하여 알맞은 결과 값을 다시 Client에 Response 해주는 방법이라고 합니다.

두 번째는 CPS(continuation-passing style)입니다!

CPS로 RabbitMQ 커넥팅 하는 방법

pika문서를 보다 보면 CPS에 대한 언급이 자주 나오는데요. CPS 코딩 패턴은 함수 실행이 끝남과 동시에 연이어 함수가 또 실행되는 프로그래밍 모델로 callback형태의 스타일을 말합니다.

CPS에 대한 자세한 설명은 아래 블로그를 참고하시길 바랍니다!

백엔드 개발자들이 알아야할 동시성 5 — Continuation Passing Style

협력적 스케줄링을 구현하기 위해서는 다양한 방법을 사용할 수 있습니다. 다양한 프로그래밍 언어에서 지향하는 다양한 철학에 따라 여러가지 구현 방법이 있을 수 있죠. 오늘은 협력적 스케

choi-geonu.medium.com

6. 마치며

pika라이브러리에 대한 설명만 하려고 했는데 Asyncio라던지 RPC, CPS 등 생소한 용어들에 대한 설명도 함께 하려다 보니 다소 길어지기도 하고 정리가 잘 안 되는 부분도 있긴 하네요 ㅎㅎ

내용을 pika 동기, 비동기 커넥션 두 가지로 쪼개는 게 좀 더 설명하기 좋았을 텐데... 이렇게 길어질 줄은 몰랐습니다. 그리고 공식문서와 깃헙을 보다보니 영어해석이 좀 난해한 부분이 있어서...영어 공부를 해야겠다는 생각을 했습니다 ㅠㅠ 구글번역으로는 뭔가 확 와닿지 않는 부분도 있고 해석에 자신감이 없으니 좀 더 이해하는데 오래걸리는 것 같기도 하네요.

여튼 여러분들이 pika문서 보시면서 한번 직접 해보시길 바래요! 공식문서에 여러 connection adaptor들을 사용한 예제도 잘 되어있어서 좋더라고요!

그럼 오늘도 좋은 하루 보내세요!

참고자료

RabbitMQ 공식문서

Documentation: Table of Contents — RabbitMQ

Documentation: Table of Contents This page summarises the available RabbitMQ documentation for the latest patch release. Installation See the Downloads and Installation page for information on the most recent release and how to install it. Tutorials See th

www.rabbitmq.com

pika 공식문서

Introduction to Pika — pika 1.2.1 documentation

pika.readthedocs.io

pika github 예제들

GitHub - pika/pika: Pure Python RabbitMQ/AMQP 0-9-1 client library

Pure Python RabbitMQ/AMQP 0-9-1 client library. Contribute to pika/pika development by creating an account on GitHub.

github.com

RabbitMQ connection, chnnel 설명

RabbitMQ의 Connection과 Channel

사내에서 진행되는 서비스를 개편하게 되면서, RabbitMQ를 사용하게 되었습니다. RabbitMQ을 사용하고, 운영하면서 Connection과 Channel에 대한 개념이 잡히지 않아서 정리하게 되었습니다. Connection 일반

hyos-dev-log.tistory.com

RPC란

RPC란?

분산 네트워크 컴퓨터 환경에서 프로그래밍을 쉽게 할 수 있는 방법을 찾다가...Client to Server 패턴Server를 켬Client는 Server에 데이터 혹은 행동을 요청Server는 요청 받은 내용에 대한 응답을 반환Clie

velog.io

https://stackoverflow.com/questions/11987838/which-form-of-connection-to-use-with-pika

Which form of connection to use with pika

I've been trying to figure out which form of connection i should use when using pika, I've got two alternatives as far as I understand. Either the BlockingConnection or the SelectConnection, howev...

stackoverflow.com