티스토리

으뜸코딩

검색하기

블로그 홈

으뜸코딩

sawaca96.tistory.com/m

sawaca96 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

FastAPI에서 SQLAlchemy Session 사용법 비동기 웹프레임워크인 FastAPI에서 Sqlalchemy Session 사용법을 알아보도록 하겠습니다.기본적인 Session 사용법가장 단순한 방법은 Session 객체를 직접 생성하여 사용하는 것입니다:from sqlalchemy import create_enginefrom sqlalchemy.orm import Session# 엔진 생성engine = create_engine("postgresql://user:password@localhost/dbname")# 세션 생성session = Session(bind=engine)# 세션 사용user = session.query(User).filter_by(id=1).first()session.add(User(name="새 사용자"))session.comm.. 공감수 1 댓글수 0 2025. 3. 18.
Nginx Ingress Controller + AWS NLB 사용시 클라이언트 IP 획득하는 방법 Nginx Ingress Contoller를 사용할 때 서버에서 클라이언트의 IP를 획득하는 방법을 알아보도록 하겠습니다.proxy_set_headerNginx사용 시 서버에서 클라이언트의 IP를 읽을 때 보통 X-Forwarded-For 헤더를 사용하는데, Nginx설정에 따라 다른 값들이 오게 됩니다.proxy_set_header X-Forwarded-For $remote_addr;proxy_set_header X-Forwarded-For $http_x_forwarded_for;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;remote_addrNginx에 연결된 클라이언트의 IP 주소를 나타냅니다. 클라이언트가 직접 Nginx에 .. 공감수 0 댓글수 0 2025. 2. 26.
Database 동시성 문제 데이터 중심 애플리케이션 설계를 읽다가 챕터7 트랜잭션 내용이 좋아서 정리해보았습니다. 우선 책에 있는 동시성문제와 격리수준을 소개합니다.동시성문제1. 더티 읽기 (Dirty Read)시나리오: 은행 계좌 이체 중 잔액 확인A 고객이 B 고객에게 100만원을 이체하는 트랜잭션 시작A의 계좌에서 100만원이 차감됨 (아직 커밋되지 않음)이때 C 고객이 A의 계좌 잔액을 조회A의 이체 트랜잭션이 실패하여 롤백됨문제점C 고객은 실제로는 존재하지 않는(롤백된) 잔액을 보게 됨잘못된 데이터를 읽어서 사용하는 문제2. 더티 쓰기 (Dirty Write)시나리오: 은행 계좌 이체트랜잭션 A가 상품 가격을 10000원에서 20000원으로 수정 (아직 커밋 전)트랜잭션 B가 같은 상품 가격을 15000원으로 수정하고 커.. 공감수 0 댓글수 0 2024. 11. 2.
PgBouncer 세팅 PgBouncer 도입 배경PgBouncer는 PostgreSQL에 사용되는 커넥션 풀링 도구입니다. PostgreSQL 서버와의 커넥션을 맺는 과정은 많은 자원을 소모하기 때문에, 한 번 만들어 둔 커넥션을 재사용할 필요가 있습니다. 이때 사용하는 것이 커넥션 풀링 도구입니다. 풀링을 사용하는 것만으로도 서버의 부하를 많이 낮출 수 있기 때문에, DB를 사용하는 경우에는 반드시 고려하는 것이 좋습니다. 각 언어별로 DB와 연결을 도와주는 라이브러리(ex: Python asyncpg)를 사용해 서버에서도 커넥션 풀링을 사용할 수 있지만, 쿠버네티스 오토스케일링 환경에서 서버를 운영 중이라면 PgBouncer 도입을 고려해볼 만합니다. 아래는 제가 회사에서 PgBouncer를 도입하게 된 계기입니다.비용 .. 공감수 3 댓글수 0 2024. 10. 19.
[FastAPI] jsonable_encoder에 의한 Reponse Model Validation 성능이슈 최근 팀에서 FastAPI 반환값의 Response Model를 어떻게 사용할 것인지 논의했던 내용을 정리했습니다. 함께 논의해 주신 팀원분들께 감사인사를 드립니다.jsonable_encoder의 성능 이슈FastAPI는 컨트롤러(라우터) 함수의 반환값을 json serializable 한 타입으로 변환해주는 jsonable_encoder라는 함수를 사용합니다.따라서 API 반환시마다 jsonable_encoder 👉 json.dumps 과정을 거치게되며, 해당 함수는 recursive 하게 작동하기 때문에 반환값이 많을 경우 jsonable_encoder에 의해서 API 성능이 안 좋아질 수 있습니다. 간단한 코드로 확인해보면 아래와 같습니다.import timeitfrom typing import.. 공감수 0 댓글수 0 2023. 8. 15.
[MSA] 마이크로서비스 쿼리 구현 : CQRS 패턴 MSA로 전환 시 고민해야 할 분산 데이터 관련 문제가 트랜잭션만 있는 것은 아닙니다. 쿼리를 구현하는 방법도 찾아내야 합니다. 💡 트랜잭션 문제 해결 법 → [MSA] 마이크로서비스 사가 패턴 [MSA] 마이크로서비스 사가 패턴 단일 DB에 접근하는 모놀리식 애플리케이션의 트랜잭션 관리는 어렵지 않습니다. 하지만 다중 DB, 다중 메시지 브로커를 사용하는 모놀리식 애플리케이션이나, 자체 DB를 가진 여러 서비스로 구 sawaca96.tistory.com DB가 하나뿐인 모놀리식 애플리케이션에서는 비교적 쉽게 쿼리를 구현했습니다. 하지만 MSA에서는 의외로 쿼리를 작성하기가 어렵습니다. 여러 서비스 여러 DB에 분산된 데이터를 조회해야 하기 때문입니다. 이를 해결하기 위한 2가지 패턴이 있습니다. API.. 공감수 1 댓글수 2 2021. 7. 3.
[Airflow] Helm Chart 이용해서 k8s executor airflow 설치하기 [Airflow] 개념 이해하기Airflow에 대한 공식문서의 설명 Airflow 는 워크플로우를 프로그래밍 방식으로 작성, 스케줄링 및 모니터링하는 플랫폼입니다. Airflow 를 사용하여 워크플로우를 비순환 그래프로 작성할 수 있습니sawaca96.tistory.comAirflow 두번째 글 입니다.Helm Chart를 이용해서 k8s위에 Airflow를 설치해보려고 합니다.우선 많이 사용하는 차트는 아래 2가지 옵션이 있습니다.airflow-stable→ Airflow community에서 개발한 차트입니다.astronomer/airflow-chart→ Airflow as a Service를 개발하는 astronomer에서 공개한 차트입니다.저는 airflow-stable을 이용해서 구현했습니다. .. 공감수 1 댓글수 2 2021. 6. 19.
[Airflow] 개념 이해하기 Airflow에 대한 공식문서의 설명Airflow는 워크플로우를 프로그래밍 방식으로 작성, 스케줄링 및 모니터링하는 플랫폼입니다.Airflow를 사용하여 워크플로우를 비순환 그래프로 작성할 수 있습니다.Airflow 스케줄러는 지정된 종속성을 따르면서 워커에게 작업을 부여합니다.다양한 명령어들을 통해 복잡한 작업도 수행할 수 있습니다.훌륭한 인터페이스를 통해서 운영 중인 파이프라인을 쉽게 시각화하고, 진행 상황을 모니터링하며, 필요할 때 문제를 해결할 수 있습니다.워크플로우가 코드로 정의되면 유지 관리, 버전 관리, 테스트 및 협업 기능이 향상됩니다.💡 비순환 그래프는 순환하는 싸이클이 존재하지 않고 일방향성만 가지는것을 의미합니다.요약하면 Airflow는 개발자가 작성한 Python DAG를 읽고, .. 공감수 2 댓글수 0 2021. 6. 16.
[MSA] 마이크로서비스 사가 패턴 단일 DB에 접근하는 모놀리식 애플리케이션의 트랜잭션 관리는 어렵지 않습니다. 하지만 다중 DB, 다중 메시지 브로커를 사용하는 모놀리식 애플리케이션이나, 자체 DB를 가진 여러 서비스로 구성된 MSA는 트랜잭션 관리가 어렵기 때문에 좀 더 정교한 메커니즘이 필요합니다. 따라서 서비스가 분리되면서 ACID(원자성 Atomic, 일관성 Consistency, 격리성 Isolation, 지속성 Durability) 트랜잭션으로 관리해 오던 단일 DB를 ACD 사가로 관리하는 다중 DB 아키텍처로 전환해야 합니다. 💡사가(sage)는 ACID에서 Isolation이 빠진 ACD만 지원하는 로컬 트랜잭션입니다. 사가를 이용해서 여러 서비스에 걸친 트랜잭션을 구현하고 데이터 일관성을 유지하는 방법에 대해 알아보겠.. 공감수 1 댓글수 1 2021. 5. 18.
[MSA] 마이크로서비스 서비스간 통신 모놀리식 애플리케이션은 대부분의 모듈이 언어 수준의 메서드나 함수를 통해 서로 호출하기 때문에 REST API나 클라우드 서비스 연계 모듈을 작성하지 않는 이상 IPC는 크게 신경 쓸 필요가 없습니다. 이와 달리 MSA는 애플리케이션을 여러 개의 서비스로 구성하며 서비스는 대부분 요청을 처리하기 위해 서로 협동합니다. 서비스 인스턴스는 여러 머신에서 실행되는 프로세스 형태이므로 반드시 IPC(Inter-Process Communication)를 통해 상호 작용해야 합니다. 이번 글에서는 IPC의 종류와 가용성 측면을 따졌을때 MSA에서 어떤 IPC를 쓰는 것이 좋은지 알아보겠습니다. 동기 RPI 통신 💡 RPI는 클라이언트가 서비스에 요청을 보내면 서비스가 처리 후 응답을 회신하는 IPC입니다. 💡 메시.. 공감수 1 댓글수 2 2021. 5. 12.
[MSA] 마이크로서비스 아키텍처 정의하기 아키텍처는 확장성 신뢰성 관리성 테스트성 배포성등 ~성 으로 끝나는 서비스 품질 요건에 영향을 미칩니다. 따라서 어떤 아키텍처를 사용하느냐에 따라 품질 요건을 얼마나 충족할 수 있을지 결정됩니다. 오늘은 마이크로서비스 아키텍처에 대해 알아보도록 하겠습니다. 💡본문에서 마이크로서비스 아키텍처를 MSA(MicroServiceArchitecture)라고 부르겠습니다. MSA는 애플리케이션을 느슨하게 결합된 여러 서비스로 구성하는 아키텍처 스타일입니다. 💡여기서 서비스란 어떤 기능이 구현되어 단독 배포가 가능한 소프트웨어 컴포넌트입니다. 느슨하게 결합된 서비스는 구현 코드를 감싼 API를 통해서만 상호 작용하므로 클라이언트에 영향을 끼치지 않고 서비스 내부 구현을 바꿀 수 있습니다. 그리고 애플리케이션 개발 시.. 공감수 2 댓글수 0 2021. 5. 3.
[Kafka] 카프카 알아보기 서비스에 적용 가능한 IPC(Inter-Process Communication) 기술은 정말 많습니다. HTTP 기반 REST나 gRPC와 같은 요청/응답 기반의 통신 메커니즘도 있고 AMQP, STMOP와 같은 메시지 기반의 통신 메커니즘도 있습니다. 이번에는 그중에서도 비동기 메시징 시스템인 Apache Kafka에 대해서 알아보도록 하겠습니다. Kafka ? Kafka는 링크드인에서 시작하여 현재는 컨플루언트에서 개발 중인 발행/구독(publish/subscribe) 채널 시스템을 이용한 메시지 분산 서비스입니다. 다른 말로는 커밋 로그(distributed commit log) 또는 분산 스트리밍 플랫폼(distributed streaming)이라고도 불립니다. 카프카란 이름은 개발자인 Jay K.. 공감수 2 댓글수 5 2021. 4. 24.
Redis-Sentinel With HAProxy Redis의 FailOver상황을 대비해 replication을 구성하는 경우가 많습니다. 이때 Sentinel 또는 Cluster를 구축하지 않으면 일시적인 FailOver만 극복할 수 있기 때문에 장애가 지속될 경우 데이터가 유실됩니다. 해당 글에서 Redis의 replication들을 고가용성으로 사용하기 위한 Redis-Sentinel에 대해 알아보도록 하겠습니다. Replication 데이터의 유실을 막거나 트래픽 분산을 위해서 replication을 구성하는 경우가 많은데 replication을 구성하기 위해서는 master(read/write)와 slave(read)가 있어야 합니다. slave는 master의 데이터를 미러링 하고 있는 read전용 replication입니다 Redis re.. 공감수 1 댓글수 4 2021. 4. 18.
Python과 Nodejs에서 Git-hook setting 앞선 게시글에서 협업을 위한 기능들을 살펴보았습니다. Linting & Formatting Workflow & Git-convention 모든 부분에서 그렇지만 구두로의 약속은 지키기 어렵습니다. 새로운 사람이 작업에 참여하거나 개인의 실수로 인해서 약속을 지키지 못하는 경우가 생기기 마련입니다. 따라서 시스템적으로 해당 설정들을 일부분 강제해주는 것이 퀄리티를 높이는 가장 좋은 방법이라고 생각합니다. 해당 게시글에서는 git-hook을 이용해서 linting & formatting, commit-message를 형식에 맞추어 commit 하는 방법에 대해 알아보도록 하겠습니다. Git hook Git hook이 무엇인가요? 커맨드 이벤트 (add, commit, push 등) 전/후에 호출이 되는 코드.. 공감수 0 댓글수 3 2021. 4. 4.
브랜치 관리 전략과 Git-Convention을 통해 협업 퀄리티 높이기 많은 사람들과 협업할 때 하나의 브랜치에서 모두가 작업하는 방식은 적절하지 않다고 생각됩니다. 작업이 유의미하게 분리되고 서로의 작업을 침범하지 않으려면 적절하게 브랜치를 분기해야 하고 이때 어떤 방식으로 브랜치를 만들어 갈지 고민하게 됩니다. 또한 커밋이라 하면 유의미한 변화가 이루어진 하나의 작업 단위라고 합니다. 이때 commit-history는 작업일지와 같은데 어떤 방식으로 일지를 남길지 고민하게 됩니다. 정해진 규칙대로 브랜치를 분기하고 commit-message를 작성하게 되면 아래와 같은 이점을 얻을 수 있습니다. Git 컨벤션을 따라야하는 이유 주관적인 스타일에서 벗어나 통일된 스타일을 추구 올바른 branch name 을 통한 workflow 유지와 해당 task 추적을 용이하게 함 새.. 공감수 0 댓글수 0 2021. 4. 4.
VS Code에서 Python과 JS의 Linting & Formatting 적용하기 Linter 코드를 분석해서 문법 에러, 버그를 찾아주는 도구를 말합니다. 문법 에러, 특정 문법 사용 등 코드 퀄리티와 관련된 작업을 수행합니다. 상황에 따라 고쳐주기 까지하며 언어에 맞는 문법을 지킬 수 있도록 도와줍니다. 자바스크립트에는 JS Lint JS Hint ESLint 가 존재합니다. 파이썬에는 pylint pycodestyle pyflakes flake8 pyright 가 존재합니다. 해당 글 에서는 ESLint와 flake8을 사용했습니다. Formatter 한 줄의 최대 길이나, tab을 쓸 것인지 space를 쓸 것인지, 인용 스타일은 무엇을 쓸 것인지 등 문법적으로는 문제가 되지 않지만 코드의 미학적인 부분을 바로잡는 작업을 수행합니다. 일관적인 코드 스타일을 강제 함으로써 전체적.. 공감수 0 댓글수 0 2021. 3. 28.
Race condition 경쟁상태 해결법 What is race condition Race condition 또는 경쟁상태라고 불립니다. 본문에서는 경쟁상태라고 부르겠습니다. 결승지점에 도착하는 순서에 따라 등수가 다르게 매겨지는 것처럼 병행하게 진행 중인 프로그램들이 특정 지점에 도착하는 순서에 따라서 다르게 작동하는 것을 말합니다. 주로 비동기적 시스템(e.g. multi-process, multi-threaded, microservices)에서 프로그램이 병행하게 진행될 때 흔하게 나타나는 버그입니다. 해당 글에서는 아래의 자판기 시나리오를 통해서 설명하도록 하겠습니다. 해당 시나리오가 병행하게 진행될 때 어떤 경우가 가능한지 확인해 보겠습니다. 모든 음료는 천 원이며 현재 갖고 있는 돈은 천 원이라고 가정합니다. 음료가 반환되기 전에 버.. 공감수 1 댓글수 4 2021. 3. 21.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.