❓
물음표살인마 블로그
  • README
  • ALGORITHM
    • Sieve of Eratosthenes
    • Lcm, Gcd
    • Sorting Array
    • Round Up
    • Binary Search
    • Union Find
  • Books
    • CS Note for Interview
      • Ch1. Design Pattern & Programming paradigm
        • 1.1.1 Singleton Pattern
        • 1.1.2 Factory Pattern
        • 1.1.4 Observer Pattern
        • 1.1.5 Proxty Pattern & Proxy Server
        • 1.1.8 Model-View-Controller Pattern
        • 1.2.1 Declarative and Functional Programming
        • 1.2.2 Object Oriented Programming
      • Ch2. Network
        • 2.2.1 TCP/IP Four-Layer Model
        • 2.2.1-1 TCP 3, 4 way handshake
        • 2.3 Network Devices L4, L7
        • 2.4.1 ARP, RARP
        • 2.4.2 Hop By Hop Communication
        • 2.4.3 IP Addressing Scheme
      • Ch3. Operating System
        • 3.1.1 Roles and Structure of Operating Systems
        • 3.2.1 Memory Hierarchy
        • 3.2.2 Memory Management
        • 3.3.1 Processes and Compilation Process
        • 3.3.3 Memory Structure of a Process
        • 3.3.4 Process Control Block (PCB)
        • 3.3.5 Multiprocessing
        • 3.3.6 Threads and Multithreading
        • 3.3.7 Shared Resources and Critical Sections
        • 3.3.8 Deadlock
        • 3.4 CPU Scheduling Algorithm
      • Ch4. Database
        • 4.1 Database Basic
        • 4.2 Normalization
        • 4.3 Transaction and Integrity
        • 4.4 Types of Databases
        • 4.5 Indexes
        • 4.6 Types of Joins
        • 4.7 Principles of Joins
      • Ch5. Data Structure
    • Learning the Basics of Large-Scale System Design through Virtual Interview Cases
      • 1. Scalability based on user counts(1/2)
      • 1. Scalability based on user counts(2/2)
      • 2.Back-of-the-envelope estimation
      • 3. Strategies for System Design Interviews
      • 4. Rate Limiter
      • 5. Consistent Hashing
      • 6. Key-Value System Design
      • 7. Designing a Unique ID Generator for Distributed Systems
      • 8. Designing a URL Shortener
      • 9. Designing a Web Crawler
      • 10. Notification System Design
      • 11. Designing a News Feed System
      • 12. Chat System Design
      • 13. AutoComplete
      • 14. Design YouTube
      • 15. Design Google Drive
      • Loadbalancer Algorithms
      • Cache tier
      • CDN, Content Delivery Network
      • Stateless Web tier
    • Computer System A programmer's perspective
    • Effective Java
      • Item 1. Consider Static Factory Methods Instead of Constructors
      • Item 2. Consider a Builder When Faced with Many Constructor Parameters
      • Item 3. Ensure Singleton with Private Constructor or Enum Type
      • Item 4. Enforce Noninstantiability with a Private Constructor
      • Item 5. Prefer Dependency Injection to Hardwiring Resources
      • Item 6. Avoid Creating Unnecessary Objects
      • Item 7. Eliminate Obsolete Object References
      • Item 8. Avoid Finalizers and Cleaners
      • Item 9.Prefer try-with-resources to try-finally
      • Item10. Adhering to General Rules When Overriding equals
        • Handling Transitivity Issues
        • Ensuring Consistency
      • Item11. Override hashCode When You Override equals
      • Item12. Always Override toString
        • Always Override toString
      • Item13. Override Clone Judiciously
      • Item14. Consider Implementing Comparable
      • Item15. Minimize the Accessibility of Classes and Members
      • Item16. Accessor Methods Over Public Fields
      • Item17. Minimize Mutability
      • Item18. Composition over inherentance
      • Item19. Design and Document for Inheritance, or Else Prohibit It
      • Item20. Prefer Interfaces to Abstract Classes
      • Item21. Design Interfaces with Implementations in Mind
      • Item22. Use Interfaces Only to define Types
      • Item23. Prefer Class Hierarchies to Tagged Classes
      • Item24. Favor Static Member Classes Over Non-Static
      • Item28. Use Lists Instead of Arrays
      • Item29. Prefer Generic Types
      • Item30. Favor Generic Methods
    • Head First Design Patterns
      • Ch1. Strategy Pattern
      • Ch2. Observer Pattern
        • Ver1. Ch2. Observer Pattern
      • Ch3. Decorator Pattern
        • Ch3. Decorator Pattern
      • Ch4. Factory Pattern
      • Ch5. Singleton Pattern
      • Ch6. Command Pattern
      • Ch7. Adapter and Facade Pattern
      • Ch8. Template Method Pattern
    • Digging Deep into JVM
      • Chapter 2. Java Memory Area & Memory Overflow
      • Chapter 3. Garbage Collector & Memory Allocation Strategy (1/2)
      • Chapter 3. Garbage Collector & Memory Allocation Strategy (2/2)
      • Chapter 5. Optimization Practice
      • Chapter 6. Class file structure
  • Interview Practices
    • Restful API Practices
      • Url Shortener API
      • Event Ticket Reservation API
      • Course Management API
      • Search posts by tags API
      • Online Code platform API
      • Simple Task Management API
      • Event Participation API
      • Review System API
      • Car management API
      • Online Library
    • Naver Computer Science
      • Process & Thread
      • TCP & UDP
      • Spring & Servlet
      • Filter & Interceptor & AOP
      • Equals() & ==
      • Dependency Injection
  • F-Lab
    • Week1
      • Client & Server
      • HTTP
      • TCP/UDP
      • REST API
      • Questions
        • Object Oriented Programming
        • HTTP
        • Process & Thread
        • Data Structure
    • Week2
      • OSI 7 layer
      • Web vs WAS
    • Week3
      • RDB vs NoSQL
      • RDB Index
      • Cache
      • Redis
      • Messaging Queue
    • Week4
      • Project - Ecommerce
    • Week5
      • ERD - 1
    • Week6
      • Ecommerce - 2
      • Role
      • pw hashing && Salt
      • CreatedAt, ModifiedAt
      • JWT
      • Copy of ERD - 1
    • Week7
      • Vault (HashiCorp Vault)
    • Week 8
      • Api Endpoints
  • Week10
    • Product Create Workflow
  • TOY Project
    • CodeMentor
      • Implementation of Kafka
      • Implementation of K8s
      • Communication between servers in msa
  • JAVA
    • Java 101
      • JVM Structure
      • Java Compiles and Execution Method
      • Override, Overload
      • Interface vs Abstract Class
      • Primitive vs Object Type
      • Identity and equality
      • String, StringBuilder, StringBuffer
      • Checked Exceptions and Unchecked Exceptions
      • Java 8 methods
      • Try-with-reources
      • Strong Coupling and Loose Coupling
      • Serialization and Deserialization
      • Concurrency Programming in Java
      • Mutable vs Immutable
      • JDK vs JRE
    • Java Questions
      • Week 1(1/2) - Basic Java
      • Week 1(2/2) - OOP
      • Week 2(1/2) - String, Exception, Generic
      • Week2(2/2) Lambda, Stream, Annotation, Reflection
      • Week3(1/2) Collections
      • Week3(2/2) Threads
      • Week4 Java Concurrency Programming
      • Week5 JVM & GC
    • Batch delete instead of Cascade
    • Checked vs Unchecked Exception
    • Thread
    • Memory Visibility
    • Synchronized && ReentrantLock
    • Producer & Consumer
    • BlockingQueue
    • CAS (Compare and Set)
  • SPRING
    • Spring Questions
      • Spring Framework
      • Spring MVC & Web Request
      • AOP (Aspect-Oriented Programming)
      • Spring Boot
      • ORM & Data Access
      • Security
      • ETC
    • using profile name as variable
    • Template Method Pattern
    • Strategy Pattern
    • Proxy Pattern
    • @Transactional
    • Ioc container, di practice
  • Programming Paradigm
    • Declarative vs Imperative
  • JPA
    • Template Page
  • PYTHON
    • Icecream
  • FASTAPI
    • Template Page
  • COMPUTER SCIENCE
    • Computer Architecture 101
      • 3 components of a computer
      • RAM vs ROM
      • CPU vs GPU
      • SIMD
      • Two's complement
      • Harvard Architecture vs. von Neumann Architecture
      • The structure of a CPU.
      • Instruction cycle (CPU operation method)
      • Instruction pipelining
      • Bus
      • Memory area
      • Memory hierarchy structure
        • Reason for using memory hierarchy structure
      • Cache memory
      • L1, L2, L3 Cache
      • Locality of reference (cache)
      • Fixed-point vs Floating-point
        • epresentation of infinity and NaN (Not a Number) in floating-point
      • RISC vs CISC
      • Hamming code
      • Compiler
      • Linking
      • Compiler vs Interpreter
      • Mutex vs Semaphore
      • 32bit CPU and 64bit CPU
      • Local vs Static Variable
      • Page
  • OS
    • Operating System 101
      • Operating system
        • The role of the operating system
        • The composition of the operating system.
      • Process
        • In Linux, are all processes except the initial process child processes?
        • Zombie process, orphan process
        • (Linux) Daemon process
        • Process address space
        • Where are uninitialized variables stored?
        • Determination of the size of the Stack and Heap
        • Access speed of Stack vs Heap
        • Reason for memory space partitioning
        • Process of compiling a process
        • sudo kill -9 $CURRENT_PID
      • Thread
        • Composition of a thread's address space
      • Process vs Thread
        • Creation of processes and threads in Linux
      • Multiprocessing
        • Web Browser
        • Implementation of multiprocessing
        • Application areas of multiprocessing
      • Multithreading
        • Application areas of multithreading
      • Interrupt
        • HW / SW Interrupt
        • Method of handling interrupts
        • Occurrence of two or more interrupts simultaneously
      • Polling
      • Dual Mode
        • Reason for distinguishing between user mode and kernel mode
      • System call
        • Differentiation between system calls
        • Types of system calls
        • Execution process of a system call
      • Process Control Block (PCB)
        • PCB의 구조
        • 쓰레드는 PCB를 갖고 있을까?
        • 프로세스 메모리 구조
      • Context switching
        • Timing of context switching
        • Registers saved during context switching
        • Context switching in processes
        • Context switching in threads
        • Difference between context switching in processes and threads
        • Information of the current process during context switching
      • Interprocess Communication (IPC)
        • Cases where IPC is used
        • Process address space in IPC Shared Memory technique
        • Types of IPC
    • Operating System Questions
      • Week1 OS & How Computer Systems Work
      • Week2(1/2) Process
      • Week2(2/2) Thread
      • Week3 CPU Scheduling
      • Week4 Process Synchronize
      • Week5 Virtual Memory
  • LINUX
    • Template Page
  • SERVER
    • Template Page
  • NETWORK
    • Network 101
      • https://www.google.com
      • TCP vs UDP
      • Http vs Https
      • TLS Handshake 1.2
      • HTTP Method
      • CORS & SOP
      • Web Server Software
    • Network Questions
      • Week1 Computer Network Basic
      • Week2(1/3) Application Layer Protocol - HTTP
      • Week2(2/3) Application Layer Protocol - HTTPS
      • Week2(3/3) Application Layer Protocol - DNS
      • Week3 Application Layer
      • Week4 Transport Layer - UDP, TCP
      • Week5 Network Layer - IP Protocol
    • Blocking, NonBlocking and Sync, Async
    • HTTP 0.9-3.0
  • DATABASE
    • Database Questions
      • Week1 DBMS, RDBMS basics
      • Week2 SQL
      • Week3 Index
      • Week4 Anomaly, Functional Dependency, Normalization
      • Week5 DB Transaction, Recovery
    • Normalization
      • 1st Normal Form
      • 2nd Normal Form
      • 3rd Normal Form
    • Ensuring Data Consistency, Atomicity and UX Optimization (feat.Firebase)
    • Redis: Remote Dictionary Server
    • Enhancing Query Performance - User list
  • DATA STRUCTURE
    • Array vs Linked List
    • Counting Sort
  • GIT, Github
    • git clone, invalid path error
  • INFRA
    • Template Page
  • AWS
    • Server Log Archive Pipeline
    • Image Processing using Lambda
  • DOCKER
    • Docker commands
    • Python Executable Environment
    • Docker and VM
  • docker-compose
    • Kafka, Multi Broker
  • KUBERNATES
    • !Encountered Errors
      • my-sql restarts
      • kafka producer: disconnected
    • Kubernetes Components
    • Helm
      • Helm commands
    • Pod network
    • Service network
      • deployment.yaml
      • services.yaml
    • Service type
      • Cluster IP
      • NodePort
    • service-name-headless?
    • kube-proxy
    • Template Page
  • GraphQL
    • Template Page
  • WEB
    • Template Page
  • Reviews
    • Graphic Intern Review
    • Kakao Brain Pathfinder Review
    • JSCODE 자바 1기 Review
  • 😁Dev Jokes
    • Image
      • Plot twist
      • Priorities
      • SQL join guide
      • Google is generous
      • Genie dislikes cloud
      • buggy bugs
      • last day of unpaid internship
      • what if clients know how to inspect
      • its just game
      • how i wrote my achievement on resume
      • self explanatory
      • chr(sum(range(ord(min(str(not))))))
Powered by GitBook
On this page
  • 프로젝트 개요
  • Cascade를 통한삭제
  • Batch를 통한 삭제
  • Cascade 제거 후 배치 로직
  • 결론
  1. JAVA

Batch delete instead of Cascade

Cascade 대신 Batch 삭제를 사용한 이유

스프링부트 JPA를 사용해 애플리케이션을 개발할때, 연관된 데이터를 삭제하는 방법에 따라 성능에 영향을 미칩니다. 일반적으로 연관된 데이터를 삭제시 CascadeType.ALL 또는 cascadeType.REMOVE를 사용하지만 삭제해야하는 데이터가 많아질수록 성능 차이가 발생합니다.

프로젝트 개요

회원 삭제(Hard) 기능이 필요했습니다. 해당 회원 삭제를 할시에 같이 삭제돼야했던 것들은 다음과 같습니다.

삭제

  • 회원 관련정보

  • 회원 게시물과 게시물 정보

  • 회원 게시물의 댓글과 댓글 정보

  • 회원 게시물의 댓글의 대댓글과 대댓글 정보

  • 회원 플레이리스트(게시물들의 모음)

  • 회원 댓글과 댓글 정보

  • 회원 댓글의 대댓글과 대댓글 정보

  • 팔로잉 정보

  • FCM에서의 구독 정보 등

회원 삭제는 빈번히 발생하는 작업이 아닙니다. (제가 알기로는 일반적인 서비스 탈퇴율은 2%정도 인걸로 알고 있습니다.) 하지만 한번의 회원 삭제가 관련된 많은 테이블들에 영향을 주기때문에 성능에 문제가 발생할 것 같았습니다.

실제로 몇몇 회원들의 데이터가 압도적으로 많았기때문에 고민을 하게 됐습니다.

Cascade를 통한삭제

장점:

  • 간편함: 간단한 삭제로직

  • 일관성: 모든 데이터가 자동으로 삭제되어서 일관성을 쉽게 유지할 수 있습니다.

단점:

  • 성능 저하: JPA가 연관된 모든 엔터티를 순차적으로(재귀적으로) 삭제하기때문에 시간이 오래 걸립니다.

  • 연결된특정 엔터티의 정보를 삭제하고 싶지 않을시에는 적절하지 않습니다.

Cascade는 연관된 모든 엔터티를 자동으로 삭제해줘서 편하게 사용할 수 있습니다. 예를 들어, 회원 엔터티에 게시물 엔터티와 댓글 엔터티가 연결되어 있을 때, 회원 엔터티를 삭제하면 연관된 모든 게시물과 댓글도 자동 삭제됩니다.

하지만 성능 저하가 발생할 수 있는데, 그 이유는 대량의 데이터를 삭제할 때, JPA가 연관된 모든 엔터티를 순차적으로(재귀적으로) 삭제하며, 모든 연관 엔터티가 삭제됩니다.

Batch를 통한 삭제

장점:

  • 성능 향상: 효율적으로 대량의 데이터를 삭제할 수 있습니다.

  • 삭제하고 싶은 데이터를 정확하게 제어할 수 있습니다.

  • 오류 발생시, Chunk 단위로 롤백할 수 있습니다.

단점:

  • 복잡한 구현: 직접 로직을 구현해야하기때문에, 배치 사이즈와 순서를 정하기가 복잡합니다.

  • 유지보수 어려움: 새로운 연관관계가 생기면 삭제 로직에 추가되어야합니다.

배치 삭제를사용하면 한번에 여러 레코드를 삭제하여 성능을 최적화할 수 있습니다. 삭제할 데이터를 미리 수집하고, 이를 배치 크기 단위로 나누어 한 번에 삭제하는 방식입니다. 이는 데이터베이스와의 통신 횟수를 줄이고, 성능을 향상시킬 수 있습니다. 만약 오류 발생시, 해당 chunk만 롤백하여 데이터 무결성을 보호할 수 있습니다.

하지만 단점으로는 연관 데이터 삭제 로직을 직접 관리해야하고, 관계가 추가될떄마다 삭제 로직도 수정돼야합니다.

Cascade 제거 후 배치 로직

데이터 수집

  • 삭제할 회원과 연관된 데이터들을 수집합니다. (게시물, 댓글, 대댓글, ... FCM 구독 정보)

삭제 순서 정의

  • 데이터 무결성을 유지하기 위해 삭제 순서를 자식 엔터티부터 시작하였습니다.

  • 예를 들어, 대댓글 -> 댓글 -> 게시물 순서.

배치 크기 설정

  • 배치 크기는 성능과 데이터 일관성에 큰 영향을 미치기때문에 적당한 트랜잭션 크기를 설정했습니다. 트랜잭션이 너무 크면 롤백할 때 성능 저하가 발생할 수 있기때문에 배치 크기를 설정했습니다.

배치 삭제 실행

  • 배치 크기 단위로 나누어서 한번에 삭제했습니다.

  • 삭제 순서에 따라 배치로 삭제를 진행했습니다

배치 삭제 실패시

  • 실패한 데이터의 정보를 저장하고, 재시도 로직과 오류 로그를 기록했습니다.

결론

스프링부트 JPA에서 Cascade를 제거하고 배치 삭제를 사용하면, 대량의 데이터를 삭제할 때 성능을 크게 향상시킬 수 있습니다. 그러나 코드의 복잡성과 유지보수의 어려움이 따를 수 있습니다.

회원 삭제 기능에 대해 배치를 사용하지 않아도 당장 의미가큰있지는 않겠지만, 서비스가 계속 운영됨에 따라, 각 회원들의 데이터들이 커지게 됩니다. 이는 추후에 성능적으로 이슈가 될 수도 있는 부분이기떄문에 cascade 삭제가 아닌 batch 삭제를 선택하게 됐습니다.

PreviousWeek5 JVM & GCNextChecked vs Unchecked Exception

Last updated 9 months ago