데이터 세계의 OLAP과 OLTP

OLTP, OLAP의 데이터의 두 얼굴

다양한 서비스가 만들어지고 운영되며 수 많은 데이터가 만들어진다.

서비스를 운영하는데 사용되고 분석하기 위해 데이터를 구성하는 OLTP와 OLAP에 대해 알아보자.

OLTP??

OLTP은 Online Transaction Processing의 약어로서,

우리가 흔히 접하는 은행, E-Commerce와 같은 앱에서 실시간으로 처리되고 발생되는 데이터 처리를 의미한다.

데이터를 정확하게 처리하기 위해 무결성과 일관성이 보장되어야 하기에,

데이터베이스의 트랜잭션을 이용해 많은 트래픽의 데이터로부터 이를 잘 처리하는게 핵심 기술이자 생명이다.

OLAP??

OLAP은 Online Analytical Processing의 약어다.

대량의 데이터로 분석하고 인사이트를 얻고자,

데이터를 정제하고 모델을 개발하기 위한 과정을 의미한다.

주로 보고서를 만들거나 비즈니스 의사 결정에 이용되므로 OLTP와는 다르게 실시간성이 특별히 요구되지는 않는다.

대량의 데이터를 시계열 단위로 잘 정제하여 필요한 분석에 잘 사용될 수 있게 데이터 파이프라인을 구축하는 것이 핵심 기술이라 볼 수 있다.

각 개발을 위해 알아두면 좋을 것들

OLTP

• RDBMS 지식 (Mysql, Postgresql, Oracle... 등)
• 고가용성
• 롤백 및 복구 방안

OLAP

• 빅데이터
• 분석 데이터 모델 설계
• 쿼리 최적화
• 배치 프로세스
• 시각화

가볍게 몇가지 키워드만 적어보려했는데 쉽지가 않다.

다음에 각 파트에 대해 자세히 다뤄보기로 하고 대략적으로 어떤 구성들로 이루어졌는지만 알고 넘어가자.

정리

OLTP는 보통 백엔드 개발자들이, OLAP은 데이터 엔지니어와 데이터 분석가들이 다루는 영역이다.

물론 꼭 어느 한쪽에 치우친다는 법은 없고 보통 그렇다는 이야기다.

만약 이 글을 보고 있는 분이 주니어 개발자이거나 혹은 지망생이라면,

스스로 어느 영역에 있는지 인지하고, 더 신경써야 할 부분을 준비하거나 공부하면 좋을 것 같다.

어느쪽이건 데이터를 다루는게 핵심이며, 데이터는 거짓말을 하지 않는다. (P-Hacking 빼고 ^^)