티스토리

모모님의 블로그

검색하기

블로그 홈

모모님의 블로그

mdowon285.tistory.com/m

모모님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[DW] 데이터웨어하우스의 특성과 개념 OLTP(Online Transaction Processing)와 OLAP(Online Analytical Processing)는 대용량 데이터를 저장하고 분석하는 데 사용되는 데이터베이스 관리 시스템이다. 대부분의 회사는 OLTP 및 OLAP 시스템을 함께 사용해 비즈니스 인텔리전스 요구사항을 충족한다. 그러나 OLTP와 OLAP에서 데이터 관리의 접근 방식과 목적은 크게 다르다. OLTP의 목적은 복수의 사용자 PC에서 발생되는 트랜잭션(Transaction)을 처리하는 것이다. 처리 결과를 요청한 사용자 PC에 되돌려 준다. 반면 OLAP의 목적은 DB에 저장돼 있는 데이터를 분석하는 데 있다. 데이터 분석(인사이트)을 통해 사용자에게 유의미한 정보를 제공한다. 구분OLTPOLAP목적비즈니스 활동.. 공감수 0 댓글수 0 2025. 4. 7.
이종 데이터베이스 간 데이터 이관하기 데이터베이스 관리 시스템(DBMS)에는 여러 종류가 있다. 대표적으로 ORACLE과 MySQL, MS-SQL, PostrgreSQL 등이다. 각 DBMS 마다 사용하는 SQL 형식이 다르기 때문에 서로 연동하기 위해선 각자의 체계를 이해할 필요가 있다. 대표적으로 데이터 이관을 예시로 보자. MySQL에 있는 데이터를 ORCL로 이관하고자 한다. 이관 도중 오류가 발생했다. 메시지를 보면 ADDRESS란 컬럼에 대해 값이 너무 크다고 나온다. 이는 데이터 길이 문제로 이관하려는 데이터의 길이는 116인데 오라클이 받을 수 있는 길이의 최대값이 100으로 돼 있어 이관이 불가능하다는 의미다. 이 같은 경우 오라클의 최대값을 수정해야 한다. 이관 옵션에서 Configure을 통해 Source(MySQL.. 공감수 0 댓글수 0 2025. 4. 7.
[MYSQL] 옵티마이저와 실행 계획 컴퓨터의 두뇌가 CPU이듯 DBMS의 두뇌는 옵티마이저(Optimizer)다. 개발자가 SQL을 작성하고 실행하면 즉시 실행되는 게 아니라 옵티마이저가 "이 쿼리문을 어떻게 실행시키겠다"라는 다수의 실행계획을 먼저 세운다. 그리고 시스템 통계정보를 활용해 각 실행계획의 예상 비용을 산정한 뒤 최고의 효율을 가지고 있는 실행계획에 따라 쿼리를 수행한다. 옵티마이저는 실행 계획을 세우는 방식에 따라 규칙 기반과 비용 기반으로 나뉜다. 먼저 규칙 기반은 사전에 정의된 규칙을 기반으로 우선순위가 높은 규칙에 해당하는 실행계획을 생성한다. 반면 비용 기반은 각 실행 계획에 사용되는 비용(Cost)을 계산하고 최소비용에 해당하는 실행계획을 수립하는 방식이다. 요즘엔 비용 기반이 더욱 효율적으로 여겨져 대부분은 .. 공감수 0 댓글수 0 2025. 4. 4.
인덱스(index)의 종류와 활용 인덱스는 데이터베이스 테이블에 대한 검색 성능의 속도를 높여주는 자료구조다. 특정 컬럼에 인덱스를 생성하면, 해당 컬럼의 데이터들을 정렬해 별도의 메모리 공간에 데이터의 물리적 주소와 함께 저장된다. 인덱스는 크게 B-tree와 B+tree 등 2가지 구현방식으로 나뉜다. [B-tree] 우선 B-tree는 데이터를 정렬된 상태로 유지하면서 빠른 탐색이 가능한 트리다 그림에 표시된 사각형 한 개 한 개의 데이터를 노드라고 한다. 한 노드가 여러 개의 자식을 가질 수 있고, 가장 하단의 리프 노드는 항상 같은 깊이에 있다. 특히 키를 정렬된 상태로 저장하기 때문에 어떤 데이터를 탐색하는 동일한 시간이 걸린다. 그러나 B-tree는 처음 생성 당시 균형 트리로 형성되지만, 테이블 갱신(Insert, Upd.. 공감수 0 댓글수 0 2025. 3. 31.
[ORCL] 데이터베이스 아키텍쳐(프로세스) 데이터베이스 아키텍쳐는 크게 프로세스 + 공유 메모리 + 디스크(물리적 파일) 등으로 이뤄져 있다. 우선 컴퓨터 시스템 관점에서 프로세스란 실행 중인 프로그램을 의미한다. 쉽게 말해 디스크에 저장된 정적인 프로그램 코드가 CPU에서 실행되면서 동적으로 동작하는 개체인 셈이다. 물론 프로세스는 단순히 실행 코드만 포함하고 있는 건 아니고, 실행에 필요한 다양한 정보와 리소르를 함께 포함한다. 주요 구성 요소는 다음과 같다. 코드 - 실행될 프로그램의 명령어데이터 - 실행 중인 프로그램이 사용하는 변수, 상수, 메모리 등스택 - 함수 호출 및 지역 변수 관리에 사용하는 메모리 영역레지스터 - CPU가 프로세스 실행 중 관리하는 상태 정보(프로그램 카운터, 명령어 등)프로세스 제어 블록 - 운영체제가 프로세.. 공감수 1 댓글수 0 2025. 3. 26.
[ORCL] 데이터베이스 아키텍쳐 데이터베이스 아키텍쳐는 크게 프로세스 + 공유메모리 + 디스크 등으로 이뤄져 있다. 일단 프로세스를 제외하고 공유 메모리 영역과 디스크(물리적 파일) 영역만 보면 다음과 같은 구조로 이뤄져 있다. ▶ 메모리(인스턴스): 컴퓨터 저장 공간에 할당된 실체로 메모리에 적재되는 오라클 시스템의 논리적 구조▶ 디스크(데이터베이스): 하드 드라이브 안에 만들어지는 오라클 시스템의 물리적인 구조 InstanceSGA(System Global Area)Database Buffer Cache데이터베이스의 데이터 파일로부터 읽어들인 데이터 블록(테이블, 인덱스)을 담는 캐시 영역. 사용자가 데이터를 조회하거나 변경하려고 할 때, 데이터는 먼저 Database Buffer Cache에 로드된다. SELECT 포함 모.. 공감수 0 댓글수 0 2025. 3. 26.
인덱스(index)의 활용 인덱스는 데이터베이스 테이블에 대한 검색 성능의 속도를 높여주는 자료구조다. 특정 컬럼에 인덱스를 생성하면, 해당 컬럼의 데이터들을 정렬해 별도의 메모리 공간에 데이터의 물리적 주소와 함께 저장된다. 원하는 정보를 조회하고 싶을 때 책의 모든 내용을 뒤지는 건 시간도 오래 걸리고 필요되는 자원도 많아 비효율적이다. 이때 데이터의 자료 정보를 따로 생성하면 더욱 빠른 조회가 가능하다. [인덱스를 활용한 조회 과정] 1. Company라는 가상의 테이블 안에 company_id란 컬럼이 인덱스로 설정됐다고 가정하자. 사용자가 Where 조건으로 company_id = 18이란 쿼리를 실행하면 데이터베이스는 별도의 인덱스로 만들어진 company_id를 먼저 검색한다. 2. company_id란 인덱스(.. 공감수 0 댓글수 1 2025. 3. 26.
KRX 데이터 경진대회 후기 약 2개월 넘게 이어진 공모전이 끝났다. 한국거래소에서 주최하는 금융 LLM(Large Language Model) 성능 평가 대회였고 금융 분야에 특화된 언어 모델을 만드는 게 목표다. Chat GPT와 같은 생성형 AI가 각광받는 현 시점 가장 핫한 주제였으나 나 포함 팀원 모두가 생소했던지라 무척 어려웠다. 주최측도 이를 감안한 듯 친절하게 튜토리얼까지 제공했다. 관심 있거나 LLM을 공부할 계획이 있으신 분들은 한 번 둘러보는 것도 좋을 듯. https://apricot-behavior-a37.notion.site/KRX-50588b553b4e4d3e9cf398c67c5a188f KRX 금융 언어 모델 경진대회 | NotionIntroductionapricot-behavior-a37.notion... 공감수 0 댓글수 0 2025. 3. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.