정보처리기사 필기 3. 데이터베이스 구축 - Chapter 5. 데이터 전환

1 데이터 전환 기술

1 초기 데이터 구축

1 구축 전략 수립

• 초기 데이터 구축: 데이터 결과 분석을 통해 대상의 기본 정보 및 기초자료 확보
• 데이터 복구 방안 마련: 기존 데이터 분석을 통한 기초자료 구축 방안 제시
• DB 구축 지침 제시: 기초 데이터와 대표 값의 비교

2 초기 데이터 구축 대상 파악

초기 데이터 구축을 위한 대상을 식별하고 대상을 목록화

3 초기 데이터 구축 범위 확정

업무 협의를 통해 초기 데이터 구축 범위 확정

4 초기 데이터 구축 시 세부 고려사항

• 데이터 이관 시 업무 중단 최소화, 안정성 확보 방안 마련
• 데이터 이관 정합성 검증을 통한 오류 방지 방안 제시
• 이관 완료 후 데이터 품질 검증 실시
• 개인정보 데이터는 암호화

2 ETL(Extraction, Transformation, Loading)

1 개념

조직 내외부의 복수의 출처들로부터 분석을 위한 저장소로 데이터를 이동

원천 시스템으로부터 데이터 추출 및 변환 -> 목적 시스템으로 전송 및 로딩

2 프로세스

시간 절약을 위한 3가지 단계를 동시 수행 가능

일반적으로 발생하는 데이터 변환에는 필터링, 정렬, 집계, 중복 제거, 유효성 검증 등의 작업 포함

특수한 엔진에서 진행

전체 추출을 기다리지 않고 변환, 로드 진행 가능

추출 방법: JDBC 기술 이용, ODBC 기술 이용, Flat File 생성

1. 데이터 전환 계획 및 요건 정의: 데이터 구조 분석
   1. 프로젝트 계획
   2. 프로젝트 환경 구축
   3. As-Is 시스템 분석
   4. To-Be 시스템 분석
   5. 데이터 이행 요건 정의
2. 데이터 전환 설계: Target / Source 매핑 및 검증 설계
   1. 논리적 매핑
   2. 코드 매핑
   3. 검증규칙 정의
   4. 이행계획 수립
3. 데이터 전환 개발: 전환 및 검증 프로그램 개발
   1. 전환개발 환경 구축
   2. 전환 프로그램 개발
   3. 검증 프로그램 개발
4. 데이터 전환 테스트 및 검증: 반복 테스트로 정합성 확보
   1. 전환 검증 설계
   2. 추출 검증
   3. 변환 결과 검증
   4. 최종 변환 설계
   5. N차 이행 검증
5. 데이터 전환: 성공적인 데이터 전환 수행
   1. 최종 전환
   2. 안정화 지원
   3. 후속 단계 데이터 전환
   4. 전환 완료 보고서 작성

3 파일 처리 기술

1 개념

많은 양의 자료를 각종 매체에 저장

2 유형

순차 파일

입력되는 데이터들을 논리적인 순서에 따라 물리적 연속 공간에 순차적으로 기록

• 장점: 높은 기억 밀도 -> 기억공간 효율적 사용, 어떤 매체에도 적용 가능, 빠른 처리 속도
• 단점: 파일에 신규 레코드 삽입/삭제 시 파일 전체 복사, 순차 검색으로 인한 검색 효율 저하

색인 순차 파일

레코드를 키 값 순으로 정렬시켜 기록하고 키 항목 색인 구성

순차 처리와 랜덤 처리 가능

포인터를 사용하여 직접 참조

• 장점: 목적기반 순차 처리, 랜덤 처리 가능, 삽입, 삭제, 갱신 용이
• 단점: 색인 구역과 오버플로 구역 구성을 위한 추가 공간 필요, 빈번한 파일 추가, 삭제 시 효율 저하

직접 파일

레코드를 순서 없이 임의의 물리적 공간에 기록

해시 함수에 의해 계산된 물리적 주소를 통해 접근

• 장점: 물리적 주소를 통해 직접 접근, 평균 접근 시간
• 단점: 레코드 주소 변환 과정에 추가 시간, 별도의 기억 공간 확보 필요, 기억 공간 효율 저하 가능

---

2 데이터 전환 수행

1 데이터 전환 수행 계획

1 개념

데이터 전환을 위한 상세 설계, 전환 및 검증 프로그램 개발과 통합 전환을 수행할 수 있도록 계획

데이터 전환 전략

• 데이터 전환 절차의 표준화
• 전담요원의 데이터 전환 검증
• 중요도에 따른 우선순위 결정
• 데이터의 표준화

데이터 전환 수행 절차

원천 데이터베이스를 Staging DB로 백업 후 Staging DB를 기준으로 데이터 전환

2 범위

데이터 전환의 성공 실패 기준

3 일정

팀별 업무를 분장하여 팀별 역할과 납기를 기록

4 데이터 전환 절차

현행(AS-IS) 시스템에서 목표(TO-BE) 시스템으로 전환을 위한 단계를 구분

각 단계별 작업 내용과 사용 도구를 별도로 기록

원천 데이터베이스의 데이터를 백업하여 스테이징 데이터베이스로 복구한 후 정비 및 변환

검증 단계에서는 원천 데이터베이스(스테이징 데이터베이스 X)와 비교하여 오류 확인

5 데이터 전환 계획서 작성

1. 단위 시스템별 데이터 이행 및 검증 계획
2. 전체 시스템 데이터 전환 시나리오 작성 및 검증 계획
3. 최종 데이터 전환 시뮬레이션 검증 계획

6 데이터 전환 수행 단계

1. 요구사항 분석 단계
   1. 프로젝트 계획
   2. 프로젝트 환경구축
   3. 현행 시스템 분석
   4. 목표 시스템 분석
   5. 데이터 전환 요건 정의
2. 설계 단계
   1. 로지컬 매핑
   2. 코드 매핑
   3. 검증 규칙 정의
   4. 전환 설계서 작성
3. 구현 단계
   1. 전환 개발 환경 구축
   2. 전환 프로그램 개발
   3. 검증 프로그램 개발
4. 테스트 단계
   1. 전환 검증 설계
   2. 추출 검증
   3. 변환 결과 검증
   4. 최종 전환 설계
   5. 전환 인프라 구축
   6. n차 전환 검증
5. 데이터 전환 단계
   1. 최종 전환
   2. 안정화 지원
   3. 추혹 단계 데이터 전환
   4. 전환 완료 보고서 작성

2 체크리스트

1 개념

전환 프로그램의 에러, 시간제약, 비즈니스 로직 변경, 긴급 상황 및 위험요인 대응을 위한 측정 가능한 목록

2 작성

상세항목, 작업내역, 예정 시작/종료 시간, 작업자 기재

• 사전작업: 운영환경 점검, 인프라 상태 점검, 데이터베이스 점검
• 전환단계: 테이블 이관작업, 데이터 정제/변환
• 점검단계: 전환 요건항목 검증, SQL 대상 후속 조치

3 데이터 검증

1 데이터 전환 프로그램 검증

• 조직 및 역할 정립
• 유실 데이터 방지

2 전환 계획서 / 체크리스트 기반 검증

데이터 전환 계획서의 내용과 체크리스트의 작업 내용 확인

수행 조직을 확인하고, 팀별 검증 역할 확인

전환 단계별 결과를 확인하고 성과 등을 기록

3 데이터 검증 종류

• 로그 검증: 전환 시 추행되는 추출 적재 로그 작성 검증
• 애플리케이션 검증: 응용 애플리케이션을 통한 프로그램 기반 검증
• 데이터 검증: 사전 정의된 업무 규칙을 통하여 데이터 정합성 검증 수행

4 전환 단계별 결과 검증

• 추출 검증: 원천 데이터 정합성 확인
• 전송 검증: 전송 데이터 유실 확인
• 전환 검증: Stagine DB 구성 후 데이터 검증
• 적재 검증: 전환데이터 정합성 검증
• 통합 검증: 매핑 정의서 오류 검증

---

3 데이터 정제

1 데이터 정제

1 요청서 작성

전환 시 발생한 오류를 해결하기 위한 데이터 정제 요청 내용 작성

작성 항목

• 정제 ID
• 정제 제목
• 관련 테이블
• 예상 처리 건수

* 오류내역 X

2 보고서 작성

원천 데이터를 확인하고 검증

결과를 반영하여 정제 보고서 작성

오류 데이터 원인과 대응 방안 함께 작성

2 데이터 품질 분석

1 원천 데이터 품질 분석

원천 데이터의 품질을 검증함으로써 전환의 정확성 보장

2 목적 데이터 품질 분석

원천 데이터와 목적 데이터베이스의 속성 간 대응 관계의 정확한 표현을 위해 데이터 레이아웃을 정확하게 파악하고 품질 검증을 진행

3 데이터 품질 관리

지속적인 데이터 및 데이터 구조를 개선하기 위한 활동

요소: 데이터 값, 데이터 구조, 관리 프로세스

	데이터 값	데이터 구조	관리 프로세스
개괄적 관점	데이터 관리 정책	데이터 관리 정책	데이터 관리 정책
개념적 관점	표준 데이터	개념 데이터 모델 데이터 참조 모델	데이터 표준 관리 요구사항 관리
논리적 관점	모델 데이터	논리 데이터 모델	데이터 모델 관리 데이터 흐름 관리
물리적 관점	관리 데이터	물리 데이터 모델 데이터베이스	데이터베이스 관리
운용적 관점	업무 데이터	사용자 뷰	데이터 활용 관리

3 오류 데이터 측정

1 오류 데이터 측정

데이터 품질 기준에 따라 정상 데이터와 오류 데이터 분리

정량적 측정

• 정상 데이터: 전환 대상 범위의 데이터를 업무 영역별, 테이블별로 세분화
• 오류 데이터: 정합성 기준을 근거로 업무별 오류 위치와 유형 파악

2 오류 원인 파악 / 정제 여부 결정

오류 목록의 심각도, 상태를 참조하여 원천 데이터의 정제 또는 전환 프로그램을 수정할 것인지 데이터 정제 여부 결정

심각도

• 상: 데이터 이행을 진행할 수 없게 만드는 오류
• 중: 데이터 이행 전반에 영향을 미치는 오류
• 하: 데이터 이행에 영향을 미치지 않는 오류

상태

• 열린: 보고 O, 할당 X
• 할당된: 수정을 위해 오류를 개발자에게 할당
• 수정된: 오류 수정
• 종료된: 재 테스트 시 오류 발견 X
• 연기된: 낮은 우선순위로 우류 수정을 연기
• 분류된: 프로젝트 내 오류가 아니라고 판단