LVM의 계층 구조와 주요 개념

LVM(Logical Volume Manager)은 리눅스 및 유닉스 계열 시스템에서 사용자가 논리적인 볼륨 저장소를 설정하고 제어할 수 있도록 하는 운영 체제 명령, 라이브러리 및 도구 세트입니다. (Manager)

이는 실제 물리적 디스크와 응용 프로그램 사이에 장치 드라이버 계층을 두어, 물리적 디스크 구조와 무관하게 스토리지 공간을 논리적으로 관리할 수 있게 해줍니다.

(여러 물리적인 디스크들을 하나의 논리적인 디스크처럼 다룰 수 있게 함 – 고용량, 고속, 데이터의 무결성 등을 실현 가능)

• LVM이 필요한 이유?

기존 파티션 기반 스토리지 관리 방식은 용량 확장이나 재구성이 복잡하고 다운 타임이 발생할 수 있다.

그러나 LVM을 사용하면 하드 드라이브를 재분할할 필요 없이 논리 볼륨을 생성, 크기 조정, 이동 및 삭제할 수 있습니다.

LVM의 진정한 매력은 논리 볼륨과 볼륨 그룹의 크기를 실시간으로 조정할 수 있다는 점에 있습니다.

예를 들어) 갑자기 데이터베이스 용량 필요하다고 해도 LVM을 사용하면 운영 중단 없이 손쉽게 공간을 확장할 수 있습니다.

LVM은 하드 디스크 위에 얇은 소프트웨어 계층을 덧씌워 하드 드라이브 관리의 연속성과 편의성을 추상화한 것이라고 생각하면 될 것 같습니다.

1. 물리적 계층: PV (Physical Volume) 및 PP (Physical Partition)

PV (Physical Volume)

LVM에서 인식하는 물리적 디스크 드라이브 자체를 의미하며, AIX 시스템에서는 hdisk0, hdisk1과 같은 이름으로 표시됩니다.

하나의 PV는 반드시 하나의 VG에만 속할 수 있습니다.

PP (Physical Partition)

PV를 일정한 크기로 나눈 최소의 물리적 단위입니다.

PP의 크기는 1MB에서 1GB까지 설정 가능하며, 동일한 VG 내의 모든 PV는 동일한 크기의 PP를 가집니다.

관련 명령어

# 하드 디스크 총 개수, 파티션 수, 저장 용량 및 사용 가능 용량을 확인
- Linux
lsblk
- AIX
lsdev -Cc disk

# Physical Volumes 총 개수
- Linux
pvs
pvdisplay
- AIX
lspv
lspv hdisk0

2. 논리적 그룹 계층: VG (Volume Group)

VG (Volume Group)

하나 이상의 PV들을 논리적으로 묶은 집합체입니다.

VG 내의 디스크들은 PP라는 단위로 쪼개져 관리되며, 이를 통해 여러 물리적 디스크에 걸쳐 있는 논리적 볼륨을 생성하는 등 유연한 관리가 가능해집니다.

데이터 보호를 위해 미러링을 설정하면, 하나의 LP가 2개 또는 3개의 PP에 대응되어 동일한 데이터 사본을 여러 곳에 저장하게 됩니다.

관련 명령어

# Volume groups 확인
- Linux
vgs
vgdisplay
- AIX
lsvg
lsvg vgname

3. 논리적 할당 계층: LV (Logical Volume) 및 LP (Logical Partition) / 미러링(Mirroring)

LV (Logical Volume)

사용자가 실제 데이터를 저장하기 위해 VG 내에서 정의하는 논리적인 저장 공간입니다.

LV는 사용자에게는 연속된 공간으로 보이지만, 실제 물리적 위치(PP)는 디스크 상에서 흩어져 있거나 여러 PV에 걸쳐 있을 수 있습니다.

LP (Logical Partition)

LV를 구성하는 최소 논리 단위로, 하나 이상의 PP에 대응됩니다.

※ 참고: AIX에서는 LP/PP라는 용어를 사용하며,
Linux LVM에서는 LE/PE(Extent)라는 용어를 사용한다.

미러링(Mirroring)

데이터 보호를 위해 미러링을 설정하면, 하나의 LP가 2개 또는 3개의 PP에 대응되어 동일한 데이터 사본을 여러 곳에 저장하게 됩니다.

관련 명령어

# Logical volumes 확인
- Linux
lvs
lvdisplay
- AIX
lslv
lslv lvname

4. 계층 구조의 상위 단계: 파일 시스템(File System)

File System

LV 위에 구축되어 사용자가 실제 파일을 저장하고 접근할 수 있도록 하는 논리적인 구조입니다.

생성된 LV 위에는 JFS 또는 JFS2와 같은 파일 시스템이 구축되거나, 페이징 공간(Paging Space)으로 사용됩니다.

운영체제는 이러한 파일 시스템을 통해 파일을 저장하고 관리합니다.

주요 개념 요약

계층 구조

PV(PP) → VG → LV(LP) → 파일 시스템

유연성

LVM을 사용하면 운영 중에 파일 시스템의 용량을 늘리거나 줄이는 것이 가능하며, 
물리적인 디스크 한계를 넘어 스토리지를 효율적으로 관리할 수 있습니다

데이터 무결성

VGDA(Volume Group Descriptor Area)와 같은 영역에 LVM 구조 정보를 저장하여 관리하며, 
쿼럼(Quorum) 메커니즘을 통해 디스크 장애 시에도 데이터의 무결성을 보장합니다.

The post LVM(Logical Volume Manager) 구조 및 개념 appeared first on 어제와 내일의 나 그 사이의 이야기.

Quota (쿼터)

리눅스에서 쿼터(Quota)는 사용자 또는 그룹이 사용할 수 있는 디스크 공간 및 파일 개수를 제한하는 시스템 관리 도구

디스크 자원을 효율적으로 관리하고, 특정 사용자가 시스템 디스크 자원을 과도하게 사용하는 것을 방지

파일 시스템을 “/” (root) 로 지정하는 것보다는, 별도의 파일시스템을 지정해서 해당 부분을 쓰도록 하는 것이 좋음

“/” (root)을 동시에 여러 사용자가 사용하게되면, 우분투 서버를 운영하기 위해서

디스크를 읽고 쓰는 작업과 일반 사용자가 디스크를 읽고 쓰는 작업이 동시에 발생하므로 전반적으로 시스템의 성능이 저하됨

Quota 기능

1. 디스크 용량 제한
   • 사용자별 또는 그룹별 디스크 사용량 제한 설정
2. 파일 개수 제한
   • 사용자가 생성할 수 있는 파일(인오드)의 최대 개수 제한
3. 경고 및 강제 조치
   • 사용량이 한도를 초과하면 경고 메시지 출력
   • 설정에 따라 일정 시간을 초과하면 파일 생성/쓰기 제한

Quota 개념

1. 하드 한도 (Hard Limit)
   • 사용자가 절대 초과할 수 없는 디스크 용량이나 파일 개수 한도
2. 소프트 한도 (Soft Limit)
   • 사용자가 초과할 수 있지만, 제한된 기간(그레이스 기간) 동안만 허용되는 한도
3. 그레이스 기간 (Grace Period)
   • 소프트 한도를 초과했을 때, 허용되는 유예 기간
   • 유예 기간 내에 사용량을 줄이지 않으면 하드 한도가 적용됨

Quota 실습

https://www.youtube.com/watch?v=vOzw5usBw4M&list=PLVsNizTWUw7HAcyW6bma7trGJfiTSDA44&index=41

# 파티션 생성
fdisk /dev/sdb

# 파일시스템 생성 및 포맷
mkfs.ext4 /dev/sdb1

# 사용자의 홈 폴더를 이곳으로 설정
# 폴더 생성 후 마운트
mkdir /userHome

# 재부팅 후 자동 마운트 등록
gedit /etc/fstab

/dev/sdb1 /userhome ext4 defaults 0 0 

# daemon reload
systemctl daemon-reload

# sdb1을 quota로 사용 준비
tune2fs -O quota /dev/sdb1

# 사용자 추가 karina, winter
adduser --home /userHome/karina karina
adduser --home /userHome/winter winter

#  quota 패키지 설치
sudo apt update
sudo apt install quota

# quota 시작 
quotaon -va

# karina / soft 한도 40MB / Hard 한도 50MB 
edquota -u karina

# karina에서 확인
su - karina 

# 테스트용 더미 파일 생성
fallocate -l 10M /userHome/karina/dummyfile.txt

# quota 명령어로 확인 가능
quota

# root
su root

# quota 확인
repquota /userHome/

# karina의 기준은 winter 에게 적용
edquota -p karina winter

# quota 확인
repquota /userHome/

The post Quota (쿼터) appeared first on 어제와 내일의 나 그 사이의 이야기.

LVM (Logical Volume Manager)

LVM은 리눅스 환경에서 유연하고 효율적인 디스크 관리 기능을 제공하는 논리 볼륨 관리 시스템

디스크 공간을 논리적으로 관리하고 확장하거나 축소할 수 있으며, 물리적인 디스크 파티션에 의존하지 않고도 유연한 디스크 관리를 가능하게 함

LVM 주요 개념 3가지

1. Physical Volume (PV)

실제 물리적 디스크 또는 디스크의 파티션

예: /dev/sda1, /dev/sdb1

pvcreate 명령으로 생성

2. Volume Group (VG)

여러 PV를 묶어 하나의 논리적 디스크 풀(pool)로 만듭니다.

VG는 디스크의 물리적 경계를 초월하여 디스크를 통합 관리할 수 있게 합니다.

예: vgcreate my_vg /dev/sda1 /dev/sdb1

3. Logical Volume (LV)

VG에서 원하는 크기의 논리 디스크를 할당하여 생성한 가상의 디스크입니다.

일반 파일 시스템처럼 마운트하여 사용합니다.

LV는 필요에 따라 크기를 동적으로 조정할 수 있습니다.

예: lvcreate -L 20G -n my_lv my_vg

LVM 주요 기능

1. 유연한 디스크 관리
   • 디스크 추가/제거가 간단하며, 운영 중에도 가능
   • 파티션 크기 조정이 자유로움.
2. 디스크 공간 통합
   • 여러 디스크를 하나의 Volume Group으로 통합하여 사용할 수 있음
3. 스냅샷 기능
   • 현재 상태의 복사본(Snapshot)을 생성하여 백업이나 테스트에 사용
4. 디스크 확장/축소
   • LV와 VG의 크기를 유동적으로 조정 가능
5. RAID 기능 지원
   • LVM은 소프트웨어 RAID와 함께 사용하여 데이터 중복성을 제공할 수 있음

LVM 장점

• 디스크 크기 및 배치 유연성
• 디스크 추가 및 제거가 쉬움
• 파일 시스템 확장/축소가 가능
• 스냅샷으로 데이터 백업 및 복구 용이

LVM 단점

• 설정이 일반 파티션보다 복잡
• 추가 추상화 계층으로 인해 성능 오버헤드 발생 가능
• 설정 오류 시 데이터 복구가 더 어려울 수 있음

LVM 실습

# lvm2 패키지 다운로드
sudo apt update
sudo apt -y install lvm2

ls -a /dev/sd*

# Linux LVM 타입으로 파티션 생성
fdisk /dev/sdb
fdisk /dev/sdc

# 물리 볼륨으로 변경
pvcreate /dev/sdb1
pvcreate /dev/sdc1

# 볼륨 "myVG" 그룹 생성
vgcreate "myVG" /dev/sdb1 /dev/sdc1

# 볼륨 확인 
vgdisplay

# Logical Volume 1G, 3G, 1G 설정
lvcreate --size 1G --name myLG1 myVG
lvcreate --size 3G --name myLG2 myVG

# 저장 공간이 정확하게 떨어지지 않을 수 있기 때문에 나머지를 전부 사용하는 방법(extents)으로 함
lvcreate --extents 100%FREE --name myLG3 myVG 

# 확인
lvdisplay 

# 확인
ls -l /dev/myVG

# file system 생성 및 포맷
mkfs.ext4 /dev/myVG/myLG1
mkfs.ext4 /dev/myVG/myLG2
mkfs.ext4 /dev/myVG/myLG3

# 마운트 작업
mkdir /lvm1 /lvm2 /lvm3
mount /dev/myVG/myLG1 /lvm1
mount /dev/myVG/myLG2 /lvm2
mount /dev/myVG/myLG3 /lvm3

# 재부팅 자동 마운트 등
gedit /etc/fstab

/dev/myVG/myLG1 /lvm1 ext4 defaults 0 0
/dev/myVG/myLG2 /lvm2 ext4 defaults 0 0
/dev/myVG/myLG3 /lvm3 ext4 defaults 0 0

The post Ubuntu – LVM (Logical Volume Manager) appeared first on 어제와 내일의 나 그 사이의 이야기.

RAID 6

데이터를 스트라이핑(Striping) 방식으로 저장하면서, 두 개의 패리티(Parity) 정보를 사용하여

최대 2개의 디스크가 동시에 손상되어도 데이터를 복구할 수 있는 고안정성 RAID 레벨

RAID 5와 비슷하지만, 패리티 블록을 두 개로 늘려 더 높은 안정성을 제공하며, 최소 4개의 디스크가 필요합니다.

스트라이핑(Striping)

데이터를 여러 디스크에 작은 단위로 나누어 병렬로 저장하는 기술

• RAID 레벨에서 주로 사용되며, 디스크의 읽기 및 쓰기 성능을 향상시키기 위해 고안된 방식
• 데이터를 “블록” 단위로 나누어 각 디스크에 분산 저장함으로써 여러 디스크에서 동시에 데이터를 읽거나 쓸 수 있

RAID 6 특징

1. 스트라이핑과 이중 패리티
   • 데이터를 여러 디스크에 스트라이핑 방식으로 분산 저장.
   • 각 디스크에 두 개의 패리티를 저장하여, 디스크 두 개가 동시에 고장 나더라도 데이터를 복구 가능.
2. 높은 데이터 안정성
   • RAID 5보다 더 높은 안정성을 제공하며, 데이터 손실 가능성이 낮음.
3. 디스크 용량 효율
   • 전체 디스크 중 2개는 패리티 저장에 사용되므로, 총 용량 = (N – 2) x 단일 디스크 크기(N = 디스크 개수).
   • 예: 4TB 디스크 6개 → RAID 6 용량 = 16TB (8TB는 패리티에 사용).
4. 성능
   • 읽기 성능: 스트라이핑 덕분에 RAID 5 수준으로 빠름.
   • 쓰기 성능: 두 개의 패리티 계산으로 인해 RAID 5보다 느림.

RAID 6 장점

1. 높은 안정성
   • 동시에 두 개의 디스크가 고장 나더라도 데이터 복구 가능.
   • RAID 5보다 안정성이 크게 향상됨.
2. 공간 효율성
   • 2개의 패리티를 사용하지만, 여전히 전체 디스크 용량의 대부분을 데이터 저장에 사용 가능.
3. 성능과 안정성의 균형
   • 읽기 작업은 스트라이핑 덕분에 빠르고, 데이터 안정성도 보장.
4. 확장성
   • 디스크를 추가하여 용량을 쉽게 확장 가능.

RAID 6 단점

1. 복잡한 패리티 계산
   • 두 개의 패리티를 계산해야 하므로 쓰기 작업에서 RAID 5보다 성능이 더 낮음.
   • 쓰기 성능이 중요한 환경에서는 RAID 10(1+0)이 더 적합할 수 있음.
2. 디스크 용량 감소
   • RAID 5보다 두 개의 디스크 용량을 패리티에 사용하므로 저장 공간 효율이 약간 낮음.
3. 복구 시간 증가
   • 대용량 디스크가 많아질수록 복구 시간이 오래 걸리며, 복구 중 성능 저하가 발생할 수 있음.

RAID 6 실습

ls -a /dev/sd*
fsidk -l

# sdb1, sdc1, sdd1, sde1  총 4개를 RAID 6
mdadm --create /dev/md6 --level=6 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

mdadm --detail /dev/md6

# ext4 파일 시스템을 생성 및 포맷하는 과정
mkfs.ext4 /dev/md6

# 마운트할 폴더 생성
mkdir /raid6 

# raid6에 마운트
mount /dev/md6 /raid6

# 마운트 확인
ls -a /raid6
df

# 부팅 시 자동 마운트 등록
gedit /etc/fstab

/dev/md6 /raid6 ext4 defaults 0 0

# daemon reload
systemctl daemon-reload

# 시스템 재부팅 시에도 RAID 배열을 인식하도록 하는 과정
mdadm --detail --scan /dev/md6 >> /etc/mdadm/mdadm.conf

update-initramfs -u

#배열 등록 확인
cat /etc/mdadm/mdadm.conf

RAID 10 (1+0)

RAID 1+0, 흔히 RAID 10이라고 불리는 이 구성은 RAID 1(미러링)과 RAID 0(스트라이핑)의 결합

• 데이터를 안전하게 보호하면서 동시에 읽기/쓰기 성능을 향상시키는 RAID 레벨
• 최소 4개의 디스크가 필요하며, 디스크가 짝수 개여야 구성 가능

RAID 10 구조

RAID 10은 먼저 데이터를 미러링(RAID 1)으로 복제한 후, 스트라이핑(RAID 0)을 적용

구성 예시: 4개의 디스크로 RAID 10 구성

1. 미러링(RAID 1)
   • 동일한 데이터를 두 개의 디스크에 복사하여 저장
   • 예:
     • 디스크 1과 디스크 2는 동일한 데이터를 저장
     • 디스크 3과 디스크 4도 동일한 데이터를 저장
2. 스트라이핑(RAID 0)
   • 미러링된 디스크 쌍을 스트라이핑하여 읽기/쓰기 성능을 향상
   • 데이터 블록이 디스크 1+2와 디스크 3+4에 번갈아가며 저장됨

RAID 10 특징

1. 성능
   • 스트라이핑 덕분에 읽기와 쓰기 작업 속도가 RAID 1보다 빠릅니다.
2. 데이터 안전성
   • 미러링으로 인해 디스크 하나가 고장 나도 데이터를 복구할 수 있습니다.
   • 각 미러 그룹에서 한 디스크씩(최대 2개)이 고장 나더라도 복구 가능.
3. 디스크 용량 효율
   • 총 용량 = 디스크 총 개수의 절반 × 단일 디스크 용량.
   • 예: 4TB 디스크 4개 → RAID 10 용량 = 8TB.

RAID 10 장점

1. 높은 데이터 안정성
   • RAID 1의 미러링 덕분에 디스크 하나가 고장 나도 데이터 복구 가능
   • RAID 0보다 훨씬 안전함
2. 우수한 성능
   • 스트라이핑으로 읽기와 쓰기 성능이 RAID 1보다 훨씬 빠름
   • 특히 데이터 액세스 속도가 중요한 작업에 유리
3. 복구 시간 단축
   • 디스크 하나가 고장 나도 나머지 디스크에서 복구가 빠르게 진행됨

RAID 10 단점

1. 낮은 디스크 효율성
   • 전체 디스크 용량의 절반만 데이터 저장에 사용 가능
   • RAID 5, RAID 6보다 공간 효율성이 낮음
2. 비용이 높음
   • 데이터를 미러링하므로 같은 용량을 저장하려면 두 배의 디스크가 필요
3. 복잡성
   • 설정 및 관리를 위해 RAID 컨트롤러 또는 소프트웨어 RAID가 필요

RAID 10 실습

mdadm으로 raid 10을 바로 적용할 수 있음

mdadm --create /dev/md10 --level=10 --raid-devices=4 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1

mkfs.ext4 /dev/md10

mkdir /raid10

mount /dev/md10 /raid10

df

mdadm --detail /dev/md10

# 부팅 시 자동 마운트 등록
gedit /etc/fstab

/dev/md10 /raid10 ext4 defaults 0 0

# daemon reload
systemctl daemon-reload

# 시스템 재부팅 시에도 RAID 배열을 인식하도록 하는 과정
mdadm --detail --scan /dev/md10 >> /etc/mdadm/mdadm.conf

update-initramfs -u

#배열 등록 확인
cat /etc/mdadm/mdadm.conf

The post RAID 6, RAID 10(1+0) appeared first on 어제와 내일의 나 그 사이의 이야기.

1. 하드 7개 추가

# RAID 패키지
sudo apt update
sudo apt -y install mdadm

2. RAID 0 구축

mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/sdb1 /dev/sdc1

# mdadm: 리눅스에서 소프트웨어 RAID를 관리하기 위한 유틸리티
# --create: 새로운 RAID 배열을 생성하기 위한 옵션
# /dev/md0: 생성할 RAID 배열의 장치 이름
# --level=0: RAID 레벨을 지정, 여기서는 RAID 0(스트라이핑) 레벨을 사용
# --raid-devices=2: RAID 배열에 사용할 디스크 장치의 수를 지정, 여기서는 2개의 디스크를 사용
# /dev/sdb1 /dev/sdc1: RAID 배열에 포함될 디스크 파티션, 여기서는 /dev/sdb1과 /dev/sdc1 두 개의 파티션을 사용

# 모든 RAID 배열에 대한 상세 정보를 출력
sudo mdadm --detail --scan

# /dev/md0 장치에 ext4 파일 시스템을 생성
# RAID 배열을 생성한 후, 파일 시스템을 초기화하여 사용할 수 있게 하는 중요한 단계
mkfs.ext4 /dev/md0

/dev/md0 /raid0 ext4 defaults 0 0

# mdadm.conf 등록
sudo mdadm --detail --scan /dev/md0 >> /etc/mdadm/mdadm.conf

# 업데이트
sudo update-initramfs -u

systemctl daemon-reload

2. RAID 1 구축

# RAID Disk 정보 확인
fdisk -l /dev/sdd
fdisk -l /dev/sde

mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/sdd1 /dev/sde1

# mdadm: 리눅스에서 소프트웨어 RAID를 관리하기 위한 유틸리티
# --create: 새로운 RAID 배열을 생성하기 위한 옵션
# /dev/md1: 생성할 RAID 배열의 장치 이름
# --level=1: RAID 레벨을 지정, 여기서는 RAID 1 레벨을 사용
# --raid-devices=2: RAID 배열에 사용할 디스크 장치의 수를 지정, 여기서는 2개의 디스크를 사용
# /dev/sdd1 /dev/sde1: RAID 배열에 포함될 디스크 파티션, 여기서는 /dev/sdd1과 /dev/sde1 두 개의 파티션을 사용

# Raid 정보 확인
mdadm --detail /dev/md1

# 마운트할 폴더 생성
sudo mkdir /raid1

# mdadm.conf 등록
sudo mdadm --detail --scan /dev/md1 >> /etc/mdadm/mdadm.conf

# 업데이트
sudo update-initramfs -u

#등록 확인 
cat /etc/mdadm/mdadm.conf

# /dev/md1 장치에 ext4 파일 시스템을 생성
# RAID 배열을 생성한 후, 파일 시스템을 초기화하여 사용할 수 있게 하는 중요한 단계
mkfs.ext4 /dev/md1

# raid1 으로 mount
mount /dev/md1 /raid1

#마운트 확인
df

# /etc/fstab 에 등록 (부팅 시 마운트)
echo '/dev/md1 /raid1 ext4 defaults 0 0' | sudo tee -a /etc/fstab

# 등록 확인
cat /etc/fstab

#데몬 재시작
systemctl daemon-reload

3. RAID 5 구축 (3개)

# RAID Disk 정보 확인
fdisk -l /dev/sdf
fdisk -l /dev/sdg
fdisk -l /dev/sdh

mdadm --create /dev/md1 --level=5 --raid-devices=3 /dev/sdf1 /dev/sdg1 /dev/sdh1

mdadm --detail /dev/md5

mkfs.ext4 /dev/md5

sudo mkdir /raid5

sudo mdadm --detail --scan /dev/md5 >> /etc/mdadm/mdadm.conf

sudo update-initramfs -u

cat /etc/mdadm/mdadm.conf

mount /dev/md5 /raid5

df

echo '/dev/md5 /raid5 ext4 defaults 0 0' | sudo tee -a /etc/fstab

cat /etc/fstab

systemctl daemon-reload

4. RAID 0 1 5 장치 고장 내기

# 각 폴더에 더미파일 생성
fallocate -l 100M /raid0/dummy_file.img
fallocate -l 100M /raid1/dummy_file.img
fallocate -l 100M /raid5/dummy_file.img

각 RAID의 장치 하나씩을 제거하여 고장과 같은 상황을 만듬

# 확인
mdadm --detail /dev/md0
mdadm --detail /dev/md1
mdadm --detail /dev/md5

#장치 확인
ls -l /dev/sd*

df

RAID 확
mdadm --detail --scan

#시작 
mdadm --run /dev/md0
mdadm --run /dev/md1
mdadm --run /dev/md5

mdadm --detail --scan

# 변경 후
gedit /etc/fstab

# 데몬 재시작
systemctl daeon-reload

# 수정
sudo gedit /etc/mdadm/mdadm.conf

sudo update-initramfs -u

mdadm --detail /dev/md1
mdadm --detail /dev/md5

5. RAID 0 1 5 복구

제거한 하드 3개 추가

# 추가된 목록 확인
ls -l /dev/sd*

# 새로운 파티션 생성 (리눅스 오토 fd)
fdisk /dev/sdc
fdisk /dev/sde
fdisk /dev/sdg

# ext4 파일 시스템 생성
mkfs.ext4 /dev/sdc1
mkfs.ext4 /dev/sde1
mkfs.ext4 /dev/sdg1

- RAID 0 재생성 -

# 확인
mdadm --detail --scan

# 상세확인 (Raid 0이 md127로 변경됨)
mdadm --detail /dev/md127

# RAID 중지
mdadm --stop /dev/md127

# RAID 재생성
mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/sdb1 /dev/sdc1

# UUID 수정
sudo gedit /etc/mdadm/mdadm.conf

sudo update-initramfs -u

sudo mount /dev/md0 /raid0

gedit /etc/fstab

systemctl daeon-reload

- RAID 1 은 재생성이 아닌 추가 -

# 상세 확인
mdadm --detail /dev/md1

# Raid에 추가
mdadm /dev/md1 --add /dev/sde1

# Raid 확인
mdadm --detail /dev/md1

# 파일 확인
ls -l /raid1

- RAID 5 는 재생성이 아닌 추가 -

# 상세 확인
mdadm --detail /dev/md5

# Raid에 추가
mdadm /dev/md5 --add /dev/sdg1

# Raid 확인
mdadm --detail /dev/md5

# 파일 확인
ls -l /raid5

# Raid 전부 확인
mdadm --detail --scan

The post Ubuntu – RAID 0, 1, 5 실습 appeared first on 어제와 내일의 나 그 사이의 이야기.

RAID

RAID의 정의

RAID(Redundant Array of Independent/Inexpensive Disks)

여러 개의 하드 드라이브를 하나의 논리적 스토리지 단위로 결합하여 성능, 안정성, 또는 데이터 중복성을 향상시키는 기술

RAID는 데이터 저장 방식을 통해 디스크 오류로 인한 데이터 손실 가능성을 중이고, 읽기/쓰기 성능을 향상시키는 데 사용

하드웨어 / 소프트웨어 RAID

• Hardware RAID : 하드웨어 제조업체에서 여러 개의 하드디스크를 가지고 장비를 만들어서 공급 [안정적 / 고비용]

• Software RAID : 운영체제에서 RAID를 지원하는 방식, 리눅스 운영체제에서 지원 [저비용]

RAID 사용하는 이유

데이터 중복성: 중요한 데이터를 보호하기 위해 백업과 유사한 역할을 수행

성능 향상: 병렬 데이터 접근으로 읽기/쓰기 속도를 증가

확장성: 단일 대용량 디스크 대신 여러 디스크를 사용해 유연성을 제공

각 RAID 방식의 비교 – Software

Linear RAID

여러 개의 디스크를 하나의 논리적인 단일 디스크로 병합하는 RAID 방식

데이터를 디스크에 순차적으로 저장하는 방식으로 동작

Linear RAID의 주요 특징

1. 순차적인 데이터 저장
   • 첫 번째 디스크가 가득 차면 다음 디스크에 데이터를 계속 저장합니다.
   • 데이터를 병렬로 분산(스트라이핑)하지 않습니다.
2. 중복성 없음
   • Linear RAID는 데이터 복제나 중복성을 제공하지 않기 때문에 디스크 하나라도 손상되면 전체 데이터가 손실될 가능성이 높습니다.
3. 성능
   • 읽기/쓰기 속도가 병렬 처리되지 않아 단일 디스크와 동일한 수준의 성능을 가집니다.
4. 디스크 공간 효율
   • 모든 디스크 용량이 결합되므로 전체 디스크 용량을 100% 활용할 수 있습니다.

Linear RAID의 장점

1. 구성 간단
   • 복잡한 설정이나 전용 하드웨어가 필요하지 않음
   • 소프트웨어 RAID 도구(e.g., mdadm)를 사용하여 쉽게 구성 가능.
2. 저렴한 비용
   • 모든 디스크를 그대로 사용할 수 있어 비용 효율적
3. 유연성
   • 서로 다른 크기의 디스크를 결합(예: 1TB + 500GB 디스크 = 1.5TB)

Linear RAID의 단점

1. 데이터 안정성 부족
   • 하나의 디스크라도 손상되면 전체 볼륨이 손실
   • 데이터 중복성이 없으므로 RAID 1이나 RAID 5처럼 복구 기능을 제공하지 않음
2. 성능 향상 없음
   • 데이터를 병렬로 읽거나 쓰지 않으므로 읽기/쓰기 성능이 향상되지 않음
3. 확장성 문제
   • 기존 Linear RAID 배열에 새 디스크를 추가하기 어려움. 추가하려면 배열을 다시 구성해야함

RAID 0

스트라이핑(Striping) 기술을 사용하는 RAID의 한 유형으로, 데이터를 여러 디스크에 분산 저장하여 성능 향상에 중점을 둔 구성

중복성이나 데이터 복구 기능은 없지만, 빠른 읽기/쓰기 속도를 제공

RAID 0의 주요 특징

1. 스트라이핑(Striping)
   • 데이터를 작은 단위(스트라이프)로 나누어 여러 디스크에 병렬로 저장
   • 예: 4KB 데이터를 2개의 디스크에 2KB씩 나누어 저장
2. 데이터 중복성 없음
   • 백업 기능이 없기 때문에 디스크 하나만 손상되어도 전체 데이터가 손실
3. 성능 향상
   • 읽기/쓰기 작업을 병렬로 처리하므로 단일 디스크보다 속도가 크게 향상
   • 디스크가 많을수록 성능이 비례적으로 증가
4. 디스크 용량 효율
   • 디스크의 용량을 100% 활용 가능
   • 예: 1TB + 1TB 디스크 → RAID 0 용량 = 2TB

RAID 0의 장점

1. 최대 성능 제공
   • 병렬 작업 덕분에 읽기 및 쓰기 성능이 매우 뛰어남
   • 특히 대용량 데이터 전송이나 비디오 편집과 같은 고속 처리 작업에 적합
2. 디스크 용량의 100% 사용
   • RAID 1처럼 일부 용량이 중복성에 사용되지 않으므로 모든 디스크 용량을 활용
3. 구성이 간단
   • 하드웨어 RAID 컨트롤러나 소프트웨어 RAID로 쉽게 설정 가능

RAID 0의 단점

1. 데이터 손실 위험
   • 하나의 디스크라도 손상되면 전체 데이터가 손실
   • 디스크 수가 많아질수록 고장 확률도 높아짐
2. 데이터 복구 불가
   • RAID 1, 5, 6과 달리 복구 기능이 없어, 별도의 백업이 필수적

RAID 1

미러링(Mirroring) 기술을 사용하는 RAID 레벨로, 동일한 데이터를 두 개 이상의 디스크에 복제하여 데이터 중복성과 안정성을 보장

하나의 디스크에 문제가 발생해도 나머지 디스크에서 데이터를 읽어올 수 있어 고가용성을 제공

RAID 1의 주요 특징

1. 미러링(Mirroring)
   • 모든 데이터를 동일하게 두 개 이상의 디스크에 복사
   • 디스크가 여러 개라도 용량은 하나의 디스크 용량으로 제한(디스크 하나는 복제본 역할)
2. 높은 데이터 안정성
   • 디스크 하나가 손상되더라도 데이터 손실 없이 복구 가능
   • RAID 0과 달리 높은 신뢰성을 제공
3. 디스크 용량 효율
   • 전체 디스크 용량의 50%만 사용 가능(나머지 50%는 복제본에 사용).
4. 성능
   • 읽기 속도는 여러 디스크에서 데이터를 병렬로 읽을 수 있어 성능 향상이 가능
   • 쓰기 속도는 데이터를 모든 디스크에 복제해야 하므로 단일 디스크보다 약간 느릴 수 있음

RAID 1의 장점

1. 데이터 안정성
   • 디스크 하나가 손상되더라도 복구 가능(단, 복구 시점 전까지는 추가 디스크 손상에 대비해야 함).
2. 데이터 무결성 보장
   • 중요한 데이터를 안전하게 보호 가능
3. 읽기 성능 향상
   • 여러 디스크에서 병렬로 데이터를 읽을 수 있어 읽기 작업이 빠름
4. 구성이 간단
   • 설정과 관리가 비교적 쉬운 편

RAID 1의 단점

1. 디스크 용량 효율 저하
   • 2개의 디스크를 사용하더라도 실제로는 1개의 디스크 용량만 사용할 수 있음
2. 비용 증가
   • 동일 데이터를 저장하려면 2배의 디스크가 필요하므로 비용이 증가
3. 쓰기 성능
   • 모든 디스크에 데이터를 복제해야 하므로 쓰기 작업은 약간 느릴 수 있음

RAID 5

데이터를 스트라이핑(Striping) 방식으로 저장하면서, 각 디스크에 패리티(Parity) 정보를 분산 저장하는 RAID 레벨

성능과 데이터 안정성의 균형을 제공하며, 최소 3개의 디스크가 필요

디스크 하나가 손상되더라도 패리티를 사용해 데이터를 복구할 수 있음

RAID 5가 RAID 2 ~ 4의 장점 및 특징을 가지고 있음

RAID 5의 주요 특징

1. 스트라이핑과 패리티
   • 데이터를 스트라이핑(디스크 간 병렬로 나눠 저장)하여 성능 향상
   • 디스크마다 패리티 정보를 분산 저장하여 데이터 복구 가능
   • 예: 3개의 디스크 중 2개는 데이터 저장, 1개는 패리티 저장(순환 방식)
2. 데이터 안정성
   • 하나의 디스크가 손상되더라도 나머지 디스크와 패리티를 사용해 데이터 복구 가능
   • 두 개 이상의 디스크가 손상되면 복구 불가
3. 디스크 용량 효율
   • 전체 디스크 중 하나의 디스크 용량은 패리티에 사용되므로, 총 용량 = (N – 1) x 단일 디스크 크기(N = 디스크 개수).
   • 예: 4TB 디스크 4개 → RAID 5 용량 = 12TB (4TB는 패리티로 사용).
4. 성능
   • 읽기 작업: 스트라이핑 덕분에 빠름
   • 쓰기 작업: 패리티 계산으로 인해 약간의 성능 저하 발생

RAID 5의 장점

1. 데이터 복구 가능
   • 디스크 하나가 손상돼도 데이터 손실 없이 복구 가능
2. 성능과 안정성의 균형
   • 스트라이핑으로 읽기 성능이 좋고, 패리티로 안정성도 보장
3. 공간 효율성
   • RAID 1보다 디스크 사용 효율이 높음
4. 확장성
   • 추가 디스크를 쉽게 추가할 수 있어 용량 확장 가능

RAID 5의 단점

1. 복구 시간 증가
   • 디스크가 손상되었을 때 복구에 시간이 오래 걸릴 수 있음
   • 복구 중 추가 디스크 손상 시 전체 데이터 손실
2. 쓰기 성능 저하
   • 패리티 계산 때문에 RAID 0보다 쓰기 속도가 느림
3. 복잡한 구성
   • 하드웨어 RAID 컨트롤러나 소프트웨어 RAID를 통해 구현해야 함

RAID 6

RAID 6는 데이터를 스트라이핑(Striping) 방식으로 저장하면서, 두 개의 패리티(Parity) 정보를 사용하여 최대 2개의 디스크가 동시에 손상되어도 데이터를 복구할 수 있는 고안정성 RAID 레벨

RAID 5와 비슷하지만, 패리티 블록을 두 개로 늘려 더 높은 안정성을 제공하며 최소 4개의 디스크가 필요

RAID 6의 주요 특징

1. 스트라이핑과 이중 패리티
   • 데이터를 여러 디스크에 스트라이핑 방식으로 분산 저장
   • 각 디스크에 두 개의 패리티를 저장하여, 디스크 두 개가 동시에 고장 나더라도 데이터를 복구 가능
2. 높은 데이터 안정성
   • RAID 5보다 더 높은 안정성을 제공하며, 데이터 손실 가능성이 낮음
3. 디스크 용량 효율
   • 전체 디스크 중 2개는 패리티 저장에 사용되므로, 총 용량 = (N – 2) x 단일 디스크 크기(N = 디스크 개수)
   • 예: 4TB 디스크 6개 → RAID 6 용량 = 16TB (8TB는 패리티에 사용)
4. 성능
   • 읽기 성능: 스트라이핑 덕분에 RAID 5 수준으로 빠름
   • 쓰기 성능: 두 개의 패리티 계산으로 인해 RAID 5보다 느림

RAID 6의 장점

1. 높은 안정성
   • 동시에 두 개의 디스크가 고장 나더라도 데이터 복구 가능
   • RAID 5보다 안정성이 크게 향상됨
2. 공간 효율성
   • 2개의 패리티를 사용하지만, 여전히 전체 디스크 용량의 대부분을 데이터 저장에 사용 가능
3. 성능과 안정성의 균형
   • 읽기 작업은 스트라이핑 덕분에 빠르고, 데이터 안정성도 보장
4. 확장성
   • 디스크를 추가하여 용량을 쉽게 확장 가능

RAID 6의 단점

1. 복잡한 패리티 계산
   • 두 개의 패리티를 계산해야 하므로 쓰기 작업에서 RAID 5보다 성능이 더 낮음
   • 쓰기 성능이 중요한 환경에서는 RAID 10이 더 적합할 수 있음
2. 디스크 용량 감소
   • RAID 5보다 두 개의 디스크 용량을 패리티에 사용하므로 저장 공간 효율이 약간 낮음
3. 복구 시간 증가
   • 대용량 디스크가 많아질수록 복구 시간이 오래 걸리며, 복구 중 성능 저하가 발생할 수 있음

The post RAID (Redundant Array of Independent/Inexpensive Disks) appeared first on 어제와 내일의 나 그 사이의 이야기.

# 확인
ls /dev/sd*

현재는 물리적인 하드디스크가 장착되어 있는 상태 fdisk를 이용하여 파티셔닝을 해주어야 사용이 가능하다.

n 명령어를 입력하여 새로운 파티션을 생성

파티션 타입을 선택하는 단계에서 p를 입력하여 기본 값인 primary 파티션을 선택

파티션 번호를 1로 설정 (기본적으로 MBR은 최대 4개의 주 파티션을 지원)

첫 번째 섹터를 기본 값인 2048로 설정
(섹터 2048까지의 공간은 일반적으로 디스크의 메타데이터, 부트 로더, 파티션 테이블 등과 같은 시스템 관리 정보가 저장되는 영역)

마지막 섹터를 기본 값인 2097151로 설정하여 파티션 크기를 1023 MiB 만듬

만약 해당 디스크를 mount하려고 하는 폴더에 파일이 있다면?

/mydata 폴더는 마운트된 곳을 가르키고 원래 파일을 볼 수 없음 (마운트 해제 원래 파일을 볼 수 있다.)

리부팅 때마다 마운트를 할 수 없으므로

/etc/fstab 에 등록하여 자동으로 마운트

/dev/sdb1 /mydata ext4 defaults 0 0

# 뒤 ext4 defaults 0 0 는 거의 고

/dev/sdb1:

• 파일 시스템 장치: 디스크의 특정 파티션

/mydata:

• 마운트 지점: 파일 시스템이 마운트될 디렉토리

ext4:

• 파일 시스템 타입: 사용되는 파일 시스템의 종류, ext4 파일 시스템을 사용

defaults:

• 마운트 옵션: 기본 마운트 옵션을 사용
  기본 옵션에는 rw, suid, dev, exec, auto, nouser, async가 포함

0:

• 덤프 옵션: 파일 시스템 덤프 유틸리티인 dump 명령어가 이 파일 시스템을 백업할지를 나타냅니다. 0은 백업하지 않음을 의미합니다.

0:

• fsck 옵션: 시스템 부팅 시 파일 시스템 무결성을 검사할지를 나타냅니다. 0은 검사를 하지 않음을 의미합니다.

The post Ubuntu – Hard disk management (Add Disk) appeared first on 어제와 내일의 나 그 사이의 이야기.

파이프(Pipe)

파이프(|)는 하나의 명령어 출력을 다른 명령어의 입력으로 전달하는 역할

파이프는 명령어의 출력을 다른 명령어로 전달하는데 매우 유용하며, 이로 인해 복잡한 작업을 단순화할 수 있음

사용법

# command1은 먼저 실행되어 출력을 생성하고, 이 출력이 command2로 전달
command1 | command2

# ls 명령어로 디렉토리 목록을 출력하고, 그 결과를 less 명령어로 페이지 단위로 스크롤할 수 있게 만듬
ls -al | less
ls -al /etc | less

# ps aux로 실행 중인 프로세스를 나열하고, 그 중에서 apache라는 단어가 포함된 항목만 필터링하여 출력
ps aux | grep apache

필터(Filter)

필터는 파이프와 함께 사용되며, 데이터를 수정하거나 변환하는 명령어

보통 출력된 데이터를 필터링하거나 변경할 때 사용

grep, awk, sed, sort, cut, tail, wc 등의 명령어가 필터에 해당

사용법

• grep: 패턴에 맞는 줄을 검색

# file.txt에서 keyword를 포함하는 줄만 출력
cat file.txt | grep "keyword"

# ps -ef는 모든 프로세스 번호를 출력하므로 bash 라는 글자가 들어간 프로세스만 출력
ps -ef | grep bash

• awk: 파일을 특정 구분자로 나누어 처리

# file.txt의 각 줄에서 첫 번째 열만 출력
cat file.txt | awk '{print $1}'

• sort: 데이터를 정렬

# 디렉토리 내 파일들을 알파벳 순으로 정렬하여 출력
ls | sort

• cut: 텍스트를 구분자로 나누어 일부만 선택.

# file.txt에서 공백을 기준으로 첫 번째 필드를 출력
cat file.txt | cut -d' ' -f1

• sed: 텍스트 스트림을 수정(편집).

# file.txt에서 old라는 단어를 new로 바꿔 출력
cat file.txt | sed 's/old/new/g'

리디렉션(Redirection)

리디렉션은 명령어의 출력을 파일로 저장하거나, 파일을 명령어의 입력으로 전달하는 기능

리디렉션은 출력 리디렉션과 입력 리디렉션으로 나눌 수 있음

출력 리디렉션

출력 리디렉션은 명령어의 출력을 파일로 보낼 때 사용 > 또는 >>를 사용

• > 출력을 새로운 파일에 덮어쓰기

# "Hello, World!"를 hello.txt라는 파일에 덮어씁니다.
echo "Hello, World!" > hello.txt

• >> 출력을 파일 끝에 추가

# "New line"을 hello.txt 파일에 추가합니다.
echo "New line" >> hello.txt

입력 리디렉션

입력 리디렉션은 파일을 명령어의 입력으로 전달하는 데 사용 < 기호를 사용

• <: 파일을 명령어의 입력으로 사용

# file.txt의 내용을 정렬하여 출력
sort < file.txt

# list.txt 파일을 정렬하고 out.txt에 쓰기
sort < list.txt > out.txt

표준 오류 리디렉션

표준 오류를 파일로 리디렉션할 수 있습니다. 2> 또는 2>>를 사용

• 2>: 오류 출력을 파일로 리디렉션

# 명령어의 오류 메시지를 error.log 파일에 저장
command 2> error.log

• 2>>: 오류 출력을 파일 끝에 추가

# 명령어의 오류 메시지를 error.log 파일 끝에 저장
command 2>> error.log

출력과 오류 모두 리디렉션

출력과 오류를 모두 하나의 파일로 리디렉션

# output.log 파일에 표준 출력과 표준 오류가 모두 기록
command > output.log 2>&1

파이프, 필터, 리디렉션을 결합 예시

여러 명령어를 조합하여 복잡한 작업을 할 수 있습니다.

예를 들어, 특정 로그 파일에서 오류 메시지만 추출하여 정렬하고, 이를 파일로 저장할 수 있습니다.

# /var/log/syslog 파일에서 "error"라는 단어가 포함된 행을 찾고, 그 결과를 정렬하여 error_log.txt에 저장합니다.
cat /var/log/syslog | grep "error" | sort > error_log.txt

The post Ubuntu – 파이프(Pipe)/필터(filter)/리다이렉션(redirection) appeared first on 어제와 내일의 나 그 사이의 이야기.

find 명령어는 파일 시스템에서 파일과 디렉토리를 검색하는 데 사용되는 강력한 도구

기본 사용법

find [검색 디렉토리] [검색 조건] [실행할 동작]

주요 옵션과 예시

• 특정 이름의 파일 찾기

find /path/to/search -name "filename"

• 특정 확장자의 파일 찾기

find /path/to/search -name "*.txt"

• 대소문자를 구분하지 않고 파일 찾기

find /path/to/search -iname "filename"

• 특정 크기 이상의 파일 찾기

find /path/to/search -size +100M

• 특정 시간 이후에 수정된 파일 찾기

find /path/to/search -mtime -7

# (지난 하루 동안 수정된 파일)
find /home/user -mtime -1 

• 특정 사용자가 소유한 파일 찾기

find /path/to/search -user username

• 특정 그룹이 소유한 파일 찾기

find /path/to/search -group groupname

• 파일 삭제 [이 명령어는 신중하게 사용해야 합니다]

find /path/to/search -name "filename" -delete

• 찾은 파일에 대해 명령어 실행

find /path/to/search -name "*.log" -exec rm {} \;

# 모든 .log 파일 삭제
find /var/log -name "*.log" -exec rm {} \;

복합 조건 사용

• 특정 크기 이상의 특정 확장자를 가진 파일 찾기

find /path/to/search -name "*.log" -size +100M

• 특정 용량 범위 안의 파일 찾기

# 100MB보다 크고 1GB보다 작은 파일
find /path/to/search -size +100M -size -1G

• 특정 시간 이후에 수정되고 특정 사용자가 소유한 파일 찾기

find /path/to/search -mtime -7 -user username

The post Ubuntu – find 명령어 appeared first on 어제와 내일의 나 그 사이의 이야기.

gzip (.gz)

특징

• 가장 일반적이고 가벼운 압축 형식
• 리눅스/유닉스 시스템에서 널리 사용
• 빠른 압축 및 해제 속도

압축률

• 빠르고 경량한 압축 형식
• 상대적으로 중간 수준의 압축률
• CPU 부하가 낮음

명령어

• 압축

 gzip filename

• 압축 해제

gunzip filename.gz
gzip -d filename.gz

• 압축 레벨 설정 (1 ~ 9)

gzip -1 filename   # 빠른 압축, 낮은 압축률
gzip -9 filename   # 최대 압축, 느린 속도

• 원본 파일 유지

gzip -k filename   # 압축 후 원본 파일 유지

• 사용 예시

# 단일 파일 압축
gzip document.txt

# 여러 파일 압축
gzip file1.txt file2.txt file3.txt

# 압축 해제
gunzip document.txt.gz

# 압축 내용 확인 (압축 해제 없이)
zcat document.txt.gz

주의 사항

• 단일 파일 압축에 최적
• 디렉토리 압축 불가 (tar 사용)
• 압축 해제 시 원본 파일 덮어씀

xz (.xz)

특징

• 최고 수준의 압축률
• 장기 보관 및 대용량 파일에 최적
• 매우 느린 압축/해제 속도

압축률

• 가장 높은 압축률
• 파일 크기 가장 작게 압축
• CPU 사용량이 상대적으로 높음

명령어

• 압축

xz filename

• 압축 해제

unxz filename.xz
xz -d filename.xz

• 압축 레벨 설정 (1 ~ 9)

xz -0 filename   # 빠른 압축, 낮은 압축률
xz -9 filename   # 최대 압축, 매우 느린 속도

• 원본 파일 유지

xz -k filename   # 압축 후 원본 파일 유지

• 사용 예시

# 단일 파일 압축
xz document.txt

# 여러 파일 압축
xz file1.txt file2.txt file3.txt

# 압축 해제
unxz document.txt.xz

주의사항

• 장기 보관 파일에 최적
• 압축/해제 속도 매우 느림
• 높은 CPU 및 메모리 사용

bzip2 (.bz2)

특징

• gzip보다 높은 압축률
• 대용량 파일 압축에 적합
• 상대적으로 느린 압축/해제 속도

압축률

• 높은 압축률
• CPU 사용량 높음
• 파일 크기 더 작게 압축

명령어

• 압축

bzip2 filename

• 압축 해제

bunzip2 filename.bz2
bzip2 -d filename.bz2

• 압축 레벨 설정 (1 ~ 9)

bzip2 -1 filename   # 빠른 압축, 낮은 압축률
bzip2 -9 filename   # 최대 압축, 느린 속도

• 원본 파일 유지

bzip2 -k filename   # 압축 후 원본 파일 유지

• 사용 예시

# 단일 파일 압축
bzip2 document.txt

# 여러 파일 압축
bzip2 file1.txt file2.txt file3.txt

# 압축 해제
bunzip2 document.txt.bz2

주의사항

• 대용량 파일에 적합
• 압축 속도 느림
• 상대적으로 높은 CPU 리소스 소모

zip/unzip (.zip)

특징

• 크로스 플랫폼 호환 압축 형식
• Windows, Linux, macOS 모두 지원
• 여러 파일 동시 압축 가능

압축률

• 중간 수준의 압축률
• 빠른 압축/해제 속도
• 디렉토리 압축 가능

명령어

• 압축

zip archivename.zip file1 file2

• 압축 해제

unzip archivename.zip

• 압축 레벨 설정 (1 ~ 9)

bzip2 -1 filename   # 빠른 압축, 낮은 압축률
bzip2 -9 filename   # 최대 압축, 느린 속도

• 사용 예시

# 단일 파일 압축
zip document.zip document.txt

# 여러 파일 압축
zip multiple.zip file1.txt file2.txt

# 디렉토리 압축
zip -r project.zip project_folder

# 압축 해제
unzip multiple.zip

# 압축 파일 내용 확인
unzip -l multiple.zip

주의사항

• 크로스 플랫폼 호환성 높음
• 압축/해제 속도 빠름
• 원본 파일 유지됨

tar (.tar, .tar.gz, .tgz, .tar.xz …)

특징

• 리눅스/유닉스 시스템에서 가장 널리 사용되는 아카이브 형식
• 여러 파일이나 디렉토리를 하나의 파일로 묶는 데 사용
• 압축 없이 파일을 묶을 수 있으며, 다른 압축 형식과 결합하여 압축도 가능
• 압축 기능을 제공하지 않지만, .tar.gz나 .tar.xz와 같은 형식으로 압축을 추가할 수 있음
• 디렉토리 구조와 메타데이터를 유지하면서 파일을 묶음

명령어

1. 기본 동작 (파일 아카이브 및 압축)

1.1 파일 아카이브 생성 (압축 없이 파일 묶기)

• 옵션: -c, -f
  • -c : 새로운 아카이브를 생성
  • -f : 아카이브 파일 이름 지정
  • -C:디렉토리 지정

명령어 예시:

tar -cf archive.tar file1 file2

tar -cz archive.tar -C /path/to/directory file1 file2

• file1, file2를 archive.tar로 묶음.

1.2 파일 압축 생성 (압축 포함)

• 옵션: -c, -f, -z (gzip 압축), -J (xz 압축) -j (bzip2 압축)
  • -z : gzip 압축을 사용하여 아카이브 생성
  • -J : xz 압축을 사용하여 아카이브 생성
  • -j:bzip2 압축을 사용하여 아카이브 생성

명령어 예시:

tar -czf archive.tar.gz file1 file2
tar -cJf archive.tar.xz file1 file2
tar -cjf archive.tar.bz2 file1 file2

• file1과 file2를 각각 gzip 또는 xz, bzip2 압축을 사용하여 아카이브로 묶음.

1.3 디렉토리 압축

• 옵션: -c, -f, -r (디렉토리 포함)

명령어 예시:

tar -czf archive.tar.gz directory/

• directory/ 디렉토리 내 모든 파일과 하위 디렉토리를 포함하여 gzip으로 압축한 아카이브 생성.

2. 파일 압축 해제 (아카이브 풀기)

2.1 파일 압축 해제 (기본 아카이브 풀기)

• 옵션: -x, -f
  • -x : 아카이브에서 파일을 추출
  • -f : 아카이브 파일 이름 지정

명령어 예시:

tar -xf archive.tar

tar -xf archive.tar -C /path/to/destination

• archive.tar에서 파일을 압축 해제하여 현재 디렉토리에 복원.

2.2 압축 해제 (gzip 압축 해제)

• 옵션: -x, -f, -z
  • -z : gzip 압축 해제

명령어 예시:

tar -xzf archive.tar.gz

• archive.tar.gz에서 압축을 풀고 파일을 복원.

2.3 압축 해제 (xz 압축 해제)

• 옵션: -x, -f, -J
  • -J : xz 압축 해제

명령어 예시:

tar -xJf archive.tar.xz

• archive.tar.xz에서 xz 압축을 해제하여 파일 복원.

2.4 압축 해제 (bzip2 압축 해제)

• 옵션: -x, -f, -j
  • -j : bzip2 압축 해제

명령어 예시:

tar -xjf archive.tar.bz2

• archive.tar.bz2에서 bzip2 압축을 해제하여 파일 복원.

3. 아카이브 내용 확인 및 목록 보기

3.1 아카이브 내용 확인 (목록 보기)

• 옵션: -t, -f
  • -t : 아카이브의 내용을 목록으로 표시
  • -f : 아카이브 파일 이름 지정

명령어 예시:

tar -tf archive.tar

• archive.tar 아카이브의 내용을 목록으로 표시 (압축 해제하지 않고).

3.2 압축 해제 없이 내용 확인 (gzip 압축 아카이브)

• 옵션: -t, -f, -z

명령어 예시:

tar -tzf archive.tar.gz

• archive.tar.gz 아카이브의 내용을 확인, 압축 해제하지 않음.

4. 아카이브에서 특정 파일 추출

4.1 특정 파일만 추출

• 옵션: -x, -f
  • -x : 아카이브에서 파일을 추출
  • -f : 아카이브 파일 이름 지정
  • 특정 파일 이름을 지정하여 해당 파일만 추출

명령어 예시:

tar -tzf archive.tar.gz

• archive.tar에서 file1.txt만 추출.

5. 원본 파일 유지 및 덮어쓰기 방지

5.1 원본 파일 유지 (압축 후 원본 파일 삭제 방지)

• 옵션: -k
  • -k : 압축 해제 후 원본 파일을 덮어쓰지 않음

명령어 예시:

tar -xkf archive.tar

• archive.tar를 압축 해제하면서 원본 파일을 덮어쓰지 않음.

6. 압축 옵션

6.1 압축 수준 설정

• 옵션: -z, -J
  • -z : gzip 압축을 사용할 때 압축 수준 설정
  • -J : xz 압축을 사용할 때 압축 수준 설정
  • -j:bzip2 압축을 사용할 때 압축 수준 설정

명령어 예시:

# gzip 압축 (빠른 압축)
tar -czf archive.tar.gz --fast file1 file2

# gzip 압축 (최대 압축)
tar -czf archive.tar.gz --best file1 file2


# xz 압축 (빠른 압축)
tar -cJf archive.tar.xz --fast file1 file2

# xz 압축 (최대 압축)
tar -cJf archive.tar.xz --best file1 file2


# bzip2 압축 (빠른 압축)
tar -cjf archive.tar.bz2 --fast file1 file2

# bzip2 압축 (최대 압축)
tar -cjf archive.tar.bz2 --best file1 file2


# 1-9 사이의 숫자로 gzip 압축 수준 지정
tar -cz9f archive.tar.gz file1 file2   # 최대 압축
tar -cz1f archive.tar.gz file1 file2   # 최소 압축


# xz 압축도 동일하게 적용
tar -cJ9f archive.tar.xz file1 file2   # 최대 압축
tar -cJ1f archive.tar.xz file1 file2   # 최소 압축


# bzip2 압축도 동일하게 적용
tar -cj9f archive.tar.bz2 file1 file2  # 최대 압축
tar -cj1f archive.tar.bz2 file1 file2  # 최소 압축


# gzip 압축 (최대 압축) 및 디렉토리 변경
tar -czf archive.tar.gz --best -C /path/to/directory file1 file2

# xz 압축 (최대 압축) 및 디렉토리 변경
tar -cJf archive.tar.xz --best -C /path/to/directory file1 file2

# bzip2 압축 (최대 압축) 및 디렉토리 변경
tar -cjf archive.tar.bz2 --best -C /path/to/directory file1 file2

• --fast는 압축 속도를 빠르게 하여 압축률은 낮추고, --best는 최대 압축을 하여 압축률을 높입니다.

7. 기타 유용한 옵션

7.1 아카이브를 다른 파일로 출력

• 옵션: -O
  • -O : 파일을 표준 출력으로 출력

명령어 예시:

tar -xO -f archive.tar file1.txt

• archive.tar에서 file1.txt를 추출하여 표준 출력으로 출력 (파일로 저장하지 않음).

7.2 파일 패턴으로 추출

• 옵션: --wildcards
  • 특정 패턴에 맞는 파일만 추출

명령어 예시:

tar -xf archive.tar --wildcards '*.txt'

• archive.tar에서 .txt 파일만 추출.

정리

• -c: 아카이브 생성
• -C:디렉토리 지정
• -x: 아카이브에서 파일 추출
• -t: 아카이브 내용 확인
• -f: 아카이브 파일 이름 지정
• -z: gzip 압축/해제
• -J: xz 압축/해제
• -j: bzip2 압축/해제
• -k: 원본 파일 유지
• -O: 표준 출력으로 파일 출력
• --wildcards: 파일 패턴으로 추출

The post Ubuntu – File Compression (파일 압축) appeared first on 어제와 내일의 나 그 사이의 이야기.