파이프(Pipe)

파이프(|)는 하나의 명령어 출력을 다른 명령어의 입력으로 전달하는 역할

파이프는 명령어의 출력을 다른 명령어로 전달하는데 매우 유용하며, 이로 인해 복잡한 작업을 단순화할 수 있음

사용법

# command1은 먼저 실행되어 출력을 생성하고, 이 출력이 command2로 전달
command1 | command2

# ls 명령어로 디렉토리 목록을 출력하고, 그 결과를 less 명령어로 페이지 단위로 스크롤할 수 있게 만듬
ls -al | less
ls -al /etc | less

# ps aux로 실행 중인 프로세스를 나열하고, 그 중에서 apache라는 단어가 포함된 항목만 필터링하여 출력
ps aux | grep apache

필터(Filter)

필터는 파이프와 함께 사용되며, 데이터를 수정하거나 변환하는 명령어

보통 출력된 데이터를 필터링하거나 변경할 때 사용

grep, awk, sed, sort, cut, tail, wc 등의 명령어가 필터에 해당

사용법

• grep: 패턴에 맞는 줄을 검색

# file.txt에서 keyword를 포함하는 줄만 출력
cat file.txt | grep "keyword"

# ps -ef는 모든 프로세스 번호를 출력하므로 bash 라는 글자가 들어간 프로세스만 출력
ps -ef | grep bash

• awk: 파일을 특정 구분자로 나누어 처리

# file.txt의 각 줄에서 첫 번째 열만 출력
cat file.txt | awk '{print $1}'

• sort: 데이터를 정렬

# 디렉토리 내 파일들을 알파벳 순으로 정렬하여 출력
ls | sort

• cut: 텍스트를 구분자로 나누어 일부만 선택.

# file.txt에서 공백을 기준으로 첫 번째 필드를 출력
cat file.txt | cut -d' ' -f1

• sed: 텍스트 스트림을 수정(편집).

# file.txt에서 old라는 단어를 new로 바꿔 출력
cat file.txt | sed 's/old/new/g'

리디렉션(Redirection)

리디렉션은 명령어의 출력을 파일로 저장하거나, 파일을 명령어의 입력으로 전달하는 기능

리디렉션은 출력 리디렉션과 입력 리디렉션으로 나눌 수 있음

출력 리디렉션

출력 리디렉션은 명령어의 출력을 파일로 보낼 때 사용 > 또는 >>를 사용

• > 출력을 새로운 파일에 덮어쓰기

# "Hello, World!"를 hello.txt라는 파일에 덮어씁니다.
echo "Hello, World!" > hello.txt

• >> 출력을 파일 끝에 추가

# "New line"을 hello.txt 파일에 추가합니다.
echo "New line" >> hello.txt

입력 리디렉션

입력 리디렉션은 파일을 명령어의 입력으로 전달하는 데 사용 < 기호를 사용

• <: 파일을 명령어의 입력으로 사용

# file.txt의 내용을 정렬하여 출력
sort < file.txt

# list.txt 파일을 정렬하고 out.txt에 쓰기
sort < list.txt > out.txt

표준 오류 리디렉션

표준 오류를 파일로 리디렉션할 수 있습니다. 2> 또는 2>>를 사용

• 2>: 오류 출력을 파일로 리디렉션

# 명령어의 오류 메시지를 error.log 파일에 저장
command 2> error.log

• 2>>: 오류 출력을 파일 끝에 추가

# 명령어의 오류 메시지를 error.log 파일 끝에 저장
command 2>> error.log

출력과 오류 모두 리디렉션

출력과 오류를 모두 하나의 파일로 리디렉션

# output.log 파일에 표준 출력과 표준 오류가 모두 기록
command > output.log 2>&1

파이프, 필터, 리디렉션을 결합 예시

여러 명령어를 조합하여 복잡한 작업을 할 수 있습니다.

예를 들어, 특정 로그 파일에서 오류 메시지만 추출하여 정렬하고, 이를 파일로 저장할 수 있습니다.

# /var/log/syslog 파일에서 "error"라는 단어가 포함된 행을 찾고, 그 결과를 정렬하여 error_log.txt에 저장합니다.
cat /var/log/syslog | grep "error" | sort > error_log.txt

The post Ubuntu – 파이프(Pipe)/필터(filter)/리다이렉션(redirection) appeared first on 어제와 내일의 나 그 사이의 이야기.

dd

# 1GB 크기의 더미 파일 생성 (img는 임시)
dd if=/dev/zero of=dd_dummy_file.img bs=1G count=1

# 500MB 크기의 더미 파일 생성 (img는 임시)
dd if=/dev/zero of=dd_dummy_file.img bs=500M count=1

dd if=/dev/zero of=dd_dummy_file.img bs=500M count=1

dd: 유틸리티의 이름

if=/dev/zero: 입력 파일(input file)을 지정

• /dev/zero 무한히 0을 생성하는 특수 파일
• /dev/urandom 넌블로킹 방식으로 빠르게 무작위 데이터를 생성
• /dev/random 고품질의 무작위 데이터를 생성하지만, 엔트로피가 부족할 경우 출력이 지연

of=dummy_file.img: 출력 파일(output file)을 지정, dummy_file.img라는 이름의 파일로 데이터를 기록

bs=1G: 블록 크기(block size)를 설정, 1GB 크기의 블록을 사용

count=1: 블록의 개수를 설정, 1개의 블록만 기록

fallocate

# 1GB 크기의 더미 파일 생성 (img는 임시)
fallocate -l 1G fallocate_dummy_file.img

# 500MB 크기의 더미 파일 생성 (img는 임시)
fallocate -l 500M fallocate_dummy_file.img

-l 옵션은 생성할 파일의 크기를 지정

truncate

# 1GB 크기의 더미 파일 생성 (img는 임시)
truncate -s 1G dummy_file.img

base64

# 1GB 크기의 더미 파일 생성 (img는 임시)
base64 /dev/urandom | head -c 1G > dummy_file.img

base64 /dev/urandom | head -c 1G > dummy_file.img

\base64 /dev/urandom:

• /dev/zero 무한히 0을 생성하는 특수 파일
• /dev/random 넌블로킹 방식으로 빠르게 무작위 데이터를 생성
• /dev/urandom 고품질의 무작위 데이터를 생성하지만, 엔트로피가 부족할 경우 출력이 지연

base64: 무작위 데이터를 base64 인코딩 형식으로 변환

base64 인코딩은 이진 데이터를 텍스트 형식으로 인코딩

| (파이프라인):

• 파이프라인(|)을 사용하여 첫 번째 명령어의 출력을 다음 명령어의 입력으로 전달

head -c 1G:

• head: 파일의 처음 부분을 출력하는 명령어
• -c 1G: 1GB(기가바이트) 크기의 데이터를 읽어옵니다. 여기서 1G는 1GB를 의미

> (리디렉션):

• > 기호는 명령어의 출력을 파일로 리디렉션, 기존 파일을 덮어쓰는 방식

dummy_file.img:

• 출력 데이터를 저장할 파일 이름입니다. 여기서는 dummy_file.img라는 이름의 파일로 데이터를 저장

명령어 비교 표

The post Ubuntu – Dummy File 더미 파일 생성 appeared first on 어제와 내일의 나 그 사이의 이야기.