Solaris Volume Manager Vwowunix.com/cwb/cwb-data/data/solaris/%BC%D6%B6%F3%B8%AE... ·...

Solaris Volume Manager V.2

솔라리스 강사 조재구 http://cafe.daum.net/osschool [email protected] 1 / 69

솔

라

리

스

볼

륨

메

니

져



솔

라

리

스

볼

륨

메

니

져

목 차

1. SVM 프로그램과 디스크 환경 설정......................................................................................... 8

1) SVM 프로그램 확인 ....................................................................................................................................................8

2) O/S 디스크 파티션 확인 ............................................................................................................................................8

3) 기타 디스크 파티션 확인.........................................................................................................................................9

4) VOLUME 용으로 사용할 디스크의 파티션을 모두 동일하게 설정 ......................................................................9

2. METADB 생성 및 관리............................................................................................................ 10

1) METADB 와 관련된 RULE........................................................................................................................................10

2) 단일 METADB 생성 ...................................................................................................................................................10

3) METADB 제거 하기....................................................................................................................................................11

4) METADB 와 REPLICA 동시 생성................................................................................................................................11

5) METADB 와 관련된 파일들 ......................................................................................................................................11

5.1) md driver (kernel module driver) 환경 파일...............................................................................................11

5.2) metadb 의 정보를 가지고 있는 파일............................................................................................................12

5.3) meta device 를 생성하는 방법을 예제로 가지고 있는 파일.....................................................................12

5.4) SVM 의 kernel 정보를 가지고 있는 파일...................................................................................................12

6) METADB 용 REPLICA 추가 하기............................................................................................................................12

7) SVM 과 관련된 PROCESS.........................................................................................................................................13

8) SVM과 관련된 SERVICE (SOLARIS10) ......................................................................................................................13

8.1) 오직 local disk set 구성시 사용 서비스................................. 오류! 책갈피가 정의되어 있지 않습니다.

8.2) disk set 구성시 .............................................................................. 오류! 책갈피가 정의되어 있지 않습니다.

8.3) multi node disk set구성시 .............................................................. 오류! 책갈피가 정의되어 있지 않습니다.

3. DISKSET 설정 ............................................................................................................................. 14

1) DISKSET 의 이해 ........................................................................................................................................................14

2) DISKSET 설정 .............................................................................................................................................................15

2.1) 기존에 설정된 metadb를 제거한다...............................................................................................................15

2.2) 양쪽 host 의 host 이름과 ip-address 정보를 ‘/etc/hosts’ 파일에 기재한다............................................15

2.3) 양쪽 host 에 기본 metadb 를 o/s disk 의 7번 slice 를 이용하여 설정함.............................................16

2.4) metaset 설정 .......................................................................................................................................................16

2.5) owner ship 가져 오기........................................................................................................................................16



솔

라

리

스

볼

륨

메

니

져

2.6) owner ship 제거 하기........................................................................................................................................16

2.7) mediator 설정하기 .............................................................................................................................................16

2.8) 설정한 metaset 에 공유 디스크들을 등록합니다. .....................................................................................17

2.9) metaset 영역에 포함 되어 있는 디스크 들은 자동적으로 metadb 가 생성됨 ......................................17

3) METAIMPORT ...............................................................................................................................................................18

3.1) diskset 구성 ........................................................................................................................................................18

3.2) volume 생성 .......................................................................................................................................................18

3.3) jaekoo1에 ownership 설정 ........................................................... 오류! 책갈피가 정의되어 있지 않습니다.

3.4) 상대방 metaset host 정보 제거 ................................................. 오류! 책갈피가 정의되어 있지 않습니다.

3.5) jaekoo1의 ownership 제거 ........................................................... 오류! 책갈피가 정의되어 있지 않습니다.

3.6) jaekoo2에서 import 가능 확인 ................................................... 오류! 책갈피가 정의되어 있지 않습니다.

3.7) import 정보 자세히 확인.................................................................................................................................20

3.8) 다른 이름의 diskset으로 가져오기 ...............................................................................................................20

3.9) jaekoo1 diskset 정보 ..........................................................................................................................................20

4) DISKSET 제거 하기 ....................................................................................................................................................21

4.1) metaset 에 포함되어 있는 drive 먼저 제거 하기 .................. 오류! 책갈피가 정의되어 있지 않습니다.

4.2) metaset 지우기 .............................................................................. 오류! 책갈피가 정의되어 있지 않습니다.

4.3) 확인 하기 ..................................................................................... 오류! 책갈피가 정의되어 있지 않습니다.

4. RAID0 (CONCAT 구성하기) ................................................................................................... 22

1) 두 개의 DISK 를 CONCATENATION 용으로 구성하기 ........................................................................................23

1.1) ‘d0‘ volume 생성 하기......................................................................................................................................23

1.2) 파일 시스템 구성 하기 ..................................................................................................................................23

1.3) mount 하여 보기 ...............................................................................................................................................24

2) CONCATENATION 으로 구성된 VOLUME 의 크기 증가 ..........................................................................................24

2.1) 기존의 volume 에 디스크를 추가 하기 ......................................................................................................24

2.2) mount 된 filesystem 의 용량 늘리기.............................................................................................................24

3) 제거 하기..................................................................................................................................................................25

5. RAID0 (STRIPE) 구성하기...................................................................................................... 26

1) 두 개의 DISK 를 STRIPE 용으로 구성하기 ........................................................................................................26

1.1) ‘d1’ volume 이름으로 구성하기 ......................................................................................................................26

1.2) 파일 시스템 생성 하기 ..................................................................................................................................27

1.3) mount 하기 .......................................................................................................................................................27

2) 구성된 STRIPE 구성에 DISK 추가..........................................................................................................................27

2.1) 기존 볼륨 (‘d1’) 에 disk 추가 하기 ............................................................................................................27

2.2) filesystem 의 크기 늘리기...............................................................................................................................27



솔

라

리

스

볼

륨

메

니

져

3) 제거 하기..................................................................................................................................................................28

6. RAID0 (CONCATENATED STRIPE)..................................................................................... 29

7. RAID1 (MIRROR) 구성하기...................................................................................................... 30

1) MIRROR 구성 하기 ..................................................................................................................................................30

1.1) 원본 디스크를 concat. 볼륨으로 구성하여 mount 하기 ...........................................................................30

1.2) 백업 디스크를 concat. volume 으로 구성 한다. .........................................................................................31

1.3) raid1 volume 을 구성한다. .........................................................................................................................31

1.4) raid1 의 resync 확인.........................................................................................................................................32

1.5) 파일 시스템을 mount 한다. ...........................................................................................................................33

2) SVM 의 구성 정보 확인 하기................................................................................................................................33

3) RAID1 의 READ 옵션 설정 하기 ............................................................................................................................33

3.1) Round-Robin 방식 ........................................................................ 오류! 책갈피가 정의되어 있지 않습니다.

3.2) Geometric ....................................................................................... 오류! 책갈피가 정의되어 있지 않습니다.

3.3) First................................................................................................. 오류! 책갈피가 정의되어 있지 않습니다.

3.4) Geometric 방식 설정 ................................................................... 오류! 책갈피가 정의되어 있지 않습니다.

3.5) First 방식 설정..................................................................................................................................................34

3.6) round-robin 방식 설정 ......................................................................................................................................34

4) RAID1 의 WRITE 옵션 설정 하기...........................................................................................................................34

4.1) Parallel 방식 .......................................................................................................................................................34

4.2) Parallel 방식 설정 하기 ...................................................................................................................................34

4.3) Serial 방식..........................................................................................................................................................34

4.4) Serial 방식 설정 하기 ......................................................................................................................................34

5) MIRROR 의 SYNC (동기화 ) 옵션 설정 하기 ..........................................................................................................35

5.1) pass 번호의 의미 ...........................................................................................................................................35

5.2) pass 번호 ‘0’ 으로 변경하기 .......................................................................................................................35

6) RAID 1 구성 제거 하기.........................................................................................................................................35

6.1) 현재 mirror 구성 형태를 확인 한다. ...........................................................................................................35

6.2) 제거 한다. .........................................................................................................................................................35

7) RESYNCHRONIZATION .................................................................................................................................................35

8) ON / OFF-LINE SUBMIRROR...........................................................................................................................................36

8.1) off-line 하기 .......................................................................................................................................................36

8.2) on-line 하기........................................................................................................................................................36

9) METAREPLACE .............................................................................................................................................................38

9.1) replace 하기........................................................................................................................................................38

9.2) 원상 복귀 ..........................................................................................................................................................38



솔

라

리

스

볼

륨

메

니

져

10) ON-LINE 백업 ...........................................................................................................................................................39

10.1) volume 상태 확인 ........................................................................................................................................39

10.2) 파일 시스템 생성후 데이터 기록 ..............................................................................................................39

10.3) filesystem write locking.....................................................................................................................................39

10.4) Mirror volume에서 submirror를 제거 한다. .................................................................................................40

10.5) filesystem lock를 제거 한다. ..........................................................................................................................40

10.6) 분리한 submirror를 점검 하고 백업한다...................................................................................................41

10.7) 백업 완료후 submirror를 원위치 한다.......................................................................................................41

11) RAID 0+1 구성 ..........................................................................................................................................................41

11.1 ) Stripe volume 생성 ..................................................................... 오류! 책갈피가 정의되어 있지 않습니다.

11.2) mirror volume 생성 ..................................................................... 오류! 책갈피가 정의되어 있지 않습니다.

11.3) mirror volume에 추가 ................................................................. 오류! 책갈피가 정의되어 있지 않습니다.

8. RAID5 구성하기........................................................................................................................... 44

1) 3개의 DISK 를 RAID5 로 구성하기 ...................................................................................................................45

1.1) raid5 볼륨을 구성한다. .................................................................................................................................45

1.2) d5 volume 이 잘 구성 되었는지 확인 한다..............................................................................................45

1.3) RAID5 초기화 작업이 완료 되기전에 파일 시스템을 생성해 본다. ..................................................45

1.4) 초기화 구성이 다 완료된 (수분 후) 후에 다시 파일 시스템을 구성한다. .......................................45

2) RAID5 VOLUME 제거 하기.....................................................................................................................................46

9. HOT SPARE 구성 하기 .............................................................................................................. 47

1) HOT SPARE POOL 설정 ................................................................................................................................................47

2) HOTSPARE POOL 추가/제거 ........................................................................................................................................48

2.1) 기존 pool에 장치 추가 ...................................................................................................................................48

2.2) 기존 pool에서 장치 제거 ...............................................................................................................................48

2.3) hotspare disk 교체 ...........................................................................................................................................48

3) VOLUME과 HOTSPARE POOL 연계 ..............................................................................................................................49

3.1) mirror volume 생성 ............................................................................................................................................49

3.2) mirror volum 과 연계........................................................................................................................................49

3.3) raid 5 volume 생성시 pool연계 ........................................................................................................................49

3.4) pool과 metadevice의 연계 확인 ......................................................................................................................50

4) HOTSPAREPOOL 변경 ..................................................................................................................................................51

4.1) 새로운 pool 생성 .............................................................................................................................................51

5) HOTSPARE POOL 제거 .................................................................................................................................................51

5.1) metadevice와 pool 연계 제거 ..........................................................................................................................51

5.2) hotspare pool 제거 ........................................................................ 오류! 책갈피가 정의되어 있지 않습니다.



솔

라

리

스

볼

륨

메

니

져

10. SOFT PARTITION 구성 하기 ................................................................................................. 53

1) 한 개의 디스크 파티션에서 여러 개의 논리적인 파티션으로 나누기 ...........................................................53

1.1) 기존의 파티션에서 10mbyte 의 용량으로 2개의 volume 만들기...........................................................53

1.2) 파일 시스템 생성 하기 ..................................................................................................................................53

1.3) mount 하기 .........................................................................................................................................................53

1.4) 설정된 정보 확인 ............................................................................................................................................54

1.5) 제거 하기 ..........................................................................................................................................................54

2) 기존 생성된 볼륨에서 SOFT PARTITION 나누기 ....................................................................................................55

2.1) RAID5 볼륨을 구성 한다. ..............................................................................................................................55

2.2) RAID5 볼륨에서 두 개의 10Mbyte 사이즈의 볼륨을 나눈다..................................................................55

2.3) 파일 시스템을 생성 한다. .............................................................................................................................55

2.4) 파일 시스템 mount 하기 ................................................................................................................................55

2.5) 볼륨의 사이즈를 늘리는 방법 (10Mbyte 에서 30Mbyte 로 ) .................................................................56

2.6) 파일 시스템의 사이즈도 늘림. .....................................................................................................................56

2.7) 전체 정보 확인 하기 ....................................................................................................................................57

2.8) 볼륨 제거 하기 ................................................................................................................................................57

11. O/S MIRROR 구성 ............................................................................................................... 58

1) 파티션 복제..............................................................................................................................................................58

1.1) 두 개의 disk 파티션 정보를 동일하게 설정 ..............................................................................................58

1.2) 현재 mount 정보 확인 ....................................................................................................................................58

2) 추가 복제 DB 설정 .................................................................................................................................................58

2.1) mirror 할 디스크에 복제 DB 설정................................................................................................................58

2.2) mirror 용으로 사용할 디스크의 특정 영역을 복제 DB 로 설정 ............................................................58

3) ROOT 파티션과 그외에 MOUNT 파티션을 METADEVICE 로 변환 .......................................................................59

3.1) ‘/’즉 root 파티션 설정 .....................................................................................................................................59

3.2) ‘SWAP’ 파티션 설정 ......................................................................................................................................59

4) 원본 DISK 를 MIRROR VOLUME 으로 설정 .............................................................................................................59

4.1) ‘ /’ 파티션용 mirror volume 설정............................................... 오류! 책갈피가 정의되어 있지 않습니다.

4.2) ‘SWAP’ 파티션용 mirror volume 설정 ...................................... 오류! 책갈피가 정의되어 있지 않습니다.

5) 현재 MOUNT 되어 있는 ‘ / ‘ 와 ‘/GLOBALDEVICES’의 장치명을 METADEVICE 설정 ..........................................60

5.1) ‘ / ‘ 를 metaroot disk 로 설정..................................................... 오류! 책갈피가 정의되어 있지 않습니다.

5.2) ‘SWAP’ 을 meta device 장치로 사용하기 위해 vfstab 파일을 아래와 같이 수정오류! 책갈피가 정의

되어 있지 않습니다.

5.3) /etc/system 파일의 마지막 내용에 아래의 내용이 있는지 확인 함.오류! 책갈피가 정의되어 있지

않습니다.



솔

라

리

스

볼

륨

메

니

져

6) 시스템을 REBOOTING 한다. ...................................................................................................................................60

7) MIRROR 로 구성할 디스크를 추가 한다. ...............................................................................................................61

7.1) ‘ / ‘ 에 mirror 할 disk 를 concat volume 으로 구성 .............. 오류! 책갈피가 정의되어 있지 않습니다.

7.2) ‘/globaldevices ‘ 에 mirror 할 disk 를 concat volume 으로 구성오류! 책갈피가 정의되어 있지 않습

니다.

7.3) ‘ / ‘ 에 mirror 할 디스크 추가 ............................................... 오류! 책갈피가 정의되어 있지 않습니다.

7.4) ‘/globaldevices ‘ 에 mirror 할 디스크 추가.............................. 오류! 책갈피가 정의되어 있지 않습니다.

8) 원본 디스크의 장애시 MIRROR 된 DISK로 BOOTING 하기 ..................................................................................61

8.1) mirror 된 disk 의 physical device path 를 확인 한다. ............ 오류! 책갈피가 정의되어 있지 않습니다.

8.2) 장애가 발생 되었을 때 ‘ok>’ mode 에서 다음과 같이 booting 한다. .오류! 책갈피가 정의되어 있지

않습니다.

12. RAID5 복구 시나리오............................................................................................................... 61

1) RAID5 DISKSET 구성 ...................................................................................................................................................62

1.1) local diskset을 생성 한다. ................................................................................................................................62

1.2) volume 생성 .......................................................................................................................................................62

1.3) 파일 시스템 mount ..........................................................................................................................................63

2) HOTSPARE 설정 ..........................................................................................................................................................63

2.1) diskset에 hotspare용 disk추가 ..................................................... 오류! 책갈피가 정의되어 있지 않습니다.

2.2) hotspare 생성................................................................................. 오류! 책갈피가 정의되어 있지 않습니다.

2.3) raid5 volume에 hotspare 설정...........................................................................................................................64

3) RAID5 장치 오류 발생..............................................................................................................................................64

3.1) 오류 발생전 쓰기 속도 측정 ........................................................................................................................64

3.2) VTOC 백업 ........................................................................................................................................................64

3.3) 장치 오류 발생 ................................................................................................................................................64

3.4) 장치 오류 확인 (아직 문제 발생되지 않음)..............................................................................................64

3.5) volume에 쓰기 작업을 수행 한다. ................................................................................................................65

3.6) 동기화 상태 확인 ............................................................................................................................................66

3.7) metadb 상태 확인 .............................................................................................................................................67

4) 복구 ...........................................................................................................................................................................67

4.1) 디스크 교환후 VTOC 정보 변경............................................. 오류! 책갈피가 정의되어 있지 않습니다.

4.2) 장애 장치 메타 DB제거............................................................ 오류! 책갈피가 정의되어 있지 않습니다.

4.3) 교체 디스크 메타 DB 추가...................................................... 오류! 책갈피가 정의되어 있지 않습니다.

4.3) 디스크 원복 ......................................................................................................................................................67

4.4) iostat로 io사용률 확인 .....................................................................................................................................68

4.5) 완료 ....................................................................................................................................................................69



솔

라

리

스

볼

륨

메

니

져

1. SVM 프로그램과 디스크 환경 설정.

1) svm 프로그램 확인

조재구[/] # pkginfo SUNWlvma SUNWlvmg SUNWlvmr SUNWmdr SUNWmdu SUNWmdx

2) o/s 디스크 파티션 확인

SVM 을 사용하기 위해서는 10Mbyte 이상의 기본 파티션이 필요하다. 그 이유는 기본 metadb를

생성 하여야 하기 때문이다. 참고로 Metadb 한 개당 사이즈는 8192block 정도됨.(조정가능)

조재구[/] # prtvtoc /dev/rdsk/c0t0d0s0

계산법 : (sector count) * (sector per byte) = byte

103664 * 512 = 53065728 byte = 50Mbyte

7번 파티션이 50Mbyte 정도의 사이즈를 가지고 있기에 이곳을 metadb 영역으로 설정함.

system SUNWlvma Solaris Volume Management APIs

system SUNWlvmg Solaris Volume Management Application

system SUNWlvmr Solaris Volume Management (root)

system SUNWmdr Solaris Volume Manager, (Root)

system SUNWmdu Solaris Volume Manager, (Usr)

system SUNWmdx Solaris Volume Manager Drivers, (64-bit)

* First Sector Last

* Partition Tag Flags Sector Count Sector Mount Directory

0 2 00 2101552 26811280 28912831 /

1 3 01 0 2101552 2101551

2 5 00 0 35368272 35368271

5 0 00 28912832 6144448 35057279

6 0 00 35057280 207328 35264607 /globaldevices

7 0 00 35264608 103664 35368271



솔

라

리

스

볼

륨

메

니

져

3) 기타 디스크 파티션 확인

조재구[/] # format

위에서 출력된 내용처럼 volume으로 사용할 디스크의 파티션을 둘로 나눠야 한다.

Slice 0 는 데이터가 저장될 영역으로 , Slice 7은 meta DB 가 저장될 영역으로 설정함.

4) volume 용으로 사용할 디스크의 파티션을 모두 동일하게 설정

위에서와 같은 파티션 형태로 구성하기 위해 format 명령을 이용하여 설정 할 수 도 있지만.

다음과 같은 방법을 이용해도 가능하다. 단 이 방법은 모든 디스크가 동일한 type 이여야만

하며 미리 원본 디스크 (1번디스크) 를 만든 후에 디스크 정보를 복제하는 방법으로 진행함.

< 참고로 disk set을 생성하지 않을 경우에만 사용한다 >

조재구[/] # prtvtoc /dev/rdsk/c1t0d0s0 | fmthard -s - /dev/rdsk/c1t1d0s0

fmthard: New volume table of contents now in place.





Searching for disks...done

AVAILABLE DISK SELECTIONS:

0. c0t0d0 <JAEKOO18G cyl 7506 alt 2 hd 19 sec 248>

/pci@1f,4000/scsi@3/sd@0,0


/pci@1f,4000/scsi@2/sd@0,0


/pci@1f,4000/scsi@2/sd@1,0


/pci@1f,4000/scsi@2,1/sd@0,0


/pci@1f,4000/scsi@2,1/sd@1,0

Specify disk (enter its number): 1

Part Tag Flag Cylinders Size Blocks

0 root wm 0 - 7500 16.85GB (7501/0/0) 35344712

1 swap wu 0 0 (0/0/0) 0

2 backup wu 0 - 7505 16.86GB (7506/0/0) 35368272

3 unassigned wm 0 0 (0/0/0) 0



6 usr wm 0 0 (0/0/0) 0

7 unassigned wm 7501 - 7505 11.50MB (5/0/0) 23560



솔

라

리

스

볼

륨

메

니

져

2. metadb 생성 및 관리

metadb 는 SVM 의 구성정보와 상태정보 등을 저장하는 중요한 data base 영역이다. 이 영역에

문제가 발생하면 SVM 과 시스템에 문제를 발생하므로 평상시 관리가 중요하다.

또한 다음과 같은 rule 이 존재 하므로 꼭 상기 하여야 함.

1) metadb 와 관련된 rule

● metadb 는 한 개 이상의 복제 DB (replica) 를 가져야 한다. 복제 DB(replica) 는 기존 DB

의 손상으로 인한 문제를 막기 위한 방법임.

● 전체DB ( metadb , replica) 의 상태가 50% +1 이상의 정상 상태 이여야 한다.

● 만일 DB 상태가 50% 이하일 경우 시스템의 panic 이나 시스템 booting 시 정지가 된다.

2) 단일 metadb 생성

조재구[/] # export LANG=C ☜ 영문설정 하기

조재구[/] # hostname

cjk-host

조재구[/] # metadb

metadb: cjk-host: 기존 데이터베이스 없음 ☜ 현재 metadb 가 없음.

조재구[/] # metadb -a -f c0t0d0s7 ☜ 기본 DB 설정

조재구[/] # metadb -i ☜ metadb 상태 확인.

flags first blk block count

a u 16 8192 /dev/dsk/c0t0d0s7

r - replica does not have device relocation information

o - replica active prior to last mddb configuration change

u - replica is up to date

l - locator for this replica was read successfully

c - replica's location was in /etc/lvm/mddb.cf

p - replica's location was patched in kernel

m - replica is master, this is replica selected as input

W - replica has device write errors

a - replica is active, commits are occurring to this replica

M - replica had problem with master blocks

D - replica had problem with data blocks

F - replica had format problems

S - replica is too small to hold current data base

R - replica had device read errors



솔

라

리

스

볼

륨

메

니

져

3) metadb 제거 하기

조재구[/] # metadb -f -d c0t0d0s7

조재구[/] # metadb -i

4) metadb 와 replica 동시 생성

조재구[/] # metadb -a -f -c 3 c0t0d0s7 ☜ metadb 3 개(기본1개+ replica 2개) 생성

조재구[/] # metadb -i

5) metadb 와 관련된 파일들

5.1) md driver (kernel module driver) 환경 파일



a u 8208 8192 /dev/dsk/c0t0d0s7

a u 16400 8192 /dev/dsk/c0t0d0s7

r - replica does not have device relocation information

o - replica active prior to last mddb configuration change

u - replica is up to date

l - locator for this replica was read successfully

c - replica's location was in /etc/lvm/mddb.cf

p - replica's location was patched in kernel

m - replica is master, this is replica selected as input

W - replica has device write errors

a - replica is active, commits are occurring to this replica

M - replica had problem with master blocks

D - replica had problem with data blocks

F - replica had format problems

S - replica is too small to hold current data base

R - replica had device read errors



솔

라

리

스

볼

륨

메

니

져

5.2) metadb 의 정보를 가지고 있는 파일

5.3) meta device 를 생성하는 방법을 예제로 가지고 있는 파일

조재구[/] # cat /etc/lvm/md.tab

5.4) SVM 의 kernel 정보를 가지고 있는 파일

이값을 수정한 후에는 반드시 reconfigure boot 을 하여야 함 (예: reboot -- -r )

6) metadb 용 replica 추가 하기

기본 설정된 metadb 에 문제가 발생되면 시스템에 치명적인 문제가 발생 하기 때문에 이를 방지

하기 위하여 metadb 를 복제 하여 사용하여야 한다.



솔

라

리

스

볼

륨

메

니

져

7) SVM 과 관련된 Process

8) SVM과 관련된 Service (solaris10)

조재구[/] # svcs -a | egrep 'md|meta'

disabled 17:33:28 svc:/network/rpc/mdcomm:default

disabled 17:33:28 svc:/network/rpc/metamed:default

disabled 17:33:28 svc:/network/rpc/metamh:default

online 1:03:01 svc:/system/metainit:default

online 1:03:02 svc:/network/rpc/meta:default

online 1:03:02 svc:/system/mdmonitor:default



솔

라

리

스

볼

륨

메

니

져

3. diskset 설정

1) diskset 의 이해

disk들을 그룹으로 설정 하여 두 개의 host 간에 공유 하여 사용 할 수 있도록 지원하는 방법이며

이 방법은 한쪽의 호스트에서 디스크를 사용 중 시스템에 중대한 문제가 발생했을 때 다른 호스트

가 대신 지원할 수 있도록 하는 방법임. 이 방법은 cluster 환경에서 주로 사용함.

위의 그림과 같은 cluster 환경에서 1번 호스트 와 2번 호스트에서 disk 정보를 확인 하는

명령 ‘format’ 을 실행 하였을 때 다음과 같이 보여지게 된다.

1번 호스트

조재구1[/] # format

1번 호스트

(jaekoo1)

2번 호스트

(jaekoo2)

디스크

t0d0 t1d0

디스크

t0d0 t0d0

c0 c0 c1 c1c2 c2

t0d0 t1d0


/pci@1f,4000/scsi@3/sd@0,0


/pci@1f,4000/scsi@2/sd@0,0


/pci@1f,4000/scsi@2/sd@1,0


/pci@1f,4000/scsi@2,1/sd@0,0


/pci@1f,4000/scsi@2,1/sd@1,0



솔

라

리

스

볼

륨

메

니

져

2번 호스트

jaekoo2:[/] # format

양쪽 호스트에서 보여지는 내용은 동일 하다. 그러나 주의 할 점은 sun 번 과 jaekoo2 번 호스트

는 그림에서 보이는 것 처럼 총 5개의 디스크 중에 4개의 디스크가 서로 공유 되어 있는 것 을 이

해하여야 할 것이며 , 4개의 디스크를 diskset 으로 구성하여 관리 할 수 있다.

2) diskset 설정

2.1) 기존에 설정된 metadb를 제거한다.

조재구1[/] # metadb

조재구1[/] # metadb -f -d c1t1d0s7 c1t0d0s7 c0t0d0s7

조재구1[/] # metadb

2.2) 양쪽 host 의 host 이름과 ip-address 정보를 ‘/etc/hosts’ 파일에 기재한다.

조재구1[/] # vi /etc/hosts

조재구2:[/] # vi /etc/hosts



a u 8208 8192 /dev/dsk/c0t0d0s7

a u 16400 8192 /dev/dsk/c0t0d0s7




/pci@1f,4000/scsi@3/sd@0,0


/pci@1f,4000/scsi@2/sd@0,0


/pci@1f,4000/scsi@2/sd@1,0


/pci@1f,4000/scsi@2,1/sd@0,0


/pci@1f,4000/scsi@2,1/sd@1,0

107.2.1.93 jaekoo1 loghost

107.2.1.94 jaekoo2

107.2.1 .94 jaekoo2 loghost

107.2.1.93 jaekoo1



솔

라

리

스

볼

륨

메

니

져

2.3) 양쪽 host 에 기본 metadb 를 o/s disk 의 7번 slice 를 이용하여 설정함.

조재구1[/] # metadb –f –a c0t0d0s7

조재구2:[/] # metadb –f –a c0t0d0s7

2.4) metaset 설정

2.5) owner ship 가져 오기

2.6) owner ship 제거 하기

2.7) mediator 설정하기



솔

라

리

스

볼

륨

메

니

져

2.8) 설정한 metaset 에 공유 디스크들을 등록합니다.

2.9) metaset 영역에 포함 되어 있는 디스크 들은 자동적으로 metadb 가 생성됨



솔

라

리

스

볼

륨

메

니

져

3) metaimport

3.1) diskset 구성

3.2) volume 생성



솔

라

리

스

볼

륨

메

니

져

조재구[/] # newfs /dev/md/cjk/rdsk/d1

조재구[/] # mount /dev/md/cjk/dsk/d1 /mnt

조재구[/] # df -h /mnt

조재구[/] # mkfile 100m /mnt/test

조재구[/] # ls –al /mnt/test

조재구[/] # umount /mnt

newfs: construct a new file system /dev/md/cjk/rdsk/d1: (y/n)? y

Warning: cylinder groups must have a multiple of 2 cylinders with the given parameters

Rounded cgsize up to 230

/dev/md/cjk/rdsk/d1: 70712984 sectors in 15007 cylinders of 19 tracks, 248 sectors

34527.8MB in 683 cyl groups (22 c/g, 50.62MB/g, 6208 i/g)

super-block backups (for fsck -F ufs -o b=#) at:

32, 103952, 207872, 311792, 415712, 519632, 623552, 727472, 831392, 935312,

Initializing cylinder groups:

.............

super-block backups for last 10 cylinder groups at:

69766160, 69870080, 69974000, 70077920, 70181840, 70285760, 70389680,

70493600, 70597520, 70701440,

Filesystem size used avail capacity Mounted on

/dev/md/cjk/dsk/d1 33G 34M 33G 1% /mnt

-rw------T 1 root other 104857600 Jun 20 11:01 /mnt/test



솔

라

리

스

볼

륨

메

니

져

3.7) import 정보 자세히 확인

3.8) 다른 이름의 diskset으로 가져오기

3.9) jaekoo1 diskset 정보



솔

라

리

스

볼

륨

메

니

져

4) diskset 제거 하기

> 설정된 metaset 을 제거 한다. 이때 작업은 master host 에서 진행 한다.



솔

라

리

스

볼

륨

메

니

져

4. RAID0 (concat 구성하기)

디스크들을 마치 전지의 연결 방식 중 직렬로 연결하는 방식처럼 연결하는 방법으로 이 방법은 여

러 개의 디스크중 하나의 디스크에만 데이터를 쓰는 방식이다.

장점은 디스크의 용량이 적을 때 여유분의 디스크를 추가 하여 별도의 파일 시스템 변경 없이 용량

을 늘려 사용할 수 있는 장점이 있다.

단점은 여러 개의 디스크중 한 개의 디스크에 문제가 발생되면 모든 데이터는 잃게되는 문제가 있

다.



솔

라

리

스

볼

륨

메

니

져

1) 두 개의 disk 를 Concatenation 용으로 구성하기

1.1) ‘d0‘ volume 생성 하기

1.2) 파일 시스템 구성 하기

조재구1[/] # newfs /dev/md/rdsk/d0

newfs: construct a new file system /dev/md/rdsk/d0: (y/n)? y

Warning: cylinder groups must have a multiple of 2 cylinders with the given parameters


/dev/md/rdsk/d0: 70717696 sectors in 15008 cylinders of 19 tracks, 248 sectors



32, 103952, 207872, 311792, 415712, 519632, 623552, 727472, 831392, 935312,


.............


69766160, 69870080, 69974000, 70077920, 70181840, 70285760, 70389680,

70493600, 70597520, 70701440,



솔

라

리

스

볼

륨

메

니

져

1.3) mount 하여 보기

조재구1[/] # mount /dev/md/dsk/d0 /mnt

조재구1[/] # df -h /mnt

2) Concatenation 으로 구성된 volume 의 크기 증가

2.1) 기존의 volume 에 디스크를 추가 하기

2.2) mount 된 filesystem 의 용량 늘리기


/dev/md/dsk/d0 33G 9K 33G 1% /mnt



솔

라

리

스

볼

륨

메

니

져

조재구1[/] # df –h /mnt

3) 제거 하기





솔

라

리

스

볼

륨

메

니

져

5. RAID0 (stripe) 구성하기

디스크를 두 개 이상으로 마치 전지의 병렬 구성 처럼 연결하여 사용한다. 이렇게 하면 데이터를

저장할 때 한 개의 디스크에 저장하는 것이 아니라 동시에 여러 개의 디스크에 데이터를 분산하여

저장 할 수 있기 때문에 data 의 read/write 속도가 무척 빨라지게 된다.

1) 두 개의 disk 를 Stripe 용으로 구성하기

1.1) ‘d1’ volume 이름으로 구성하기



솔

라

리

스

볼

륨

메

니

져

1.2) 파일 시스템 생성 하기


1.3) mount 하기


조재구1[/] # df -h /mnt

2) 구성된 stripe 구성에 disk 추가

> 이방식은 stripe와 concatenation 기능이 함께 사용된다.

2.1) 기존 볼륨 (‘d1’) 에 disk 추가 하기


Warning: cylinder groups must have a multiple of 2 cylinders with the given

parameters


/dev/md/rdsk/d1: 70712984 sectors in 15007 cylinders of 19 tracks, 248 se

ctors



32, 103952, 207872, 311792, 415712, 519632, 623552, 727472, 831392, 935312,


.............


69766160, 69870080, 69974000, 70077920, 70181840, 70285760, 70389680,

70493600, 70597520, 70701440,





솔

라

리

스

볼

륨

메

니

져

2.2) filesystem 의 크기 늘리기

3) 제거 하기



솔

라

리

스

볼

륨

메

니

져

6. RAID0 (Concatenated Stripe)

여러 개의 stripe volume을 concatenation으로 묶어 사용하는 volume임. 기존 stripe volume에 추

가로 새로운 stripe volume을 추가시 사용됨. 주로 metattach 명령에 의해 생성됨.



솔

라

리

스

볼

륨

메

니

져

7. RAID1 (mirror) 구성하기

디스크의 데이터를 안전 하게 복사 하여 사용하는 방법임. 마치 이 구성은 1개의 원본 디스크의

내용을 그대로 다른 디스크에 복제 하는 방법이기 때문에 거울과 같다 하여 mirror 라고도 한다.

mirror 구성시 될수 있는한 동일 한 사이즈의 디스크를 사용할 것을 권장 한다. 또한 controller

를 다르게 구성한다.

1) mirror 구성 하기

1.1) 원본 디스크를 concat. 볼륨으로 구성하여 mount 하기



솔

라

리

스

볼

륨

메

니

져



조재구1[/] # cd /mnt

조재구1[/mnt] # cp /etc/passwd .

조재구1[/mnt] # ls -al

1.2) 백업 디스크를 concat. volume 으로 구성 한다.

1.3) raid1 volume 을 구성한다.



parameters


/dev/md/rdsk/d2: 35358848 sectors in 7504 cylinders of 19 tracks, 248 sec

tors



32, 103952, 207872, 311792, 415712, 519632, 623552, 727472, 831392, 935312,


......


34419552, 34523472, 34627392, 34731312, 34835232, 34939152, 35043072,

35146992, 35250912, 35354832,

total 22

drwxr-xr-x 3 root root 512 Jul 2 16:43 ./

drwxr-xr-x 22 root root 512 Jun 27 22:59 ../

drwx------ 2 root root 8192 Jul 2 16:42 lost+found/

-rw-r--r-- 1 root other 467 Jul 2 16:43 passwd



솔

라

리

스

볼

륨

메

니

져

1.4) raid1 의 resync 확인



솔

라

리

스

볼

륨

메

니

져

1.5) 파일 시스템을 mount 한다.

2) SVM 의 구성 정보 확인 하기

3) RAID1 의 read 옵션 설정 하기

조재구1[/] # metaparam -r geometric d23



솔

라

리

스

볼

륨

메

니

져

조재구1[/] # metastat d23 | grep -i read

3.5) First 방식 설정

3.6) round-robin 방식 설정

4) RAID1 의 write 옵션 설정 하기

> 데이터를 저장 하는 방식임.

4.1) Parallel 방식

양쪽의 디스크에 동시에 데이터를 저장 하는 방식

4.2) Parallel 방식 설정 하기

4.3) Serial 방식

두 개의 디스크중 첫번째 디스크에 데이터가 저장된 후에 다른 디스크에 데이터 저장하는 방식

4.4) Serial 방식 설정 하기

Read option: geometric (-g)



솔

라

리

스

볼

륨

메

니

져

5) mirror 의 sync (동기화 ) 옵션 설정 하기

시스템이 rebooting 하는 동안 동기화를 하게 되는데 이때 여러 개의 mirror들 중에서 동기화 하는

순서를 설정 하는 방법이며 pass 번호를 이용한다.

5.1) pass 번호의 의미

5.2) pass 번호 ‘0’ 으로 변경하기

6) RAID 1 구성 제거 하기

6.1) 현재 mirror 구성 형태를 확인 한다.

6.2) 제거 한다.



솔

라

리

스

볼

륨

메

니

져

7) Resynchronization

8) on / off-line submirror

mirror로 구성되어 있는 submirror 장치를 on-line하거나 off-line할 수 있다.

8.1) off-line 하기



솔

라

리

스

볼

륨

메

니

져

8.2) on-line 하기



솔

라

리

스

볼

륨

메

니

져

9) metareplace

mirror 구성된 상태에서 submirror의 disk slice를 교체 하는 방법임.

9.1) replace 하기

9.2) 원상 복귀



솔

라

리

스

볼

륨

메

니

져

10) on-line 백업

mirror로 구성된 환경에서 submirror를 분리해 백업 받는 기법

10.1) volume 상태 확인

조재구[/] # metastat -p

10.2) 파일 시스템 생성후 데이터 기록

조재구[/] # mkdir /mirror

조재구[/] # newfs /dev/md/rdsk/d100

조재구[/] # mount /dev/md/dsk/d100 /mirror

조재구[/] # df -h /mirror

조재구[/] # cp -r /etc/inet/* /mirror

조재구[/] # ls /mirror

10.3) filesystem write locking

d100 -m d10 d11 1

d10 1 1 c1t1d0s0

d11 1 1 c2t0d0s0

newfs: 새 시스템 파일 /dev/md/rdsk/d100을(를) 구성하시겠습니까: (y/n)? y

/dev/md/rdsk/d100: 19 트랙, 248 섹터의 44 실린더에 있는 207328 섹터

101.2MB (3 실린더 그룹) (16 c/g, 36.81MB/g, 17664 i/g)

수퍼 블록 백업 (fsck -F ufs -o b=#의 경우):

32, 75680, 151328,

파일시스템 크기 사용 가용 용량 설치지점

/dev/md/dsk/d100 95M 1.0M 84M 2% /mirror

./ lost+found/ protocols

../ mipagent.conf-sample secret/

datemsk.ndpd mipagent.conf.fa-sample services

hosts mipagent.conf.ha-sample slp.conf.example

ike/ netmasks sock2path

inetd.conf networks wanboot.conf.sample

ipnodes ntp.client cjkjaekoo

ipsecinit.sample ntp.server 조재구



솔

라

리

스

볼

륨

메

니

져

10.4) Mirror volume에서 submirror를 제거 한다.

10.5) filesystem lock를 제거 한다.



솔

라

리

스

볼

륨

메

니

져

10.6) 분리한 submirror를 점검 하고 백업한다

조재구[/] # fsck -y /dev/md/rdsk/d10

조재구[/] # ufsdump 0uf /dev/rmt/0 /dev/md/rdsk/d10

10.7) 백업 완료후 submirror를 원위치 한다.

** /dev/md/rdsk/d10

** Last Mounted on /mirror

** Phase 1 - Check Blocks and Sizes

** Phase 2 - Check Pathnames

** Phase 3 - Check Connectivity

** Phase 4 - Check Reference Counts

** Phase 5 - Check Cyl groups

27 files, 76 used, 95867 free (3 frags, 11983 blocks, 0.0% fragmentation)

DUMP: 이 레벨 0 덤프의 날짜: 2006년 5월 20일 토요일 오전 03시 14분 20초

DUMP: 마지막 레벨 0 덤프의 날짜: epoch

DUMP: /dev/md/rdsk/d10을(를) 덤프하는 중 /dev/rmt/0(으)로.

DUMP: 매핑 (패스 I) [정규 파일]

DUMP: 매핑 (패스 II) [디렉토리]

DUMP: 32 KB 레코드를 쓰는 중

DUMP: 532 블록 (266KB)이 예상됩니다.

DUMP: 덤프 중 (패스 III) [디렉토리]

DUMP: 덤프 중 (패스 IV) [정규 파일]

DUMP: 볼륨 1의 510 블록 (255KB) 4903 KB/sec

DUMP: 덤프 완료

DUMP: 2004년 6월 20일 일요일 오전 03시 14분 20초에서 레벨 0 덤프



솔

라

리

스

볼

륨

메

니

져

11) raid 0+1 구성

stripe로 먼저 구성후 mirror로 구성한다.

d10 (stripe)

d100 (mirror)

d11 (stripe)

c1t1d0s0

c1t2d0s0

c2t0d0s0

c2t1d0s0

d10

d11



솔

라

리

스

볼

륨

메

니

져



솔

라

리

스

볼

륨

메

니

져

8. RAID5 구성하기

stripe 구성에서 parity를 설정 하여 데이터를 보호하는 기법이며 , 이 방법으로 구성된 disk는

읽기속도는 빠르지만 쓰기 속도가 느리다는 단점이 있음. 더군다나 장애 발생시 속도는 더 느려진

다.



솔

라

리

스

볼

륨

메

니

져

1) 3개의 disk 를 RAID5 로 구성하기

1.1) raid5 볼륨을 구성한다.

1.2) d5 volume 이 잘 구성 되었는지 확인 한다.

1.3) RAID5 초기화 작업이 완료 되기전에 파일 시스템을 생성해 본다.


1.4) 초기화 구성이 다 완료된 (수분 후) 후에 다시 파일 시스템을 구성한다.

/dev/md/rdsk/d5: Resource temporarily unavailable ☜ 초기화가 안되어 에러 발생함.



솔

라

리

스

볼

륨

메

니

져



조재구1[/] # df –h /mnt

2) RAID5 volume 제거 하기



parameters


/dev/md/rdsk/d5: 70708272 sectors in 15006 cylinders of 19 tracks, 248 se

ctors



32, 103952, 207872, 311792, 415712, 519632, 623552, 727472, 831392, 935312,


.............


69766160, 69870080, 69974000, 70077920, 70181840, 70285760, 70389680,

70493600, 70597520, 70701440,





솔

라

리

스

볼

륨

메

니

져

9. Hot spare 구성 하기

volume 으로 구성하여 운영하던 중에 disk 의 hardware 장애로 인하여 volume 의 구성에 문제가

발생되어 여유분의 disk 를 volume 의 장애난 디스크와 자동 교체됨

1) Hot spare pool 설정

> hot spare 로 사용할 디스크들의 그룹형태 (pool) 을 구성하고 hot spare용 디스크를 추가함.



솔

라

리

스

볼

륨

메

니

져

2) hotspare pool 추가/제거

2.1) 기존 pool에 장치 추가

2.2) 기존 pool에서 장치 제거

2.3) hotspare disk 교체



솔

라

리

스

볼

륨

메

니

져

3) volume과 hotspare pool 연계

3.1) mirror volume 생성

3.2) mirror volum 과 연계

3.3) raid 5 volume 생성시 pool연계



솔

라

리

스

볼

륨

메

니

져

3.4) pool과 metadevice의 연계 확인



솔

라

리

스

볼

륨

메

니

져

4) hotsparepool 변경

4.1) 새로운 pool 생성

5) hotspare pool 제거

5.1) metadevice와 pool 연계 제거



솔

라

리

스

볼

륨

메

니

져



솔

라

리

스

볼

륨

메

니

져

10. Soft Partition 구성 하기

지금 까지 소개해 왔던 내용은 기존의 파티션을 이용하여 여러 개의 디스크를 한 개의 volume

으로 구성 하는 방법을 익혔다. 하지만 파티션을 이용하다 보니 문제점이 생기는 것이 있는데

바로 내가 원하는 사이즈를 만들지 못한다는 단점이다. 파티션의 사이즈를 줄이기는 가능 하겠지만

최대 파티션을 나눌 수 있는 사이즈는 ‘7’ 개 밖에 되지 않아 어렵다. 그래서 solaris 9 버전 부터

는 Soft Partition 이란 방법이 지원되고 이 방법을 이용하면 보다 유연하게 사이즈를 조정할 수 있

다.

1) 한 개의 디스크 파티션에서 여러 개의 논리적인 파티션으로 나누기

1.1) 기존의 파티션에서 10mbyte 의 용량으로 2개의 volume 만들기

1.2) 파일 시스템 생성 하기

1.3) mount 하기

조재구1[/] # mkdir /test1 /test2

조재구1[/] # mount /dev/md/dsk/d10 /test1

조재구1[/] # mount /dev/md/dsk/d11 /test2



솔

라

리

스

볼

륨

메

니

져

1.4) 설정된 정보 확인

1.5) 제거 하기



솔

라

리

스

볼

륨

메

니

져

2) 기존 생성된 볼륨에서 soft partition 나누기

생성된 RAID 볼륨 에서 조각을 내어 여러 개의 volume 으로 나누고 싶을 때 사용함. 아래의 실습

은 RAID5 볼륨을 구성하고, 구성된 볼륨에서 2개의 volume 을 생성하여 사용한 후 volume 의 사

이즈를 늘리는 실습이다.

2.1) RAID5 볼륨을 구성 한다.

2.2) RAID5 볼륨에서 두 개의 10Mbyte 사이즈의 볼륨을 나눈다.

< % RAID5 초기화 시간이 있으므로 시간이 지난후 이 작업을 진행 한다. % >

2.3) 파일 시스템을 생성 한다.

2.4) 파일 시스템 mount 하기



솔

라

리

스

볼

륨

메

니

져

2.5) 볼륨의 사이즈를 늘리는 방법 (10Mbyte 에서 30Mbyte 로 )

2.6) 파일 시스템의 사이즈도 늘림.



솔

라

리

스

볼

륨

메

니

져

2.7) 전체 정보 확인 하기

2.8) 볼륨 제거 하기



솔

라

리

스

볼

륨

메

니

져

11. O/S mirror 구성

root mirror 를 사용하여 os 를 이중화 함.

1) 파티션 복제

1.1) 두 개의 disk 파티션 정보를 동일하게 설정

1.2) 현재 mount 정보 확인

조재구1[/] # df -k

2) 추가 복제 DB 설정

2.1) mirror 할 디스크에 복제 DB 설정

2.2) mirror 용으로 사용할 디스크의 특정 영역을 복제 DB 로 설정

파일시스템 K바이트 사용 가용 용량 설치지점

/dev/dsk/c0t0d0s0 13200491 2157209 10911278 17% /

/proc 0 0 0 0% /proc

mnttab 0 0 0 0% /etc/mnttab

fd 0 0 0 0% /dev/fd

swap 1875464 40 1875424 1% /var/run

swap 1875424 0 1875424 0% /tmp



솔

라

리

스

볼

륨

메

니

져

3) root 파티션과 그외에 mount 파티션을 metadevice 로 변환

현재 시스템에는 ‘/’ 와 ‘SWAP’ 가 있다.

3.1) ‘/’즉 root 파티션 설정

3.2) ‘SWAP’ 파티션 설정

4) 원본 disk 를 mirror volume 으로 설정



솔

라

리

스

볼

륨

메

니

져

5) 현재 mount 되어 있는 ‘ / ‘ 와 ‘/globaldevices’의 장치명을 metadevice 설정

6) 시스템을 rebooting 한다.



솔

라

리

스

볼

륨

메

니

져

7) mirror 로 구성할 디스크를 추가 한다.

8) 원본 디스크의 장애시 mirror 된 disk로 booting 하기



솔

라

리

스

볼

륨

메

니

져

12. raid5 복구 시나리오

diskset으로 3개의 disk가 raid5로 구성되어 있다. 그리고 1개의 disk가 hostspare로 설정 되어 있

는 상태에서 disk 한 개를 강제로 문제를 만들어 fail 상태로 만든후 복구 하는 시나리오다.

1) raid5 diskset 구성

1.1) local diskset을 생성 한다.

1.2) volume 생성



솔

라

리

스

볼

륨

메

니

져

1.3) 파일 시스템 mount

2) hotspare 설정



솔

라

리

스

볼

륨

메

니

져

2.3) raid5 volume에 hotspare 설정

3) raid5 장치 오류 발생

3.1) 오류 발생전 쓰기 속도 측정

3.2) VTOC 백업

조재구1[/] # prtvtoc /dev/rdsk/c1t1d0s0 > /cjk_disk_c1t1d0s0.txt

3.3) 장치 오류 발생



솔

라

리

스

볼

륨

메

니

져

3.4) 장치 오류 확인 (아직 문제 발생되지 않음)

3.5) volume에 쓰기 작업을 수행 한다.



솔

라

리

스

볼

륨

메

니

져

3.6) 동기화 상태 확인



솔

라

리

스

볼

륨

메

니

져

3.7) metadb 상태 확인

4) 복구



솔

라

리

스

볼

륨

메

니

져

4.3) 디스크 원복

4.4) iostat로 io사용률 확인



솔

라

리

스

볼

륨

메

니

져

4.5) 완료

Solaris Volume Manager Vwowunix.com/cwb/cwb-data/data/solaris/%BC%D6%B6%F3%B8%AE... ·...

Documents

Transcript of Solaris Volume Manager Vwowunix.com/cwb/cwb-data/data/solaris/%BC%D6%B6%F3%B8%AE... ·...