pat98's always & forever

Steps to rename the cluster name (Doc ID 2725377.1)

1. cemutlo -n

2. $GI_HOME/bin/crsrename cluster <new_clustername>" <--- 한쪽에서만 실행, 변경될때 시간조금 걸림 30초 정도

3. crsctl stop crs        
4. crsctl start crs -wait 

5. cemutlo -n

=======================================

- 테스트 과정은 아래와 같다.

ocfs-cluster -> test-cluster 로 변경

[root@ocfs1:/root]# cemutlo -n
ocfs-cluster
[root@ocfs1:/root]# crsrename cluster test-cluster
CRS-42004: successfully set the cluster name; restart Oracle High Availability Services on all nodes for new cluster name to take effect

이때 확인해 보면 crsd 는 내려가 있음.

root@ocfs1:/root]# cemutlo -n
/u01/app/19.3.0.0/grid/bin/cemutlo.bin: Failed to initialize communication with CSS daemon, error code 3

[root@ocfs1:/root]# crsctl stat res -t -init
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        OFFLINE OFFLINE                               STABLE
ora.cluster_interconnect.haip
      1        OFFLINE OFFLINE                               STABLE
ora.crf
      1        ONLINE  ONLINE       ocfs1                    STABLE
ora.crsd
      1        OFFLINE OFFLINE                               STABLE
ora.cssd
      1        OFFLINE OFFLINE                               STABLE
ora.cssdmonitor
      1        OFFLINE OFFLINE                               STABLE
ora.ctssd
      1        OFFLINE OFFLINE                               STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.drivers.acfs
      1        ONLINE  ONLINE       ocfs1                    STABLE
ora.evmd
      1        OFFLINE OFFLINE                               STABLE
ora.gipcd
      1        ONLINE  ONLINE       ocfs1                    STABLE
ora.gpnpd
      1        ONLINE  ONLINE       ocfs1                    STABLE
ora.mdnsd
      1        ONLINE  ONLINE       ocfs1                    STABLE
ora.storage
      1        OFFLINE OFFLINE                               STABLE
--------------------------------------------------------------------------------

ohasd daemon 만 떠 있다.

[root@ocfs1:/root]# ps -ef |grep d.bin
root     12800     1  1 12:38 ?        00:00:09 /u01/app/19.3.0.0/grid/bin/ohasd.bin reboot _ORA_BLOCKING_STACK_LOCALE=AMERICAN_AMERICA.US7ASCII
oracle   13092     1  0 12:38 ?        00:00:01 /u01/app/19.3.0.0/grid/bin/oraagent.bin
oracle   13118     1  0 12:38 ?        00:00:00 /u01/app/19.3.0.0/grid/bin/mdnsd.bin
oracle   13152     1  0 12:38 ?        00:00:01 /u01/app/19.3.0.0/grid/bin/gpnpd.bin
oracle   13306     1  0 12:38 ?        00:00:05 /u01/app/19.3.0.0/grid/bin/gipcd.bin
root     13479     1  1 12:38 ?        00:00:06 /u01/app/19.3.0.0/grid/bin/osysmond.bin
root     29355     1  0 12:45 ?        00:00:00 /u01/app/19.3.0.0/grid/bin/orarootagent.bin
root     32424  2837  0 12:48 pts/0    00:00:00 grep --color=auto d.bin

[root@ocfs1:/root]# crsctl stop crs 
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'ocfs1'
CRS-2673: Attempting to stop 'ora.gpnpd' on 'ocfs1'
CRS-2673: Attempting to stop 'ora.crf' on 'ocfs1'
CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'ocfs1'
CRS-2673: Attempting to stop 'ora.mdnsd' on 'ocfs1'
CRS-2677: Stop of 'ora.drivers.acfs' on 'ocfs1' succeeded
CRS-2677: Stop of 'ora.gpnpd' on 'ocfs1' succeeded
CRS-2677: Stop of 'ora.crf' on 'ocfs1' succeeded
CRS-2673: Attempting to stop 'ora.gipcd' on 'ocfs1'
CRS-2677: Stop of 'ora.mdnsd' on 'ocfs1' succeeded
CRS-2677: Stop of 'ora.gipcd' on 'ocfs1' succeeded
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'ocfs1' has completed
CRS-4133: Oracle High Availability Services has been stopped.

[root@ocfs1:/root]# crsctl start crs -wait
CRS-4123: Starting Oracle High Availability Services-managed resources
CRS-2672: Attempting to start 'ora.mdnsd' on 'ocfs1'
CRS-2672: Attempting to start 'ora.evmd' on 'ocfs1'
CRS-2676: Start of 'ora.mdnsd' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.evmd' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'ocfs1'
CRS-2676: Start of 'ora.gpnpd' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.gipcd' on 'ocfs1'
CRS-2676: Start of 'ora.gipcd' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.crf' on 'ocfs1'
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'ocfs1'
CRS-2676: Start of 'ora.cssdmonitor' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'ocfs1'
CRS-2672: Attempting to start 'ora.diskmon' on 'ocfs1'
CRS-2676: Start of 'ora.diskmon' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.crf' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.cssd' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.cluster_interconnect.haip' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ctssd' on 'ocfs1'
CRS-2672: Attempting to start 'ora.storage' on 'ocfs1'
CRS-2676: Start of 'ora.storage' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.ctssd' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.crsd' on 'ocfs1'
CRS-2676: Start of 'ora.crsd' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.cluster_interconnect.haip' on 'ocfs1' succeeded
CRS-6023: Starting Oracle Cluster Ready Services-managed resources
CRS-6017: Processing resource auto-start for servers: ocfs1
CRS-2672: Attempting to start 'ora.scan1.vip' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ocfs1.vip' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ons' on 'ocfs1'
CRS-2672: Attempting to start 'ora.qosmserver' on 'ocfs1'
CRS-2672: Attempting to start 'ora.chad' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ocfs2.vip' on 'ocfs1'
CRS-2672: Attempting to start 'ora.cvu' on 'ocfs1'
CRS-2676: Start of 'ora.ocfs1.vip' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.ocfs2.vip' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.scan1.vip' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.cvu' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.chad' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.ons' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.qosmserver' on 'ocfs1' succeeded
CRS-6017: Processing resource auto-start for servers: ocfs1,ocfs2
CRS-2672: Attempting to start 'ora.ASMNET1LSNR_ASM.lsnr' on 'ocfs1'
CRS-2672: Attempting to start 'ora.LISTENER.lsnr' on 'ocfs1'
CRS-2672: Attempting to start 'ora.chad' on 'ocfs2'
CRS-2673: Attempting to stop 'ora.scan1.vip' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ons' on 'ocfs2'
CRS-2677: Stop of 'ora.scan1.vip' on 'ocfs1' succeeded
CRS-2672: Attempting to start 'ora.scan1.vip' on 'ocfs2'
CRS-2676: Start of 'ora.chad' on 'ocfs2' succeeded
CRS-2676: Start of 'ora.ASMNET1LSNR_ASM.lsnr' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.LISTENER.lsnr' on 'ocfs1' succeeded
CRS-2676: Start of 'ora.scan1.vip' on 'ocfs2' succeeded
CRS-2672: Attempting to start 'ora.LISTENER_SCAN1.lsnr' on 'ocfs2'
CRS-2676: Start of 'ora.LISTENER_SCAN1.lsnr' on 'ocfs2' succeeded
CRS-2676: Start of 'ora.ons' on 'ocfs2' succeeded
CRS-2672: Attempting to start 'ora.ocfs.db' on 'ocfs1'
CRS-2672: Attempting to start 'ora.ocfs.db' on 'ocfs2'
CRS-2676: Start of 'ora.ocfs.db' on 'ocfs2' succeeded
CRS-2676: Start of 'ora.ocfs.db' on 'ocfs1' succeeded
CRS-6016: Resource auto-start has completed for server ocfs1
CRS-6016: Resource auto-start has completed for server ocfs2
CRS-6024: Completed start of Oracle Cluster Ready Services-managed resources
CRS-4123: Oracle High Availability Services has been started.
[root@ocfs1:/root]# 
[root@ocfs1:/root]# cemutlo -n
test-cluster

Database 서버에서 swapping 을 줄이기 위한 노력

1. 오라클 메모리관리를  AMM -> ASMM 으로 변경

AMM(SGA_TARGET+MEMORY_TARGET)을 사용하는 경우 AMM과 HugePages를 함께 사용할 수 없으므로 ASMM으로 전환한다.

예시)
ALTER SYSTEM SET MEMORY_TARGET=0 SCOPE=SPFILE;
ALTER SYSTEM SET SGA_TARGET=8G SCOPE=SPFILE;
ALTER SYSTEM SET PGA_AGGREGATE_TARGET=4G SCOPE=SPFILE;

2. Transparent HugePages를 사용하면 실행 중에 메모리 할당 지연이 발생하므로 비활성화 작업

cat /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/enabled 

always madvise [never]

3. Hugepages 활성화

SGA 8G 이상 사용하면 설정 권장

1) DB Parameter 를 use_large_pages=only 로 설정

2) grep Hugepagesize /proc/meminfo
   Hugepagesize:       2048 kB

   grep "hugepage" /etc/sysctl.conf
   vm.nr_hugepages=1024

   MOS 문서 401749.1 를 참조하여 hugepages 수를 계산하여 반영

   vi /etc/sysctl.conf
   vm.nr_hugepages=51200 -> 100G 로 설정예시
   
   sysctl -p

4. 오라클 사용계정의 memlock 설정

vi /etc/security/limits.conf

oracle soft nproc 2047 
oracle hard nproc 16384 
oracle soft nofile 1024 
oracle hard nofile 65536

5. OS kernel 변경적용

vi /etc/sysctl.conf
vm.swappiness = 1  -> 낮을수록 더 많은 스왑을 피할 수 있다.
vm.min_free_kbytes = 131072 -> 128M 를 의미

sysctl -p

이 매개변수는 Linux가 예약해야 하는 "사용 가능한 메모리"의 최소 양(KB)을 지정한다. 즉, 시스템은 이 양 이하로 떨어지지 않도록 메모리를 적극적으로 해제한다.
이 값이 낮으면 커널이 메모리를 더 밀접하게 사용하고 갑작스러운 메모리 수요에 대처할 수 없어 스와핑이 발생할 수 있다.
이 값을 어느 정도 늘리면 예방적으로 메모리를 확보하고 스와핑이 발생할 가능성을 줄이는 효과가 있다.