[LINUX][CentOS][RHEL] OS Error Code 28: No space left of device

오늘 오전 10시 35분 개발장비에서 발생한 오류를 처리한 것을 기록으로 남겨놓는다.

여기 기록으로 남겨놓을 걸 생각했으면 캡쳐나 좀 해놓을 것을(안타깝...)

 

개발팀으로부터 JAVA Code에서 아래와 같은 오류가 계속해서 발생한다는 연락이

서버관리자에게 왔다.

Caused by: java.sql.SQLException: Can't create/write to file '/tmp/MYkBkOD0' (Errcode: 28 - No space left on device)

 

서버관리자는

1) 해당 디렉토리(/tmp)에 권한을 확인하고,

2) 해당 Disk의 남은 용량까지 확인했으나 아무런 문제가 없어보여 

MySQL의 query를 수행하면서 발생하는 에러이기에 나에게 문의를 해왔다.

 

나 역시 서버관리자가 한 내용을 다시 한번 확인하였으나(더블체크) 역시나 이상이 없었다.

그러나 OS에서 거짓으로 Error를 반복해서 발생시킬리는 없잖은가?

 

과거(Solaris를 주로 사용하던 시절-아 옛날사람)의 기억을 떠올려 혹시나 하는 마음에 해당 서버의 Filesystem Type을 확인해보기로 했다.

# df -Th

ext4로 확인이 되었고, inode를 확인해보기로 했다.

# df -i

 

슬프다... 혹시나가 맞았다.

IUse%  100%

 

과거 inode 부족문제로 종종 속을 썩었던 관계로 남아있는 Solaris마저도 모두 zfs로 변경하여 사용하고 있는데,

관리자 잘 되고 있다 믿었던 linux에서 inode 문제가 발생했다니...

 

해당 내역을 서버관리자 및 최초 문제를 재기했던 개발자에게 알리고

우선 불필요한 파일을 삭제하는 것으로 조치는 하였다.

 

그리고 비록 개발장비이긴 하지만,

문제가 발생했으니 inode 사용률 모니터링을 걸어두는 것으로 대책을 마련하기로 했다.

 

결국 원인은 관리소홀이었다.

 

PS: 사내 메신저에서 캡쳐 남긴 걸 발견하여 아래 첨부함. (유추 가능한 일부 정보는 masking)