데이터 백업 이해하기
데이터 백업 실무 환경의 변화 데이터 백업 실무는 단순히 정기적인 파일 복사와 서버 내 저장에 치중되었다. 백업 주기는 길게는 일주일에 한 번, 혹은 한 달에 한 번 정도로 설정했고 복구 속도나 데이터 유실에 대한 민감도도 상대적으로 낮았다. 그러나 디지털 트랜스포메이션과 클라우드 기술 발달, 데이터 양 증가에 따라 상황은 완전히 달라졌다. 현재는 실시간 백업과 다중 위치 … Read more
데이터 흐름이 끊기는 3가지 구간
데이터 엔지니어라면 한 번쯤 이런 상황을 겪어봤을 것이다. 파이프라인은 돌아가고 있다. 로그도 정상이다. 그런데 분석가가 쓰는 대시보드의 숫자가 이상하다. 원인을 찾기 위해 소스부터 역추적한다. 변환 로직을 뜯어보고, 조인 조건을 다시 확인하고, 스케줄러 로그를 열어본다. 두 시간 뒤에야 원인을 찾는다. 업스트림 테이블 스키마가 조용히 바뀌어 있었다. 아무도 공지하지 않았다. 이건 특정 팀의 문제가 아니다. 데이터가 여러 … Read more