쏘니헨리

VTL이란 

가상 테이프 라이브러리란 의미로 데이터의 백업 및 복구를 위해 가상화 기술을 이용함으로써 디스크를 테이프처럼 인식하여 데이터를 저장하는 시스템 입니다. 

파일 단위로 데이터를 복구할 수 있으며 보유한 서버 수만큼 디스크를 분할해 테이프 라이브러리처럼 사용할 수 있기에

데이터 복구 및 백업 속도가 테이프보다 빠른 것이 특징이다. 저장 매체로 디스크를 활용함으로써 안정성이 높으며 초기 도입비나 운영비도 절감할 수 있다.

VTL의 반대적인 말은 PTL로 물리적 테이프 라이브러리라고 합니다.

PTL테이프 라이브러리 VTL보다 매우 뛰어난 성능을 보이며 

VTL대비 20배 이상의 데이터를 단일 시스템으로 구성 가능하며 3배에서 20배 가량의 보용 절감 효과 

구성 요소들이 모듈화 되어 데이터가 독립된 매체에 저장됨으로써 장애시에도 전체 데이터가 유실되지 않습니다.

백업 대상의 용량이 많을수록 Tape Library의 성능이 우수합니다.

동일 용량으로 비교시 VTL 대비 1/20의 전력 소모향 

동일 상면으로 비교시 4.5배 가량의 데이터 저장 공간 차이가 발생하며 

이는 데이터 센터의 상면 사용료로 직결됩니다.

하드닝은 '경화'라는 뜻을 가진 영단어로 보안과 관련해선 ' 굳건하게 한다'라는 뜻으로 사용합니다.

보호해야 할 정보를 저장하고 있는 컴퓨터나 네트워크 등과 같은 환경이 굳건하게 해야 하는 대상이며

하드닝은 요새화라고 부르는 경우도 있습니다.

하드닝의 기본은 기본적이고 착실한 대책을 거듭하는 것 

하드닝은 큰틀에서 

- 외부에 공개하는 서비시의 국소화 

- 작동하고 있는 것의 파악

- 불필요한 프로그래의 실행 정지

- 취약함을 수정하는 패치의 신속한 적용 

- 보안 소프트웨어와 기기 도입 

- OS나 네트워크 기기는 한 군데뿐만 아니라 여러 곳에서 다중 방어를 한다.

기본적인 것들로 되어져 있지만 한 번만 하면 되는 것이 아니라 이러한 것을 확인하는 작업을 계속해야함.

하드닝의 예

외부에서 오는 통신은 제한된 종류를 허가하고 외부로 나가는 통신을 제한하기 위해 방화벽을 도입 합니다.

시스템이 작동하는 컴퓨터의 OS 기능의 통신처를 최소한으로 좁입니다. 

시스템이 작동하는 프로그램을 제한하고 최소한의 것만 사용하고 작동 프로그램 및 OS 류는 수시로 최신 버전 업데이트 합니다.

부정한 통신을 감지하고 통지하는 IDS나 부정한 통신을 자동으로 차단하는 IPS를 도입 합니다.

다층 방어로 위협에 대한 방어를 강화할 수 있다.

- 방화벽으로 통신 제한(제1층)

- OS 기능으로 통신 제한(제2층)

- 보안소프트웨어의 도입(제3층)

POP

-  MES의 일종으로 생산시점 정보관리를 뜻한다. 국내에서는 혼용되어 사용되고 있으나 실제로 기능상 큰 차이가 있다.

역사적으로는 MES는 미국에서 시작된 반면 POS는 일본에서 시작했다. 또한 MES는 계획/자원 할당을 위조루 시스템을 구축한다면 POP는 실적 관리를 위주로 시스템을 구축한다. 이로 인하여 MES가 POP 보다는 높은 제어 능력을 가진다. 

사용하는 영역도 다른데 MES는 일괄 생산,장치 생산,장치 및 조립생산에 쓰이는 반면에 POP는 조립생산에서만 사용한다.

설비/물류이동 할당 수단으로 MES는 스케줄링을 사용하지만 POP는 작업다가 수행한다.

이를 통하여 MES와 POP가 다르다는 점을 확인할 수 있다. 좀 더 깊게 들어가면 POP의 관리 분야로 4가지로 나누어지는데 생산관리.물류관리,품질관리.설비관리로 나누어지는데 이는 MES의 11개의 기능 안에 포함된 내용이다.

POP(생산시점정보관리 시스템)은 공장의 생산과정에서 발생하는 생산 정보를 실시간으로 수집,처리하여 관리자 혹은 상위 시스템에 제공하는 역할을 하는 시스템으로,전체적인 생산 정보화의 관점에서 보면 생산에서 발생하는 각종 정보들을 시점별로 수집하고 분석하여 변화된 상황을 적절하게 대응할 수 있게 해준다. POP는 그에 포함되는 하드웨어적 요소 및 소프트웨어 모듈의 구성을 고려하면 신규 제품군의 도입 등 생산 환경의 변화에 큰 영향을 받는다. 따라서 POP은 이러한

변화에 대응하여 지속적으로 갱신되고 유지,보수될 필요가 있다. 이에 따라 보통 많은 시간이 요구되므로 시스템 구축 및 유지보수 비용의 절감을 위한 효율적인 시스템 구축 방법론을 정립하는 혁신이 필요하다. 이 혁신을 위해 등장한 것이 MES다. MES의 경우 POP에 대비하여 실시간 통제가 가능하며,반송 지시 및 작업 할당 등의 기능을 제공함으로써 재공 재고 감축,제조 사이클 타임 단출,자원 활용 효과 등 더 높은 차원의 정보시스템이다. POP은 생산 계획에 따른 진행 현황에 

대한 파악위주의 시스템이라고 할 수 있으며 MES는 자재 입고부터 최종 제품 생산까지의 전체의 공정을 지속적으로 모니터링하며 생산의 결과를 관리할 수 있는 시스템이다.

시스템의 보안 리스크는 '위험'과 취약성'의 관계로 이루어 집니다.

- 위험 : 시스템에 손해를 입힐 기능성이 있는 사고의 잠재적 원인을 나타낸다.

- 취약성 : 시스템에 존재하는 약점이나 결함을 나타낸다.

시스템이 안고 있는 취약성을 위협이 뚫었을 때 보안 리스크가 되어 여러 가지 손해가 발생한다.

인터넷의 위협은 끊임 없이 존재하지만 모든 보안 리스크를 방어할 필요 없이 어느 정도 리스크는 허용하고 영향도가 

클 것 같은 것만 선별하여 대응한다. 이러한 보안 대책을 끊임없이 되풀이 해 PDCA 사이클을 실시해야 한다.

*PDCA: 계획(Plan) -> 실시(Do) -> 검사 (Check) -> 재검토(Action)

방화벽 

인터넷에 공개하는 서버를 IP주소나 포트 번호를 바탕으로 통신을 허가하거나 거부하여 보호한다.

이때 어떤 통신을 거부할지를 정한 것이 '보안 정책'으로 인터넷에서 들어오는 통신(인바운드 통신)과

LAN에서 인터넷으로 나가는 통신(아웃바운드 통신)으로 나누어 결정하고 인바운드 통신은 기본적으로 

거부하고 최소한의 필요한 통신만 허가하는 반면 아웃바운드 통신은 기본적으로 허용하고 최소한으로 필요한 통신 거부

보안 정책이 정해지면 실현할 수 있는 방화벽을 선정해야 하며 방화벽은 4종류 !! 

- 트레디셔널 방화벽 : 최소한의 보안 수준

- UTM : 보안 관리를 편하게 하고싶은 경우 

- 차세대 방화벽 : 인터넷에 대한 사용자 트래픽을 애플리케이션 레벨에서 제어하고 싶은 경우

- 웹 어플리케이션 방화벽 : 인터넷에 공개하는 웹서버를 애플리케이션 레벨에서 보호하고 싶은 경우

보안 존과 서버 배치 

일반적인 시스템은 방화벽을 중심으로 4개의 보안 존으로 구성되어 있다.

* 보안존 : 동일한 보안 레벨을 가지고 있는 네트워크의 모음 

- Untrust존 : 방화벽의 바깥쪽에 배치하는 존, 신뢰할 수 없는 존을 보안 레벨이 가장 낮아 서버를 배치해서는 안된다. 

ex) 인터넷

- DMZ : 보안 레벨이 Untrust존보다 높고 Trust 존보다 낮은 완충역할을 하는 존으로 여기에 공개 서버(웹 서버,DNS 서버,프록시 서버)를 배치한다.

- Trust 존 : 방화벽 안쪽에 배치되어 제일 신뢰할 수 있는 존이다. 인터넷에 공개하지 않는 서버(도메인,컨트롤러,방화벽)이나 사내 사용자를 배치한다. 다른 존으로부터의 통신은 기본적으로 거부하지만 다른 존으로 가는 통신은 허가한다.

- WAN존 : Trust 존 안에 다른 거점과 연결하는 존으로 Trust존과 보안 레벨이 동일하다.

IDS와 IPS 

네트워크를 흐르는 수상한 통신을 식별하여 관리자에게 통지하거나 통신을 차단하는 기능이다. 최근에는 방화벽이나 UTM의 기능 중 하나로 탑재되고 있다.

- IDS : 통신의 움직임으로부터 침입을 감지하는 기능으로 수상한 통신의 움직임이나 공격 패턴을 '시그니처'라는 형태로 저장하고 기존 시그니처와 대조하여 부정 통신으로 식별되면 관리자에게 경고를 한다.

- IPS : 통신의 움직임으로부터 공격이나 부정 침입을 방어하는 기능으로 IDS를 향상시킨 것이다. 서버에 대해 부정 통신을 시그니쳐로 감지하면 즉시 차단한다. 최곤에는 공격 수법이 복잡하고 교묘해져서 일단 IDS로 감지만 하고 서버의 상태를 확인한 후 IPS로 차단한다.

UTM 

- 각종보안 기능을 하나로 모은 방화벽이다. IDS/IPS 기능,안티 바이러스 기능,안티 스팸 기능,'URL 필터일 기능','VPN기능'등을 통합한다.기기 한 대로 해결되므로 비용이 저렴하고 도입하기 쉽고 운용 관리가 쉽다. 하지만 많은 기능을 하나에 넣고 있기 때문에 퍼포먼스 저하에 주의해야 하고 어떤 한 기능에 병목 현상이 생기더라도 그 기능만을 업그레이드 할 수 없다는 단점이 있으니 모든 기능을 UTM에 맡기는 것이 아니라 전용 어플라이언스나 전용 소프트웨어에 맏기는 것도 고려해봐야 한다.

차세대 방화벽 

UTM의 기능에 '애플리케이션 식별'이나 '가시화'기능을 추가한 제품

- 애플리케이션 식별: 차세대 방화벽은 포트 번호를 그대로 애플리케이션으로서 식별하는 것이 아니라 제 5~7계층인

응용 계층의 정보를 보고 식별한다. URL이나 콘텐츠 정보 등 여러 정보를 보고 더욱 세분화해 식별해서 애플리케이션에 따라 제어할 수 있다.

- 가시화 : 애플리케이션 레벨로 식별한 통신을 그래프나 표로 만들어 정리해서 관리자가 보기 쉽고 알기 쉽게 해 준다.

웹 애플리케이션 방화벽(WAF)

서버의 방어로 특화된 방화벽이다. 포트 번호뿐만 아니라 HTTP에서 주고받는 모든 데이터를 애플리케이션 레벨에서 감시하여 웹 애플리케이션에 대한 공격을 찾아낸다.

웹 애플리케이션에 대한 공격으로는 대표적으로 3가지가 있다.

- SQL 인젝션 : 데이터베이스 서버와의 연계에 사용하는 SQL 문을 이용해 공격한다.

- XSS(Cross-Site-Scription) : 웹 브라우저의 표시 처리를 이용하여 공격한다.

- CSRF(Cross-Site Request Forgery) : 가짜 웹사이트로부터 의도하지 않은 HTTP 요청을 보낸다.

이러한 공격을 대처하기 위해 처음에 총신을 차단하지 말고 투과시켜 공격 수법의 템플릿을 처음 '시그니처'로 저장하고 학습시킨 후 그 정보들을 바탕으로 허가해야 할 통신과 거부해야 할 통신을 설정 

메일의 보안 대책 

메일은 '메일 보안 시스템'을 통해 메일로 주고받는 애플리케이션 레벨에서 감시하여 통신을 방어한다.

메일 서버에서 전달하기 전에 메일 보안 시스템을 통해 송신자 IP주소 체크,바이러스 체크,스팸 체크 등 각종 검사를 하고 합격하면 메일 서버로 전달된다.

메일 보안 시스템은 '호스트형','어플라이언스형','클라우드형'이 있지만 메일을 검사하는 장소가 다를 뿐 기본적인 동작은 차이가 없다.

bypass 

- 보안 기능을 우회 하는 기능 

- 전원,링크,애플리케이션에 문제가 생겼을 경우에 자동으로 트래픽을 우회시켜 네트워크통신의 안정성을 유지

oversubscription

- 제품의 가용성을 높일 수 있는 보안 기능 

- 네트워크에서 oversubscription은 과다신청이란 뜻으로 네트워크 트래픽이 다른 두 장비가.

48G:40G 이면 1.2:1 비율로 Oversubscription이 된다고 할 수 있다.

보안 장비에서 Oversubscription은 처리할 수 있는 능력 범위를 벗어나는 트래픽이 오면 모듈에서 바로 포워딩처리를 해줘서 모듈에서 패킷을 잡고 있는 문제를 해결하여 가용성을 높일 수 있다,

이에 CPS나 DDoS 공격시 시스템의 가용성 확보가 가능하다

Airflow란 ? 

Airlfow는 Airbnb에서 개발한 워크플로우 스케쥴링, 모니터링 도구로 현재는 Apache 프로젝트가 되었다.

Airflow 는 DAG라는 개념으로 동작하는데 python으로 DAG를 작성하고 순서를 정의할 수 있다.

현재도 활발한 개발이 이루어지고 있으며 1.10.0 버전이 2018.8.9 배포된 이후 현재 2020.12.1일 현재를 기준으로 1.10.13버전까지 배포되었으며 2.0대의 버전도 꾸준히 개발되고 있다.

빅데이터를 활용하는 많은 곳에서 활용하는 도구로 비슷한 도구에는 oozie가 있으며, oozie와의 비교는 추후에 포스팅할 예정 

Airflow의 특성 

Dynamic : Airflow pipeline을 python을 이용해 구성하기 때문에 동적인 구성이 가능 

Extensible : python을 이용해 Operator,executor을 사용해 사용자 환경에 맞게 확장 사용 가능

Elegant : 간결하고 명시적이며 jinja template를 이용해 parameter를 이용해 데이터를 전달하고 파이프라인을 생성하는 것이 가능 

Scalable : 분산구조와 메세지큐를 이용해 scale out와 워커간 협업을 지원 

Airflow Architecture

Architecture에서 보는 것과 같이 Airflow는 Scheduler,Webserver,Worker,MetaDB로 구성된다.

- WebServer : DAG,user,connection,xcom,variable관리를 할 수 있는 UI 제공 

- Scheduler : 모든 작업과 DAG를 관리하고 실행시키는 역할을 하며,PostgreSQL 9.6 MySQL 8 이상의 버전에서 HA기능까지 제공 

- Executor : Worker의 동작방식에 대한 정의를 하는 부분으로 Local,Sequential,Celery 등 다양한 Executor방식을 제공

- MetaDB : 실행중인 데이터 파이프 라인에 대한 메타 데이터를 저장 

이메일 보안을 위한 기술 

각 기술별 요약 

1. SPF(Sender Policy Framework) 메일서버 등록제 요약 : 메일 수신 측에서 발신 서버에 직접 메일 전송 여부를 확인

발신 측에서는 DNS에 SPF Record를 설정하여 등록한다.

SPF Record에는 메일서버 IP 정보, 사칭 메일에 대한 필터링 정책을 담고 있다.

수신 측에서는 받은 메일에 표기된 발신자 DNS에 SPF 레코드를 조회하여 사칭 메일 여부를 확인한다.

1.SPF 인증 절차

2. DKIM(Domain Keys Idenrified Mail)도메인 키 인증 메일

요약 : 메일 헤더에 서명값을 넣은 뒤 공개키를 이용해 메일의 위,변조 여부 확인

발신 측에서는 자신의 DNS에 공개키를 등록하고, 메일에는 개인키로 서명을 한 뒤 전송한다.

(공개키,개인키를 이용한 해시값을 포함)

수신 측에서는 발신자 DNS로부터 공개키를 받아 만든 해시값과 메일에 포함된 해시값을 비교하여 일치여부를 확인한다.

2.DKIM 인증 절차 

SPF보다 더 효율적인 DKIM

SPF는 메시지 봉투에 정보를 추가하는 방식이라고 본다면 DKIM은 메시지 헤더에 서명을 한다.

메시지 전달 시 메시지 봉투 일부가 발신 서버에서 제거될 수 있다.

하지만 서명 방식은 메일 머리글의 일부이므로 메일 메시지와 함께 유지된다.

위 그림과 같은 상황에서는 SPF TXT 레코드만 확인시 2번째 전송에서 스팸으로 걸러질 수 있지만 DKIM은 통과할 수 있다.

DKIM 서명 

DKIM 서명의 경우 메일 본문과 헤더를 사용해서 생성한다. 생성한 결과 해시값을 메일 헤더에 덧붙여 전송한다. 수신 측에서는 이를 보고 유효성 여부를 확인한다.

3. DMARC 

요약 : 위의 SPF,DKIM 기술을 모두 활용하여 메일을 확인하고,자신의 메일을 도메인을 사칭한 메일에 대한 보고 

발신 측에서는 메일에 DKIM 헤더를 첨부한다. 수신 측에서는 발신자 DNS로부터 DMARC정책 조회하고,

이에 따라 DKIM,SPF 확인한다. 이후 격리/거부 된 메일에 대하여 발신 측에 전달 오류를 보고한다.

3.DMARC 인증 절차 

DMARC의 배경

대부분의 메일 서비스는 다수의 시스템으로 구성된 복잡한 환경이다. SPF,DKIM 기술이 지원되고 있지만 모든 시스템에서 메시지들이 SPF,DKIM을 통해 인증된다는 보장은 없다. 이 때문에 수신측은 인증되지 않은 메일이라도 모두 거부할 수 없다. 인증되지 않은 정상 메일과 부정 메일이 섞여 받을 수 밖에 없다. 

발신측은 자신들이 전달한 메일 인증 결과 피드백도 받지 않는다, 정상 메시지 중 인증 실패 비율, 사칭 비율 등을 파악하지 못하므로 전체적인 분제점을 해결하지 못한다. 

이를 위해서는 발신 측과 수신 측이 정보를 공유해야한다.

Batch

Batch는 집단, 무리 한 회분, 일괄적인 처리를 위해 함께 묶다 라는 의미가 있다.

Batch 작업은 Data를 실시간으로 처리 하는 것이 아닌, 일괄적으로 모아서 처리하는 작업을 의미한다.

하루동안 쌓인 데이터를 Batch 작업을 통해 특정 시간에 한꺼번에 처리하는 경우

Batch 작업

Batch 작업은 사용자에게 빠른 응답이 필요하지 않은 서비스에 적용할 수 있다.

작업을 실행한 특정 시간 이후에는 자원을 거의 소비하지 않는 것이 특징이다.

Batch에 반대되는 방식은 OLTP 방식으로 사용자와 DB가 지속적으로 상호작용하는 경우에 

OLTP 방식으로 개발되어야 한다.

Batch Processing

Batch Processing이란 일괄 처리라고도 하는 과정으로서 실시간으로 요청에 의해서 처리되는 방식이 

아닌 일괄적으로 한꺼번에 대량 Process를 처리하는 방식이다.

Batch 핵심

Batch의 핵심은 아래 문장으로 요약해 말할 수 있다.

Batch는 대량 데이터를 일괄적으로 처리 하거나 

특정 시간에 일괄적으로 프로그램 Process를 실행 하는 것이다.

이렇게 Batch를 사용하는 이유는 업무의 효율성을 위함이다.

비효율적인 시스템의 과부하를 중리고, 시스템 부하가 많이 발생할 수 있는 시간대를 피해 

지속적으로 실행되기만 하면 되는 Process나 Data를 묶어 처리하는 것이다.