🔥아이티 부수기🔥

01 오픈소스 코드 속 보안 취약점을 피하는 실무 팁 4가지

http://www.itworld.co.kr/news/161490

보안 사고를 분석하는 보안 연구원으로서, 필자는 최근 오로지 비트코인 마이닝을 목적으로 하는 700개가 넘는 타이포스쿼팅(typo-squatting) 루비젬(RubyGem) 패키지를 발견했다. 이 중에는 최소 26개의 깃허브 프로젝트에 은밀하게 악성코드를 심은 옥토퍼스 스캐너(Octopus Scanner)도 있었다. 이러한 사고는 공개 접근이 가능한 개방형 시스템의 경우 악의적인 사람도 접근해 악용할 수 있다는 사실을 잘 보여준다.

이런 사례가 악의적 구성요소에 관한 것이라면, 보안 취약점이 발견되지 않은 채 사용되는 정상적인 오픈소스 패키지는 어떨까?

인기 있는 리포지토리를 거쳐 최종적으로 소프트웨어 공급망까지 흘러 들어가는 취약점 또는 악성 패키지는 고객에게 큰 피해를 초래할 수 있다. 실제로 npm, 파이파이(PyPI), 뉴겟(NuGet), 페도라(Fedora) 같은 인기 오픈소스 리포지토리에서 취약한 구성요소와 악성 구성요소가 발견됐다.

스니크(Snyk)의 2020년 오픈소스 보안 현황 보고서에 따르면, 지난 몇 년 동안 생태계 전반의 오픈소스 패키지에서 확인된 총취약점 수를 보면 Node.js와 자바에서 매년 새로운 취약점이 가장 많이 발견됐다. 또한, 2018년에 비해 2019년에 보고된 신규 취약점의 수가 더 적은 것은 소프트웨어 개발 프로세스의 초기에 보안을 구현하기 위해 노력했기 때문이다. 보고서는 “이 추세가 지속된다면 오픈소스 소프트웨어의 보안을 개선하기 위한 노력이 결실을 보기 시작했다는 긍정적인 신호로 볼 수 있다”라고 평가했다.

02 효성인포메이션시스템, AI 기반 ‘데이터 카탈로그’ 기술 공개

http://www.itworld.co.kr/t/69500/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/160790

효성인포메이션시스템(www.his21.co.kr)이 AI 기반의 데이터 카탈로그 솔루션 ‘루마다 데이터 카탈로그(Lumada Data Catalog)’를 선보인다고 밝혔다.

효성인포메이션시스템은 루마다 데이터 카탈로그를 통해 체계적이고 신뢰할 수 있는 데이터 관리를 지원한다. 루마다 데이터 카탈로그는 서로 다른 속성을 가진 대용량 데이터의 메타 정보를 AI 기반으로 빠르게 파악해 정리, 통합, 관리할 수 있는 솔루션이다. 엣지(edge)에서 코어, 멀티 클라우드에 이르는 IT 환경 전반에서 데이터 자산을 효율적으로 관리할 수 있다.

루마다 데이터 카탈로그는 데이터 레이크 관리, 중복/복제 데이터 식별을 통한 데이터 분류, 자동 데이터 계보분석(Data Lineage) 뿐만 아니라 민감 데이터 검색, AI 및 머신러닝(ML)을 통한 태깅 수행 등 체계적 데이터 관리를 지원한다. 특히, 특허 받은 머신러닝 기반 ‘핑거프린트(Finger Print)’ 알고리즘을 통해 수작업으로 파악이 힘든 수많은 컬럼, 메타, 속성 등을 자동으로 분석하고 매핑해 체계적인 데이터 처리와 관리를 가능하게 한다.

루마다 데이터 카탈로그를 통해 데이터 엔지니어 및 과학자, 비즈니스 사용자는 메타 데이터 검색을 가속화하고 데이터를 분류해 데이터에서 가치를 창출하는 시간을 줄일 수 있다. 데이터 큐레이터와 관리자는 중요 데이터를 관리할 수 있으며, IT 관리자는 의도하지 않은 중복 데이터를 제거할 수 있다.

루마다 데이터 카탈로그를 활용하면 기업 전체의 민감 데이터를 자동으로 감지, 태그 지정, 보호하고 민감 데이터 유무 확인이나 데이터 유형 확인 등 셀프 서비스 분석도 가능하다. 추가 처리가 요구되는 민감 정보(개인정보 등)를 빠르고 신뢰할 수준으로 관리할 수 있다.

루마다 데이터 카탈로그는 데이터 계보(데이터 리니지)분석을 통해 사용자에게 프로젝트에 가장 적합한 데이터를 선택할 수 있는 추가 정보를 제공한다. 중복 데이터 관리, 데이터 권한 관리, 지속적으로 유입되는 민감 데이터에 대한 엑세스 식별 및 제어도 가능하다.

효성인포메이션시스템 데이터사업팀 이진석 팀장은 “효성인포메이션시스템은 고객이 원하는 가치 있는 데이터 활용을 위해 최적의 데이터옵스(DataOps) 환경을 지원한다”며 “엣지 투 클라우드(edge-to-cloud) 환경에서 분산된 데이터 사일로를 통합하는 한편, 고객이 데이터 잠재력을 최대한 발휘하고 디지털 혁신을 가속화할 수 있도록 돕겠다”고 밝혔다.

한편, 효성인포메이션시스템은 다양한 데이터 저장을 위한 오브젝트 스토리지(HCP)부터 체계적 데이터 관리를 위한 카탈로그 솔루션(Lumada Data Catalog), 빅데이터 분석 플랫폼 펜타호(Pentaho)까지 고객 데이터 혁신을 지원하는 루마다 포트폴리오를 지속적으로 확장해 나갈 계획이다. editor@itworld.co.kr

메타정보

데이터에 대한 데이터로 하위레벨의 데이터를 설명/기술하려는것

예) 도서관의 도서목록으로서, 메타데이터 (표제, 저자, 주제명, 분류기호 등리 포함되어 있는 목록 레코드)

데이터 레이크

데이터 레이크는 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지토리 유형입니다. 데이터 레이크를 사용하면 정제되지 않은 데이터를 볼 수 있으며, 데이터에 대해 전체적인 대규모 리포지토리를 엔터프라이즈 환경에서 데이터 관리 전략으로 보편화할 수 있습니다.

데이터 레이크를 사용하면 모든 데이터가 보존되며, 스토리지에 저장하기 전에 제거되거나 필터링되지 않습니다.

데이터는 얼마 후 바로 분석에 사용될 수도 있고 사용되지 않을 수 있습니다.

원시 데이터

특정 목적을 위해 처리되지 않은 데이터이다.

데이터 레이크 VS 데이터 웨어 하우스

데이터 웨어하우스는 보고를 위해 설계된 구조화된 데이터 모델을 제공

데이터 레이크는 현재 정의된 목적이 없는 비정형 원시 데이터 저장

데이터를 데이터 웨어하우스에 저장하기 전에 데이터를 정제하는 프로세스는 시간이 오래 걸리고 어려울 수 있으며 몇 개월 또는 몇 년씩 걸리는 경우도 있으므로, 즉시 데이터를 수집할 수 없습니다. 데이터 레이크를 활용하면 즉시 데이터를 수집하여 향후 해당 데이터를 어디에 사용할지 파악할 수 있습니다.

데이터 계보(데이터 리니지)

데이터의 흐름을 시각화해 계보로 구현하고 관리

참고 

https://www.redhat.com/ko/topics/data-storage/what-is-a-data-lake