• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 인프라'통합검색 결과 입니다. (83건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

'이것' 만든 에스넷그룹, AI 기업으로 변신

에스넷그룹이 인공지능(AI) 기업으로 나아가기 위해 새로운 시도에 나선다. 에스넷그룹은 AI 관련 통합 서비스를 제공하는 AI 센터를 신설했다고 1일 밝혔다. AI 센터에선 AI 도입을 원하는 기업을 위해 AI 인프라 컨설팅, 플랫폼 개발, 구축, 운영 등 AI 관련 종합 서비스를 제공한다. 또 AI 도입 과정에서 복잡한 의사결정이 필요한 작업을 제공해 고객들의 어려움을 해소한다는 계획이다. 에스넷그룹은 그룹사별 AI 역량을 바탕으로 그룹 차원의 AI 관련 사업을 일원화해 전사적 역량을 모을 예정이다. 이번 AI 센터 신설을 통해 에스넷그룹은 IT 인프라 전문기업에서 AI 전문기업으로 나아가 고객 중심의 AI 서비스를 제공함으로써 입지를 다진다는 계획이다. 에스넷시스템은 과거부터 구글 텐서플로우 기반 AI 연구를 시작으로 2021년 어플라이드 AI팀을 설립해 AI 사업을 본격 확장한 바 있다. 관계사인 굿어스데이터는 네이버 클라우드의 AI 모델인 하이퍼 클로바X 서비스를 제공 중이다. 에스넷그룹 성일용 AI 센터장은 "이번 AI 센터의 출범은 우리가 보유한 네트워크 및 ICT 서비스 역량을 기반으로 다년간 축적된 ▲AI 솔루션 개발 경험 ▲AI 인프라 구축 경험 ▲AI 기반 SI 구축 경험을 결집하고자 하는 시도"라며 "AI 인프라∙서비스 통합 사업의 선두 주자가 되고자 하는 출발점"이라고 말했다.

2024.08.01 14:30양정민

[기고] AGI 시대, 최적의 인프라 도입 전략

최근 생성형 AI로 기업들의 AI 비즈니스가 활발해지고 있다. 거대언어모델(LLM) 개발 열풍에 GPU 시장 경쟁도 치열하다. AI를 넘어 일반인공지능(AGI)까지 등장하면서 AI 비즈니스에도 큰 변화가 예고된다. AGI는 인간과 유사한 지능과 스스로 학습할 수 있는 능력을 갖춘 AI다. 생성형 AI가 확률과 통계로 답을 찾는 수학적 사고라면 AGI는 AI가 논리와 추론 능력을 가지고 문제를 해결한다. AGI의 등장은 더 큰 데이터 세트와 복잡한 AI모델이 필요함을 의미한다. 따라서 GPU시스템과 데이터 처리 효율이 더욱 중요해진다. ■ AGI 시대, 최적의 인프라 도입 요건 기업들이 자사에 최적화된 AI 인프라를 도입하기 위해서는 아래와 같은 사항들을 고려해야 한다. 첫째, 각 기업의 AI 환경에 적합한 GPU 인프라를 사용해야 한다. 최근 GPU 인프라는 대규모 GPU클러스터 기술을 포함한 초고성능 제품부터 단기간 빠른 성과 요건에 적합한 가성비 높은 제품, GPU와 CPU 일체형 방식 등으로 다양한 라인업과 제조사의 제품으로 확장되고 있다. 둘째, GPU 시스템 사용 효율을 고려해야 한다. 컨테이너 환경에서 GPU 자원의 분할 가상화 솔루션을 도입하고, 데이터 과학자가 AI 개발 업무에 집중하도록 손쉬운 AI 개발 환경을 제공해야 한다. 셋째, AI 최적화 시스템을 설계해야 한다. GPU 고성능을 최대로 발휘하기 위해, 고속 네트워크, 고성능 스토리지까지 최적의 설계가 필요하다. 또한, 여러 GPU 시스템을 사용 중인 기업 중 통합 관리에 어려움을 겪는 경우가 많다. 기존 자원을 활용하면서도 신규 도입 자원을 적절하게 사용하도록 기술 지원이 뒷받침돼야 한다. ■ AI 비즈니스를 위한 핵심 인프라 AI 비즈니스를 준비 중인 기업 가운데 LLM과 AI 모델을 한 가지 관점에서만 고민하는 경우가 많다. 하지만 이 모델들은 끊임없이 진화하고 있어 지속적으로 운영하기가 쉽지 않다. 탄탄한 인프라를 위한 컴퓨팅 파워, 네트워크 속도, 스토리지 구성 등을 초기부터 종합적으로 살펴보고 기업 환경에 맞는 전략을 수립해야 투자 비용을 최소화할 수 있다. 전문 기업의 컨설팅을 통해 자사 환경에 맞는 로드맵을 수립한 후 최적의 인프라를 체계적으로 도입하는 것이 무엇보다 중요하다. AI 시스템에 고속으로 정확하게 데이터를 공급하고 분석하기 위한 스토리지는 하드디스크보다 NVMe 플래시가 효과적이고, 데이터를 고성능으로 분산 처리하기 위한 병렬 분산 파일 시스템이 권장된다. AI를 위한 스토리지에서 고려할 가장 중요한 사항은 초고성능과 무제한 확장성이 결합된 아키텍처이다. 딥러닝은 하나의 데이터셋을 잘게 쪼개 사용하기 때문에 작은 IO 요청이 빈번하게 일어난다. 이 때문에 높은 IOPS(초당 입출력 횟수)가 요구되고 저장소 역시 파일의 메타정보 오버헤드를 최소화하는 구조여야 한다. 또한, 방대한 양의 비즈니스 데이터를 효율적으로 저장 및 관리하기 위한 초고성능 분산 병렬파일 시스템과 대용량을 지원하는 오브젝트 스토리지와의 단일화된 구성은 AI 인프라를 위한 데이터 저장소로 자리잡게 됐다. 효성인포메이션시스템은 AI 인프라를 위해 필요한 GPU 서버부터 초고성능 스토리지, 네트워크를 통합한 '효성 AI 플랫폼'을 통해 AI 연산 환경부터 고성능 데이터 처리, AI솔루션까지 고객의 AI 전환을 위한 핵심 경쟁력을 제공한다. 고성능 AI 연산 환경을 위해 슈퍼마이크로와 협업하여 GPU 서버를 시장에 공급하고, 초고성능 병렬파일 스토리지 'HCSF'를 통해 GPU 성능을 뒷받침하는 고성능 데이터 처리를 지원한다. 또한, AI/ML옵스 솔루션, GPU DB, 인메모리 DB, 고속 네트워크 등 국내외 다양한 파트너사와 연계 및 확장 제안을 통해 고객에게 AI 인프라 구현을 위한 최적의 솔루션을 제시한다.

2024.07.23 09:41강준범

레노버 "국내 CIO 38%, AI 인프라 수요 CSP에 의존”

레노버는 한국 50여명을 포함한 아시아태평양 지역 550여명의 최고정보책임자(CIO) 및 IT 의사결정권자의 인사이트를 제시하는 '스마터 데이터 매니지먼트 플레이북' 두 번째 에디션을 18일 공개했다. 레노버의 의뢰로 시장조사업체 IDC에서 진행된 해당 연구는 데이터 보안, AI 모델 무결성, 데이터 아키텍처 및 관리, 데이터 기반 엔터프라이즈 IT 전략 등 2024년 AI 데이터 관리의 핵심 측면을 심층적으로 분석했다. 본 조사에 따르면 기업의 고유한 데이터 아키텍처와 전략에 따른 하이브리드 클라우드가 엔터프라이즈 AI 요구에 가장 적합한 인프라로 꼽혔다. 특히 국내 CIO 중 38%가 AI 인프라 수요로 인해 클라우드 공급업체에 의존하고 있으며, 22%는 AI 이니셔티브를 위해 특별히 새로운 하이브리드 클라우드 환경을 개발하고 있다고 답했다. 29%의 아시아태평양 지역 기업이 '데이터 관리의 복잡성'을 조직 데이터 관련 주된 고충으로 꼽았으며, 한국은 24%로 가장 낮은 수치를 보였다. 이는 지역 전체에서 프로세스 간소화 및 효율성 제고를 통한 강력한 데이터 관리 솔루션의 필요성을 강조한다. 이에 따라 한국 CIO의 3대 우선순위는 분석적 데이터 저장과 데이터 보안, 그리고 데이터 백업으로 나타났다. 아시아태평양 지역에서는 데이터 보안이 1위를 차지했으며, AI 프로젝트를 위한 데이터 준비와 데이터 아키텍처가 그 뒤를 이었다. 2024년 한국 CIO들이 생성형 AI를 사용할 때 가장 우려하는 데이터 품질 문제 상위 3가지는 잘못된 정보에 대한 AI 학습, 데이터 태그 부재, 데이터 조작이다. 이는 잘못된 정보에 대한 AI 학습, 데이터 태그의 부재 및 데이터 보증이 우려 사항 상위 3가지로 꼽힌 아시아태평양 지역 CIO들의 응답과 유사하다. 마찬가지로, 국내 조직에서 AI 및 생성형 AI를 사용하는 데 있어 주요 어려움으로 ▲명확한 비즈니스 사례의 부재 ▲높은 인프라 비용 ▲데이터 보안 및 제어에 대한 우려 등이 토로됐다. 아시아 태평양 지역의 경우 1위 요인은 데이터 보안 및 제어이며, 상위 3가지 중 나머지 두 요인은 브랜드 또는 규제 위험에 대한 노출과 데이터 정확성 및 비윤리적 사용 가능성이다. 클라우드 공급업체를 활용하는 것이 한국 기업들에게 AI 인프라 수요를 충족할 중요한 접근 방식으로 나타났으며, 38%의 CIO가 이를 선호하는 것으로 나타났다. 수미르 바티아 레노버 ISG 아시아태평양 사장은 “데이터 혁신은 오늘날의 CIO가 새로운 비즈니스 기회를 포착해 디지털 성공을 견인하는 것에 일조한다”며 “데이터 매니지먼트 플레이북은 아시아태평양 기업의 29%가 직면한 주요 과제로서 데이터 관리 복잡성을 제시한다”고 밝혔다. 그는 “이는 AI 맞춤형 하이브리드 클라우드 환경으로의 변화를 의미하며, 레노버는 개방적이고 신뢰할 수 있는 보안 인프라를 통해 조직이 데이터 전략을 현대화하고 민첩성과 경쟁력을 갖출 수 있도록 지원하고 있다”고 설명했다. 윤석준 레노버 글로벌 테크놀로지 코리아 부사장은 "데이터 매니지먼트 플레이북에서 강조했듯 2024년은 진화하는 데이터 관리 환경을 탐색하는 조직에게 중추적인 해가 될 것”이라며 “데이터 관리 거버넌스의 우선순위를 정하고 데이터 사용을 위한 셀프 서비스를 활성화하는 방향으로의 움직임이 예상된다”고 강조했다. 한편 레노버 글로벌 테크놀로지 코리아(ISG)는 지난 16일 시그니엘 서울에서 국내 기업 CIO들을 대상으로 한 초청 세미나 '레노버 리더스 서클'을 개최했다. '레노버 리더스 서클'은 국내 다양한 기업의 최고정보책임자(CIO)를 초청해 독점적인 인사이트를 제공하는 행사로, 이번에는 '모두를 위한 보다 스마트한 데이터 관리' 주제로 개최됐다. 본 세미나에는 데이비드 무니 레노버 스토리지 총괄 부사장, 나이젤 리 아시아태평양 스토리지 총괄 세일즈 매니저, 김정림 레노버 글로벌 테크놀로지 코리아 스토리지 담당 상무 등이 참석해 최신 데이터 매니지먼트 플레이북의 내용을 토대로 비즈니스 핵심 역량 강화를 위한 전략적 인사이트를 발표했다. 이날 행사에 제조, 방송, 게임 등 데이터 관리가 핵심인 업계의 주요 기업들의 CIO 및 IT 의사결정권자들이 참석해 데이터 관련 우선순위와 과제, CIO를 위한 주의사항 및 권장사항, 산업별 인사이트 등을 나눴다.

2024.07.18 13:24김우용

정부 AI에 1조 투자한다는데...업계 "AX·컴퓨팅 인프라 지원부터"

최근 정부가 내년도 인공지능(AI) 투자 계획을 발표한 가운데 업계는 다소 아쉽다는 평가다. 이에 예산 규모보다 쓰임에 더 집중해야 한다는 목소리가 이어지고 있다. 산업계는 예산이 AI전환(AX) 확산과 컴퓨팅 인프라 지원 분야에 집중돼야 한다고 입을 모으고 있다. 지난 27일 과학기술정보통신부는 제9회 국가과학기술자문회의 심의회의에서 '내년도 국가R&D사업 예산 배분·조정안'을 확정한 바 있다. 주요 R&D 예산은 이번 과기정통부안 기준 24조8천억원이다. 정부는 AI 분야에 1조1천억원을 투자한다. 올해 8천억원보다 35.5% 늘어 처음으로 1조원을 넘겼다. 예산은 범용인공지능(AGI) 개발과 AI 안전, AI반도체 독자기술 확보에 집중될 계획이다. R&D 예산 부족 지속…"투자 규모보다 쓰임새에 집중해야" AI 산업계는 내년 AI R&D 예산 규모가 여전히 부족하다고 평가하고 있다. 국내에서 AI 서비스를 운영하는 업계 한 관계자는 "정부가 예산을 환골탈태 수준으로 올렸다고 강조했지만 국내 AI 산업계를 일으킬만한 정도는 아니다"고 말했다. 그는 "AI 기술은 무한경쟁이므로 투자 규모를 1년 단위로 쪼개 생각하는 것도 무의미하다"고 주장했다. 정부가 사상 처음으로 AI R&D에 1조원 넘게 투자하지만 해외 정부 투자 단위에 비하면 턱 없이 부족하다는 의견도 나왔다. 생성형 AI 모델과 서비스 연구자 B씨는 "캐나다는 최근 약 2조4천억원 규모의 AI 투자 계획을 발표했다"며 "다른 주요 국가 투자와 비교하면 여전히 아쉽다"고 말했다. 내년 AI R&D 예산 관련해 업계 관계자들은 투자 규모보다는 실행 방안에 더 집중해야 한다고 입을 모았다. 예산이 어떤 사업에 어떤 형태로 들어가는지가 관건이라는 평가다. 이들은 AX 활성화에 투자가 이뤄져야 한다고 기대했다. 업계 관계자는 "다수 산업이 AI 도입을 여전히 꺼리는 상황이다"며 "정부가 AX를 실천하려는 기관, 조직에 인센티브를 부여하는 방식으로 AX 활성화를 이끌어야 한다"고 강조했다. 국내 AI 스타트업 대표 C씨는 "글로벌 기업은 경량화, 산업 융합, 멀티모달 3가지 키워드로 AI를 개발하고 있다"며 "단기적 R&D 투자 방향성을 AX 중심으로 전환해야 한다"고 주장했다. AI 개발에 필요한 고비용 컴퓨팅 인프라 지원에도 투자가 집중돼야 한다는 의견도 나왔다. 업계 또 다른 관계자는 "산업계와 학계를 막론하고 AI 분야에서 고비용 컴퓨팅 인프라 확보에 많은 어려움을 겪고 있다"며 "여기에도 투자 집중이 이뤄져야 한다"고 말했다. AI 기업이나 기관이 컴퓨팅 인프라를 실제 쉽고 저렴하게 사용할 수 있어야 원활한 AI 연구 개발이 가능하다는 의미다. 그는 "그래픽처리장치(GPU)는 정부 자산으로 구입하고, 운영은 경험 많은 민간 전문기업에 위탁하는 형식으로 생태계를 만드는 법도 고려해 볼 수 있다"고 덧붙였다. 정부 관계자는 "기획재정부가 내년 정부 예산안 R&D를 비롯해 전체 정부 예산안을 오는 9월 2일 국회로 넘길 것"이라며 "보통 8월 말 정도 정부 예산안이 확정된다"고 밝혔다. 그는 "이후 모든 건 국회에서 결정될 것"이라며 "여야가 R&D 예산 부분에서 원활히 합의할 경우 예산을 더 증액할 수 있는 가능성도 있다"고 밝혔다.

2024.06.30 08:18김미정

"구글클라우드, 생성형 AI 처음부터 끝까지 다 가졌다"

이화영 LG AI연구원 상무, 이경종 엔씨소프트 상무, 김슬아 컬리 대표이사 “구글클라우드는 실리콘, 인프라, 모델, 플랫폼 등 생성형 AI 기술 스택과 전체 플랫폼을 다 직접 관리한다. 다른 파트너의 기술을 빌려쓰지 않는 통합 기술 스택을 보유했다.” 지기성 구글클라우드코리아 사장은 '구글클라우드서밋 서울 2024' 행사에 하루 앞서 열린 26일 기자간담회에서 자사의 생성형 AI 플랫폼 경쟁력을 이같이 밝혔다. 구글클라우드코리아는 27일 서울 장충체육관에서 '구글클라우드서밋 서울 2024' 행사를 개최하고 클라우드와 생성형 AI 기술로 국내 기업의 디지털 전환 가속을 지원하는 비즈니스 전략과 리더십 비전, 제품 혁신 등을 소개했다. 이날 행사에 삼성, HD현대, LG AI 연구소, 엔씨소프트, 컬리, 카카오헬스케어, 코웨이 등이 구글클라우드의 기술을 활용해 빠르게 대규모 혁신을 달성한 성공 사례를 발표했다. 이화영 LG AI연구원 상무, 이경종 엔씨소프트 상무, 김슬아 컬리 대표이사, 김정섭 HD한국조선해양 AI 연구원 등이 기조연설 무대에 올랐다. 지기성 사장은 “기업의 장기적 성공을 위해 조직 전반의 생성형 AI 혁신 이니셔티브에 투자하는 게 중요하지만, 전사적 규모로 도입하기까지 상당한 시간이 소요된다”며 “생성형 AI 시대의 비즈니스 리더로서 구글클라우드의 목표는 기업이 생성형 AI 기술의 가치를 실현하며 기술에 대한 기대감 절정기를 슬기롭게 헤쳐나가도록 지원하는 것”이라고 밝혔다. 지기성 사장은 “구글클라우드는 이미 국내 여러 선도 기업 및 스타트업과 협력해 생성형 AI로 놀라운 성과를 거두고 있다”며 “지식근로자와 코딩 담당자의 생산성 향상, 개인화된 대화형 고객 경험 제공, 다양한 백오피스 프로세스 자동화 등이 대표적 분야”라고 강조했다. 구글클라우드는 이날 행사에서 클라우드 기반의 AI 에이전트를 선보이며 생성형 AI로 다양한 산업 분야의 고객 혁신을 지원하겠다는 비전을 발표했다. AI 에이전트는 이용자의 목표 달성을 지원하며, 멀티모달 정보를 이해할 수 있어 동영상, 오디오, 텍스트 등의 정보를 함께 처리하고 다양한 입력값을 서로 연결해 최적화할 수 있다. 시간에 따른 장기적 학습도 가능해 각종 거래와 비즈니스 프로세스를 원활하게 수행할 수 있다. 구글클라우드가 제시한 AI 에이전트는 고객용 에이전트, 직원용 에이전트, 크리에이티브 에이전트 등이다. 고객용 에이전트는 고객 니즈를 파악하고 제품 관련 정보를 습득하며, 고객과 소통함으로써 궁극적으로 고객이 기업과 더 원활하게 상호작용하도록 지원한다. 뛰어난 고객용 에이전트는 웹, 모바일, 콜센터, 매장관리시스템(POS) 등 여러 채널에서 텍스트, 음성 등 다양한 형태로 작동한다. 직원용 에이전트는 프로세스를 간소화하고, 반복적인 작업을 전담하며, 직원의 질문에 답하고, 중요한 메시지를 편집 및 번역하는 등 모든 직원의 생산성을 향상시키고 더 효율적인 업무를 하도록 지원한다. 크리에이티브 에이전트는 이미지와 발표 슬라이드를 자유롭게 넘나들며 디자이너나 제작팀처럼 이용자와 함께 콘셉트를 모색한다. 구글클라우드는 크리에이티브 에이전트를 구축할 수 있는 강력한 플랫폼과 기술 스택을 제공하고, 마케팅, 음향 및 영상 제작 등 도움을 필요로 하는 모든 크리에이티브 담당자를 위해 에이전트를 구축하고 있다. 지기성 사장은 “작년이 생성형 AI 관련 개념검증(POC)을 진행한 해였다면, 올해는 생성형 AI를 프로덕션 환경에서 활용해 생산성과 매출 증대를 경험하는 사례가 나오고 있다”며 “한 조사 결과에서 국내 기업의 75%는 이미 생성형 AI 관련 사례를 4개 이상 확보했으며, 경쟁우위, 수익률, 직원만족도 등의 이유로 생성형 AI를 도입하려 하고 있다”고 말했다. 그는 “그러나 그중 10%만 ROI를 보일 것으로 여기고 있다”며 “AI 에이전트 시대는 보안, 고객소통, 직원생산성, 코드 개발, 크리에이티브 등에서 에이전트를 잘 조합하고, 관리해 슈퍼 에이전트를 잘 만드는 회사가 승자가 될 것”이라고 강조했다. 기업은 구글클라우드의 AI 최적화 인프라, 모델, 플랫폼 등을 기반으로 에이전트를 구축할 수 있다. 구글클라우드용 제미나이, 구글워크스페이스용 제미나이 등에서 구글 자체 에이전트도 활용할 수 있다. 구글클라우드의 엔터프라이즈 AI 플랫폼인 버텍스AI는 생성형 AI 모델을 검색, 맞춤화, 증강, 배포 및 관리할 수 있는 통합 플랫폼을 제공한다. 최신 버전의 제미나이와, 클로드3.5 소넷 같은 파트너사 모델을 포함해 젬마, 라마2, 미스트랄 등 오픈 모델 등 130개 이상의 모델을 이용할 수 있다. 지기성 사장은 “생성형 AI를 대대적으로 도입하려면 실리콘부터 소프트웨어에 이르는 포괄적인 엔드투엔드 기능을 제공하면서, 안전하고 개방적인 엔터프라이즈급 AI 플랫폼이 필요하다”며 “구글클라우드는 AI 스택 전반에 걸쳐 자사 솔루션과 파트너사 솔루션까지 모두 제공하는 유일한 기업”이라고 밝혔다. 그는 “구글클라우드와 파트너의 혁신을 바탕으로 인프라, 칩, 모델, 데이터 솔루션, AI 도구 전반에서 선택권을 제공함으로써, 고객이 새로운 생성형 AI 애플리케이션을 구축하고 비즈니스 가치를 창출할 수 있도록 적극 지원한다”고 강조했다.

2024.06.27 10:01김우용

HPE-엔비디아, 생성형 AI 인프라 협업 포트폴리오 출시

HPE는 엔비디아와 공동 개발한 AI 솔루션 'HPE 기반 엔비디아 AI 컴퓨팅(NVIDIA AI Computing by HPE) 포트폴리오'를 19일 출시했다. 이는 HPE가 기업 고객들이 생성형 AI 도입을 가속할 수 있도록 엔비디아와 협력해 개발한 AI 솔루션 및 고투마켓 포트폴리오다. 포트폴리오의 주요 제공 서비스 중 하나는 HPE 프라이빗 클라우드 AI다. HPE 프라이빗 클라우드 AI는 엔비디아의 AI 컴퓨팅, 네트워킹과 소프트웨어를 HPE의 AI 스토리지, 컴퓨팅, 및 HPE 그린레이크 클라우드와 가장 견고하게 통합됐다. IT 운영이 워크로드 및 IT 효율성을 향상시킬 수 있도록 새로운 옵스램프 AI 코파일럿을 제공한다. 전체 수명주기 관리를 포함한 셀프 서비스 클라우드 경험을 제공하며, 다양한 AI 워크로드와 사용 사례를 지원하기 위해 4가지 사이즈의 다른 구성으로 제공된다. HPE가 제공하는 모든 엔비디아 AI 컴퓨팅 제품 및 서비스는 양사의 공통 고투마켓 전략을 기반으로 제공되며, 이 전략에는 판매팀 및 채널 파트너, 교육, 그리고 딜로이트, HCL테크, 인포시스, TCS 및 위프로 등 SI 업체를 아우르는 글로벌 네트워크를 포함한다. HPE 프라이빗 클라우드 AI는 혁신을 가속화하고 투자 수익을 높이는 동시에 AI로 인한 기업의 리스크를 관리할 수 있는 독특한 클라우드 기반 경험을 제공한다. 이 솔루션은 고유 데이터를 활용한 추론, 미세 조정 및 RAG AI 워크로드를 지원한다. 데이터 프라이버시, 보안, 투명성, 거버넌스 요건을 위한 엔터프라이즈급 제어 기능을 제공하며, 생산성 향상을 위한 IT옵스 및 AI옵스 기능을 포함한 클라우드 경험을 갖췄다. AI 및 데이터 소프트웨어 스택의 기반은 엔비디아 NIM 추론 마이크로 서비스를 포함한 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼으로 시작된다. 엔비디아 AI 엔터프라이즈는 데이터 사이언스 파이프라인을 가속하고, 프로덕션급 코파일럿 및 기타 생성형 AI 애플리케이션의 개발 및 배포를 간소화한다. 엔비디아 AI 엔터프라이즈에 포함된 엔비디아 NIM은 최적화된 AI 모델 추론을 위한 사용하기 쉬운 마이크로서비스를 제공하여 다양한 사용 사례에 대해 프로토타입에서 안전한 AI 모델 배포로 원활하게 전환할 수 있도록 한다. 엔비디아 AI 엔터프라이즈 및 엔비디아 NIM을 보완하는 HPE AI 에센셜 소프트웨어는 적응형 솔루션, 지속적인 기업 지원, 안전한 AI 서비스를 제공하는 통합 컨트롤 플레인을 갖춘 준비된AI 및 데이터 기반 툴 세트를 제공하며, 이를 통해 데이터 및 모델 준수, 확장 가능한 기능 등 AI 수명 주기 전반에 걸쳐, AI 파이프라인이 규정을 준수하는 동시에 설명 및 재현이 가능하도록 보장한다. HPE 프라이빗 클라우드 AI는 엔비디아 스펙트럼-X 이더넷 네트워킹, HPE 알레트라 MP 파일 스토리지, 엔비디아 L40S·H100 NVL 텐서코어 GPU·GH200 NVL2 등을 지원하는 HPE 프로라이언트 서버로 구성된다. HPE 프라이빗 클라우드 AI는 HPE 그린레이크 클라우드 기반의 셀프 서비스 클라우드 환경을 제공한다. HPE 그린레이크 클라우드 서비스를 이용하는 고객들은 단일 플랫폼 기반 컨트롤 플레인을 통해 하이브리드 환경 전반에서 엔드포인트, 워크로드 및 데이터를 자동화, 조정 및 관리할 수 있는 관리 기능 및 옵저버빌리티를 제공 받으며, 워크로드 및 엔드포인트의 지속 가능성 관련 지표도 확인할 수 있다. 옵스램프의 IT 운영은 HPE 그린레이크 클라우드와 통합돼 모든 HPE 제품 및 서비스에 대한 통합 옵저버빌리티 및 AI옵스를 제공한다. 또한, 엔비디아 NIM 및 AI 소프트웨어 같은 엔비디아 가속 컴퓨팅 스택과 엔비디아 텐서 코어 GPU, AI 클러스터 및 엔비디아 퀀텀 인피니밴드, 엔비디아 스펙트럼 이더넷 스위치에 대한 엔드투엔드 통합 옵저버빌리티도 제공한다. 옵스램프 운영 코파일럿은 엔비디아의 가속 컴퓨팅 플랫폼을 활용해 대규모 데이터를 대화형 어시스턴트를 통해 분석하고 통찰력을 제공하여 운영 관리의 생산성을 높인다. 옵스램프는 또한 크라우드스트라이크 API와 통합돼 전체 인프라와 애플리케이션 전반에 걸친 엔드포인트 보안 현황을 한눈에 볼 수 있도록 한다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI는 기업 혁신을 위한 엄청난 잠재력을 가지고 있지만, 단편화된 AI 기술의 복잡성은 대규모 기업의 AI 기술 도입을 어렵게 하는 많은 리스크와 장애물을 포함하고 있어 기업의 가장 가치있는 자산인 고유 데이터를 위험에 처하게 할 수 있다”며 “HPE와 엔비디아는 기업에서 생성형 AI의 엄청난 잠재력을 발휘할 수 있도록 하기 위해 AI를 위한 포괄적인 턴키 프라이빗 클라우드를 공동 개발했다”고 말했다. 젠슨 황 엔비디아 참립자 겸 CEO는 “생성형 AI와 가속 컴퓨팅은 모든 산업이 산업 혁명에 동참하기 위해 경쟁하면서 근본적인 변화를 일으키고 있다”며 “엔비디아와 HPE는 우리의 기술을 이렇게 깊게 통합한 적이 없었으며, 엔비디아의 전체 AI 컴퓨팅 스택과 HPE의 프라이빗 클라우드 기술을 결합해 기업 고객과 AI 전문가들에게 AI의 경계를 확장할 수 있는 가장 진보된 컴퓨팅 인프라와 서비스를 제공할 계획”이라고 강조했다.

2024.06.19 15:30김우용

KTR, AI 활용 헬스케어 소재 개발 기반 구축

KTR이 2028년까지 약 150억원을 들여 인공지능(AI) 활용 의약품 안전성 평가 등 디지털 기반 헬스케어 소재 검증 인프라를 구축한다. KTR(한국화학융합시험연구원·원장 김현철)은 전라남도·화순군과 함께 산업통상자원부의 '2024년도 산업혁신기반구축사업' 공모에서 '디지털 전환 기반 바이오헬스 소재, 기기 유효성 및 안전성 검증을 위한 지능형 플랫폼 기반구축' 사업 수행기관으로 선정됐다고 22일 밝혔다. KTR은 사업 주관기관으로서 2028년 12월까지 5년에 걸쳐 ▲AI와 빅데이터를 활용한 바이오헬스케어 소재의 안전성 및 유효성 예측 플랫폼 개발 ▲디지털 병리 고속 판독시스템 운영을 통한 기술지원 시스템 구축 ▲오가노이드 첨단대체시험법 구축 ▲AI 기반 전주기 지원 통합 플랫폼 및 DB 구축 등을 수행한다. 기반구축에는 국비 100억원을 포함해 총 148억원(전남도 6억원, 화순군 14억원, KTR 25억원, 참여기관 3억원)이 투입된다. KTR은 화순에 바이오헬스케어 예측 플랫폼인 AI 특화 실증센터를 구축, 기업의 바이오헬스케어 소재 개발에서 상용화까지 전주기 원스톱 실증 특화서비스를 제공한다. 실증센터는 의약품·의료기기·화장품 등 바이오헬스케어 소재에 대한 ▲안전성 및 유효성 예측 모델 개발 ▲동등성 검증 및 실증화 ▲소재 개발 고속 스크리닝 ▲소재 통합 데이터베이스 구축 등을 수행, 신약 개발 등에 소요되는 비용 절감과 시간 단축을 돕는다. KTR은 화순 동물대체센터의 동물 대체시험 인프라와 이번 기반구축사업을 연계해 디지털 기술을 접목한 오가노이드 기반 첨단 대체 시험 개발과 비임상평가 서비스 확대를 모색한다. KTR은 또 참여기관인 충남대·충남대학교병원·분자설계연구소·광주과학기술원·전남대와 바이오 헬스케어 기업 대상 맞춤형 전주기 기업지원 사업을 공동 수행한다. KTR과 전남도·화순군은 이번 기반구축 사업을 화순 백신산업특구의 바이오 국가첨단전략산업 특화단지 지정과 첨단의료복합단지 조성 등 전남 바이오산업 육성 사업과 연계, 시너지를 높인다는 방침이다. 김현철 KTR 원장은 “이번 사업 선정으로 AI 등 디지털 기술을 통해 의약품·의료기기·바이오 소재의 효능과 안전성을 더욱 빠르고 정확하게 검증할 수 있는 기반을 갖추게 됐다”며 “KTR은 기존 헬스케어 시험인증 인프라와 연계해 국가 핵심과제인 바이오 융합 혁신산업 육성을 적극 돕고, 전남의 첨단 바이오산업 발전을 앞당길 것”이라고 밝혔다. 한편, KTR은 2013년부터 전남 화순읍 생물의약산업단지에 헬스케어연구소를 운영하고 있으며, 2016년에는 헬스케어연구소 부지에 국내 최초 동물대체시험센터를 설립·운영하는 등 화장품·의료기기·바이오 분야 국내 대표적인 시험인증 기관이다. KTR은 현재 환경부·식약처·농진청 등으로부터 OECD 규정에 따른 우수시험실운영기준(GLP·Good Laboratory Practice) 기관으로 지정받아 안전성과 유효성 시험 서비스를 제공 중이다.

2024.05.22 22:26주문정

[기고] AI 기반 혁신의 진입 장벽을 낮춰라

그 어떤 형태로 인공지능(AI)을 활용하든지 간에 AI가 모든 산업에 걸쳐 인터넷의 등장 이후로 가장 커다란 영향을 미칠 것이라는 점에는 의문의 여지가 없다. AI는 연구개발부터 생산 및 판매 후 서비스까지 모든 비즈니스 과정에서 실질적으로 널리 사용되는 도구가 될 것이며, 최근 국제통화기금(IMF)의 제안대로 '글로벌 경제도 변혁할' 것으로 예상된다. 실제로 생성형 AI는 이미 이런 변화를 일으키고 있다. IDC에 따르면, 올해 기업이 생성형 AI에 지출할 비용은 두 배로 증가할 것이며, 2027년까지 그 규모가 약 1천510억 달러에 달할 것이라고 한다. 이런 예측이 놀랍지 않은 것은 대규모언어모델(LLM)은 이미 여러 조직들의 상상력을 사로잡으며, 기업 내부 및 제3자 애플리케이션의 생성형 AI 활용에 대한 관심을 끌어올려 전략적 사고를 이끌고 있다. 모든 조직이 자사 데이터를 유의미하게 연결하거나 인프라를 확장할 수 있는 것은 아니며, 이런 한계는 적극적인 생성형 AI 활용에 영향을 미친다. IT 자원의 현대화를 위해서는 유연하고 저렴한 데이터 연결이 필수지만, 비용 역시 하나의 커다란 제약사항으로 작용한다. 많은 기업들은 새로운 AI 서비스 관련 지출 증가에 대해 여전히 조심스러운 입장이다. 한국에서도 AI관련 비용 문제는 자주 언급된다. 국내에서는 천문학적인 비용을 들여 LLM을 직접 구축하기보다는 생성형 AI의 체크포인트를 활용해 서비스를 개발하는 것이 더 비용 효율적이라는 이야기도 나오는 상황이다. ■ 장기적인 AI 성장을 위한 비용 효율적인 클라우드 AI 발전을 논할 때 클라우드는 빼놓을 수 없는 기술이다. 하지만 클라우드 사용 비용 또한 AI의 진입장벽을 높이고 있다. 클라우드 서비스 수요의 꾸준한 증가에도 불가하고 예산 제약이나 복잡한 시스템 관리 및 업데이트 등으로 인해 많은 조직이 클라우드의 잠재력을 충분히 활용하지 못하고 있으므로 모든 클라우드 인프라가 동등한 수준의 기술력을 발휘하지는 못하고 있다. 따라서 모든 기업 또는 기타 조직들이 미래의 중요 기술에 동등하게 접근하도록 기반을 마련해야 한다는 필요도 제기된다. 맥킨지의 '클라우드 가치를 찾아서: 생성형 AI가 클라우드 ROI를 변화시킬 수 있을까?'란 제목의 보고서는 “퍼블릭 클라우드에서 가치를 얻는 것은 복잡한 일”이라며 “기업들은 지난 수십 년 동안 온프레미스 환경에서 기업 기술 조직, 프로세스 및 아키텍처를 운영해 왔지만 이 중 많은 부분이 새롭게 변화해야 한다”라고 밝혔다. 이는 한 조직이 생성형 AI의 이점을 극대화하기 위해서는 비용뿐만 아니라 유연성과 접근성 측면에서도 진입 장벽을 낮추어 더 개방적이고 지속가능한 클라우드 환경을 조성해야 하기 때문이다. 알리바바 클라우드는 이미 오픈 클라우드 인프라를 통해 고객들에게 자체 LLM을 제공하고 있는데, 세계 최고 컨슈머 헬스케어 기업이자 AI 영양사이기도 한 헬리온과 같은 기업이 신뢰를 강화하고 영양 데이터베이스의 정확성과 고객에 대한 추천 정확도를 개선하도록 돕고 있다. 또한, 이런 오픈 클라우드 인프라는 일본어 처리가 능숙한 사전 훈련된 기초 모델 개발을 전문으로 하는 일본 스타트업 '린나'가 새로운 제품과 서비스를 혁신할 수 클라우드에서 저렴하게 생성형 AI를 활용하도록 돕고 있다. 이런 AI의 적극 활용을 지원하겠다는 알리바바 클라우드의 의지는 최신 가격 정책에도 반영되었으며, 알리바바 클라우드는 AI 응용 프로그램을 개발하는데 안정적인 기반을 제공하기 위해 장기 구독자에게 할인 혜택을 제공하기로 발표한 바 있다. ■ 생성형 AI 붐을 위한 민주화 AI 컴퓨팅으로의 전환은 향후 몇 년간 더욱 가속화될 것이다. AI 컴퓨팅은 생성형 AI 역량을 내장하는 생성형 AI를 위한 인프란 설계를 의미하는데, 혁신과 실행을 촉진하고 명확인 비용 구조와 확장 가능성도 갖출 것으로 기대가 되고 있다. 이에 대비해 알리바바 클라우드는 모델 및 관련 도구와 서비스를 위한 선도적인 오픈 소스 AI 모델 커뮤니티인 모델스코프(ModelScope)를 구축했다. 해당 커뮤니티는 최근 출시된 메타의 라마2와 알리바바 클라우드의 자체 오픈 소스 모델, 18억, 70억, 140억에서 720억에 이르는 파라미터를 갖춘 치엔(Qwen) LLM, 오디오 및 시각적 이해 기능을 갖춘 멀티 모달 모델(LLM)을 포함한 3,000개 이상의 인공지능 모델을 호스팅했으며, 개발자들의 사랑을 받고 있다. 앞으로 클로즈드 소스 및 오픈소스 LLM이 공존할 것이지만, AI의 민주화는 오픈소스 솔루션으로 인해 가속화될 것이다. 특히 오픈소스 LLM은 AI 모델 커뮤니티의 발전을 촉진하고, AI 해석 가능성을 향상하기 위한 협력을 우선시해, 모든 조직이 생성형 AI의 도움으로 제품과 서비스 향상을 할 수 있도록 돕는다. SeaLLM이 동남아시아 지역의 현지 언어에 대한 지원을 강화해 포용성을 넓히는데 중요한 역할을 한 것처럼 오픈소스 자원의 성장은 AI모델 커뮤니티의 발전을 이끌어줄 것이다. 인공지능의 민주화와 생성형 AI에 준비된 클라우드 서비스를 제공하는 것은 기업들의 데이터가 LLM에 통합되고 사용되도록 조직 데이터에 더 많은 자원을 투입할 수 있게 돕는다. 생성형 AI는 데이터를 요약하고 통합하는 면에서는 탁월하지만 구조화되지 않은 데이터로부터 통찰력을 얻을 때는 그리 효과적이지 않으므로 이를 활용하고자 하는 조직은 타협 없는 기본 인프라를 갖추고, 걱정 없이 데이터 문제를 해결할 수 있어야 한다. 즉 한 조직이 진정한 혁신을 이루기 위해서는 클라우드 인프라가 사실상 표준이 되어야 하며, 이는 LLM을 운영하고 실험 및 혁신하고, 발전시키기 위한 기준이 되어야 한다는 것이다. 이런 기준은 AI 컴퓨팅 인프라 구축의 중요성이 더욱 대두될수록 보다 분명해질 것이다. IT 자원에 대한 수요는 꾸준히 증가할 것이므로 에너지 집약적인 모델 훈련을 지원할 수 있는 인프라를 활성화하고, 동시에 운영 효율, 비용 효율 보장은 물론 인프라가 환경에 미치는 영향도 최소화해야 한다. 이헌 변화는 생성형 AI의 민주화뿐만 아니라 더 많은 협업을 장려하기 위해 클라우드 산업이 극복해야 하는 과제이며, 오픈 클라우드 인프라만이 이를 주도할 수 있을 것이다.

2024.04.30 10:05셀리나 위안

KTL, 독일 VDE와 산업 AI·EV 충전인프라 국제인증 협력

KTL이 국내 인공지능(AI) 제품과 서비스, 전기자동차 충전인프라 기업 수출 지원에 나선다. 한국산업기술시험원(KTL·원장 김세종)은 독일 베를린에서 독일전기전자기술자협회(VDE)와 '산업 AI 및 EV 충전인프라 국제인증협력' 업무협약(MOU)을 체결했다고 25일 밝혔다. 이번 업무협약은 AI 기반 산업의 체질 개선을 위한 정부의 산업 디지털 전환(IDX) 분야 국제 협력체계 구축 활동의 하나로 국내 기업이 제품개발과 해외인증 취득이 용이하도록 시험평가 지원체계를 구축한다. KTL은 VDE와 기술 협업을 통해 ▲산업 AI 국제인증체계 공동 개발과 성능 시험결과 상호 인정 ▲AI 국제표준 및 시험평가 방법 개발 공동 연구 ▲AI 기술정보·인력 교류 등을 약속햇다. KTL은 이번 글로벌 기관과의 기술협력을 통해 신뢰성·안전성이 검증된 AI 융복합 제품 유통을 촉진하고, 빠르게 발전하는 AI 기술·규제에 신속하게 대응하며 AI 국제표준 개발을 주도해나갈 계획이다. 두 기관은 올해 초부터 KTL의 '산업 AI 국제인증포럼'과 VDE의 'AI Quality & Testing Hub'를 통해 AI 신뢰성 분야 협력 확대 방안을 논의해 왔다. 이번 MOU로 협력체계를 더욱 공고히 했다. KTL과 VDE는 AI 시험인증 전문가 양성을 위한 커리큘럼을 공동 개발해 시범운영하고, 정기적으로 인력 교류회를 개최하는 등 산업 AI 인증 생태계 활성을 위한 글로벌 협력 기반 및 인적역량 확보에도 주력할 예정이다. 김세종 KTL 원장은 “안전하고 신뢰성 있는 AI 기술을 산업에 적용해 양국 경제성장을 위한 산업 AI 국제인증 생태계에 이바지하도록 노력하겠다”며 “앞으로도 KTL은 첨단산업 분야 글로벌 기술 규제 동향을 적극 모니터링하고, 급변하는 글로벌 흐름 속 규제를 선제적으로 파악해 국내 산업AI 전문 기업들의 수출 판로 개척에 기여하겠다″고 밝혔다.

2024.04.25 14:35주문정

시스코, AI 기반 클라우드 보호 기술 '시스코 하이퍼쉴드' 공개

시스코는 데이터센터 및 클라우드 보호 기술 '시스코 하이퍼쉴드'를 최근 공개했다고 22일 밝혔다. 인공지능(AI) 확대로 IT 인프라 요구 수준이 높아지는 가운데, 시스코는 AI과 워크로드의 활용 및 보호 방식을 재구성하겠다는 방침이다. 시스코 하이퍼쉴드는 퍼블릭 및 프라이빗 데이터센터, 클라우드 등 고객이 필요로 하는 모든 장소에서 애플리케이션, 기기, 데이터를 보호한다. 설계 단계부터 AI 기술이 고려돼 사람의 힘으로 달성하기 어려운 높은 수준의 보안 시스템을 구축할 수 있도록 지원함으로써 보안 담당자가 업무를 보다 원활히 할 수 있도록 돕는다. 시스코는 이와 함께 최근 발표한 이더넷 스위칭, 실리콘, 컴퓨팅 포트폴리오를 통해 AI 인프라 가속화를 진행해 나가고 있다. 시스코 하이퍼쉴드는 신규 보안 아키텍처로 하이퍼스케일 퍼블릭 클라우드를 위해 개발된 기술이 사용됐으며, 모든 IT 팀이 조직 규모에 따른 제약 없이 구축할 수 있다. 보안 울타리보다는 보안 패브릭에 가까워 데이터센터 내 모든 애플리케이션 서비스, 퍼블릭 클라우드 내 모든 쿠버네티스 클러스터, 가상머신(VM) 및 컨테이너까지 모든 보안을 강화하는 것이 가능하다. 또한, 네트워크 포트를 고성능 보안 적용 지점으로 변환시켜 클라우드뿐만 아니라 데이터센터, 공장, 병원 영상실 등 다양한 공간에서 새로운 보안 기능을 제공할 수 있다. 이로써 애플리케이션 취약점 공격을 몇 분 이내로 차단하고 측면 이동 공격을 막는다. 하이퍼쉴드를 통한 보안 강화는 하이퍼스케일의 퍼블릭 클라우드에서 광범위하게 사용되는 강력한 하드웨어 가속기를 활용해 ▲소프트웨어 ▲가상머신 ▲네트워크, 컴퓨팅 서버, 어플라이언스 등 세 계층에서 이뤄진다. AI 네이티브로 구축 단계부터 자율화와 예측이 가능하도록 설계돼, 시스템이 스스로를 자체적으로 관리할 수 있어 대규모의 초분산 구조의 지원 접근이 가능하다. 하이퍼스케일 클라우드 안에서 클라우드 네이티브 워크로드를 연결하고 보호하기 위해 사용되는 기본 메커니즘인 오픈소스 기술 확장버클리패킷필터(eBPF)를 기반으로 구축됐다. 시스코는 기업용 eBPF 선도업체인 아이소밸런트 인수를 이번 달 초 마무리했다. 시스코는 서버와 네트워크 패브릭 자체에 고급 보안 제어 기능을 탑재해 네트워크 보안 작동 방식을 변화시키고 있다. 시스코 하이퍼쉴드는 모든 클라우드에 걸쳐 데이터 처리 장치(DPU)와 같은 하드웨어 가속 장치를 활용해 애플리케이션 및 네트워크 동작의 이상 징후를 분석하고 대응한다. 또한, 보호가 필요한 워크로드에 보안을 더 적용한다. 네트워크, 보안 및 광범위한 파트너 에코시스템 분야에서 업계 최고의 전문성을 갖춘 시스코는 엔비디아와 함께 데이터센터를 보호하고 확장하기 위해 AI 네이티브 솔루션을 구축 및 최적화하는 데 노력을 기울이고 있다. 엔비디아와의 협력은 네트워크 이상 징후를 탐지하는 엔비디아 모르페우스 사이버보안 AI 프레임워크와 엔터프라이즈를 위한 맞춤형 보안 AI 어시스턴트를 구동하는 엔비디아 NIM 마이크로서비스를 활용하는 것을 포함한다. 엔비디아의 컨버지드 가속기는 GPU 및 DPU 컴퓨팅의 성능을 결합해 클라우드부터 엣지까지 강력한 보안을 갖춘 시스코 하이퍼쉴드를 강화한다. 케빈 디어링 엔비디아 네트워킹 부문 수석 부사장은 “기업들은 산업 분야에 상관없이 끊임없이 확정되는 사이버 위협으로부터 기업을 보호할 수 있는 방법을 찾고 있다”며 “시스코와 엔비디아는 AI가 가진 힘을 활용해 강력하고 안전한 데이터센터 인프라를 제공해 기업들이 비즈니스를 혁신하고 전 세계 모든 고객들이 혜택을 누릴 수 있도록 지원하고 있다”고 밝혔다. 시스코 하이퍼쉴드는 오늘날의 정교한 위협 환경으로부터 인프라를 방어하고 고객이 직면하는 세 가지 문제를 해결할 수 있다. 분산 취약점 방어의 경우 공격자는 새로운 취약점 발표 후 보안 패치 적용 전에 빠르게 활용해 공격한다. 시스코의 보안 전문 조직 탈로스에 따르면, 방어자들은 매일 100 여개의 취약점을 새롭게 발견하고 있으며 이는 치명적인 결과로 이어질 수 있다. 시스코 하이퍼쉴드는 보안 적용 지점의 분산된 패브릭에서 테스트를 진행하고 보완 컨트롤을 추가해 불과 몇 분 내로 네트워크를 보호할 수 있다. 공격자가 네트워크에 접근했을 때 세그멘테이션은 공격자의 측면 이동 공격을 차단하는 데 핵심적인 역할을 한다. 하이퍼쉴드는 기존에 가지고 있는 정책을 지속적으로 관찰하고 자동추론 및 재평가를 진행해 네트워크를 자율적으로 세분화함으로써 대규모의 복잡한 환경에서도 문제를 해결한다. 시스코 하이퍼쉴드는 이중 데이터 평면을 활용해 매우 복잡하고 오랜 시간이 소요되는 많은 테스트 및 업그레이드 배포 과정을 자동화한다. 고객 고유의 트래픽, 정책 및 기능 조합을 사용해 소프트웨어 업그레이드 및 정책 변경 사항을 디지털 트윈에 반영하고, 다운타임 없이 이를 적용한다. 시스코의 AI기반 교차 도메인 보안 플랫폼인 '시큐리티 클라우드'에 탑재된 시스코 하이퍼쉴드는 올해 8월에 정식 출시될 예정이다. 최근 이루어진 스플렁크 인수로 인해 시스코의 기업 고객들은 모든 디지털 시스템에 대한 전례 없는 가시성과 인사이트를 확보하고 높은 수준의 보안 태세를 구축할 수 있게 됐다. 지투 파텔 시스코 보안 및 협업 부문 부회장 겸 총괄 매니저는 "AI는 전 세계 80억 인구의 영향력을 800억 명의 규모로 늘릴 수 있는 거대한 잠재력을 가지고 있다”며 “이러한 변화로 인해 연결부터 보안, 운영, 확장 방식 등 데이터센터의 역할도 변해야 한다”고 설명했다. 이어 “시스코 하이퍼쉴드를 사용하면 소프트웨어와 서버, 그리고 향후에는 네트워크 스위치까지 필요한 모든 곳에 보안을 적용할 수 있다”며 “수십만 개의 보안 적용 지점을 가진 분산된 시스템은 관리 방법의 간소화, 비용 감소를 이루고 시스템을 자율화하는 것이 중요하다”고 밝혔다. 척 로빈스 시스코 회장 겸 최고경영자(CEO)는 “시스코 하이퍼쉴드는 시스코 역사 상 가장 중요한 보안 혁신 중 하나”라며 “시스코는 보안, 인프라, 가시성 플랫폼의 강점을 바탕으로 고객이 AI를 활용할 수 있도록 지원할 수 있는 차별화된 포트폴리오를 갖고 있다”고 강조했다.

2024.04.22 09:24김우용

오라클, '트웰브랩스' 등 AI 기업 OCI 도입 사례 공개

오라클은 국내외 인공지능(AI) 혁신기업의 오라클클라우드인프라스트럭처(OCI) AI 인프라와 OCI 슈퍼클러스터 기반 생성형 AI 개발 및 배포 사례를 27일 발표했다. 각 기업은 OCI의 서비스를 활용해 AI 애플리케이션용 거대 언어 모델(LLM) 훈련 등 실제 서비스 환경에서 사용 가능한 AI를 개발중이다. 한국의 트웰브랩스를 비롯해, 모달, 수노, 투게더 AI 등이 대규모 AI 훈련 및 추론을 위해 OCI AI 인프라를 활용하고 있다. AI관련 수요가 급속도로 지속적으로 늘어나는 가운데, AI 기업은 필요에 따라 GPU 인스턴스를 신속하고 경제적으로 확장해 주는 안전하고 안정적인 고성능 클라우드 및 AI 인프라를 필요로 하고 있다. OCI AI 인프라스트럭처를 통해 AI 기업은 머신러닝(ML), 이미지 처리, 모델 훈련, 추론 연산, 물리 기반 모델링 및 시뮬레이션, 대규모 병렬 HPC 애플리케이션을 위한 고성능 GPU 클러스터를 활용할 수 있게 된다. 한국의 AI 스타트업인 트웰브랩스는 멀티모달 비디오 이해를 위한 파운데이션 모델을 구축하는 회사다. 사용자들은 자연어를 사용해 특정 장면에 대한 비디오를 검색하고, 프롬프팅을 통해 비디오에 대한 정확하고 통찰력 있는 텍스트를 생성할 수 있으며, 맞춤형 카테고리를 기반으로 비디오를 자동 분류할 수 있다. 트웰브 랩스는 OCI 컴퓨트 베어메탈 GPU와 OCI가 제공하는 노드 간 고대역폭 덕분에 대규모 모델들을 고속으로 훈련시킬 수 있게 됐다. 트웰브랩스의 이재성 창립자 겸 CEO는 “OCI AI 인프라스트럭처를 통해 우리는 모델을 품질 또는 속도에 대한 타협 없이 대규모로 훈련시킬 수 있게 됐다”며 “OCI는 비디오 이해를 더욱 고도화하기 위해 필요한 성능, 확장성, 클러스터 네트워킹을 제공하고, 동시에 AI 모델 배포에 드는 시간과 비용을 크게 줄여준다”고 밝혔다. 서버리스 GPU 플랫폼 기업인 '모달'은 고객이 필요한 인프라를 구성 또는 설정할 필요 없이 생성형 AI 모델, 대규모 배치 작업, 작업 쿼리를 실행할 수 있게 해 준다. 전 세계 데이터센터로 신속한 확장을 지원하기 위해 모달은 신속하고 비용 효과적인 방식으로 추론 작업을 할 수 있도록 OCI 컴퓨트 베어메탈 인스턴스를 활용했다. 모달의 에릭 베른하르트손 설립자 겸 CEO는 “OCI가 제공하는 독보적인 가격 경쟁력과 성능 덕분에 과도한 컴퓨트 비용을 지불하지 않아도 거대한 여러 AI 모델을 실행하는 데 필요한 확장성과 고성능을 제공할 수 있게 됐다”며 “OCI 기반으로 모달을 운영하면 고객들은 완전한 서버리스 실행 혜택은 물론, 진정한 의미의 사용량 기반 지불 시스템의 이점도 누리게 된다”고 설명했다. '수노'는 생성형 음악 제작 기업이다. 수노의 주력 제품은 몇 초 만에 현실적이고 개인화된 음악을 생성해 낸다. 수노는 독자적인 기계학습 모델을 훈련시키고, 차세대 생성형 음악 모델에 대해 늘어나는 수요를 지원하기 위해 OCI 슈퍼클러스터를 선택했다. 수노의 마이키 셜먼 창립자 겸 CEO는 “오라클과의 파트너십을 통해 얻을 수 있는 가장 큰 가치는 확장성에 있다”며 “오라클은 클라우드 제공업체가 우리의 성장 속도에 맞춰 함께 성장하고 확장하며 우리를 든든히 지원하고 있다는 확신을 준다”고 밝혔다. 그는 ”사용자 관리, 디스크 관리, GPU 관리, 새로운 머신 추가 기능 등 새로운 OCI 슈퍼클러스터 관리 기능들을 통해 운영과정을 더욱 개선할 수 있었다”고 설명했다. '투게더 AI'는 생성형 AI 모델의 추론 및 훈련을 위해 가장 빠른 속도의 클라우드 플랫폼을 제공하는 연구 중심 AI 기업이다. 투게더 AI는 강력한 성능을 비롯해 내장형 보안, 최상의 엔지니어링 지원 서비스 등을 이유로 OCI를 선택했다. 투게더 AI의 비풀 베드 프라카시 창립자 겸 CEO는 “우리의 가파른 성장을 지원할 클라우드 제공업체 선정에 있어 가장 중요한 요소는 보안이었다”며 “많은 스타트업 및 기업 고객들이 업계 선도적인 성능을 제공하는 우리의 추론, 미세 조정, 훈련 솔루션의 도입을 원하고 있다”고 밝혔다. 그는 “OCI의 신뢰할 수 있는 보안 및 안정성 덕분에 우리는 신속한 확장을 통해 이와 같은 수요 증가를 지원할 수 있었다”고 덧붙였다. OCI 컴퓨트 가상머신과 베어메탈 GPU 인스턴스는 컴퓨터 비전, 자연어 처리, 추천 시스템 등을 위한 애플리케이션을 구동할 수 있다. OCI 슈퍼클러스터는 레이턴시가 극히 낮은 클러스터 네트워킹, HPC 스토리지, OCI 컴퓨트 베어메탈 인스턴스를 제공해 LLM 등 크고 복잡한 모델을 대규모로 훈련하게 해 준다. 오라클의 전담 엔지니어링 지원 팀은 성공적인 배포를 보장하기 위해 계획 수립에서 실행에 이르는 전체 배포 과정에서 고객과 협업한다. 그렉 파블릭 오라클 클라우드 인프라스트럭처 AI 및 데이터 관리 서비스 부문 수석 부사장은 “AI 인프라 활용에 있어, AI 혁신 기업들에게 허용되는 오차범위는 최소의 수준”이라며 “OCI는 다양한 AI 사용 사례에 대한 강력한 컴퓨팅 기능 및 상당한 비용 절감 이점을 제공한다”고 설명했다. 그는 “AI 업계 리더들이 OCI를 가장 많이 선택하는 이유도 바로 이 때문”이라고 강조했다.

2024.03.27 10:51김우용

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

[기고] 생성형 AI 도입, 기업이 반드시 유념해야 할 두 가지 전략

생성형 AI 모델에 대한 뜨거운 관심은 이제 다방면으로 확산되고 있다. 지난 해 까지만 해도 변호사 자격시험 통과나 다양한 주제의 학술 논문 작성은 물론, 정보 검색 지원 등 놀라운 신기능이 화제의 중심이었다. 이제 우리는 생성형 AI가 텍스트 생성과 SQL 쿼리 생성, 코드 작성, 심지어는 예술작품 제작은 물론, 기업의 제품 지원에 이르기까지 거의 모든 분야의 작업을 수행하는 것을 목격하고 있다. 생산성과 수익을 향상시킬 수 있는 방법을 늘 고민중인 기업 경영진의 마음을 생성형AI가 사로잡고 있다고 해도 과언이 아니다. 실제 우리 기업들은 이제 향후 어떤 업무에 생성형 AI의 어떤 기능을 더 추가적으로 도입할 지 심각하게 고민하고 있는 상황이다. 기업은 생성형 AI 기능을 원하는 업무에 도입해 비즈니스 결과를 개선하려면 우선적으로 중요한 원칙을 되새겨야 한다. 즉 해당 AI기능이 자사의 비즈니스 적용업무에 통합되어 그에 적합하고 정확한 결과를 제공하는 대상 모델은 무엇인지 정의하는 것과, 그에 맞게 해당 인프라를 설정하고, 모델을 선택, 맞춤화하고 배포를 어떻게 할 것인지 대한 기획이다. 이와 같은 원칙과 전제하에 기업이 생성형 AI를 도입해 자사의 비즈니스를 향상시키는 방안은 두 가지로 구분할 수 있다. 애플리케이션에서 AI 서비스 및 데이터와 인프라 전반을 아우르는 '풀스택 AI'의 활용 전략과 '특정 비즈니스 업무에 적합한 맞춤형 서비스 활용'이 그것이다. 풀스택 AI 활용과 그 경험을 구현하는 방법은 무엇인가? 이는 생성형 AI에 대한 시스템 차원의 '총체적인 접근방식'으로, 기업이 AI 구현을 위해 필요로 하는 기술 전반을 통합한 환경을 의미한다. 이와 관련해 기업은 자사의 온프레미스(구축형)와 퍼블릭 클라우드로 운영되는 IT시스템 환경의 전반에서 애플리케이션과 서비스, 데이터 및 인프라를 아우르는 단일한 AI 솔루션 적용을 통해 AI의 ROI(투자대비효과)를 거둘 수 있다. 보통 기업에서는 AI 프로젝트를 진행할 경우 여러 곳에 편재한 단편적인 부분과 툴을 결합하는 방식으로 AI를 구현한다. 이와 달리 풀스택 접근방식은 기업 핵심 애플리케이션의 사용 경험에 생성형 AI 기술을 접목할 수 있는 기술력을 갖추고 있다는 장점이 있다. 덕분에 기업은 자사 애플리케이션에 필요한 생성형 AI 기술을 획기적으로 간단히 통합할 수 있다. 필자가 속한 오라클 역시 기업이 생성형 AI를 성공적으로 구현하기 위해 정말 필요한 것이 무엇인지에 대해 고민하면서 생성형 AI에 대해 이러한 총체적인 접근 방식을 취하고 있다. 또한 데이터베이스에 탑재된 AI 기반 운영 자동화 및 벡터 검색 기능은 기업이 추가적인 개발의 노력을 들이지 않아도 데이터베이스 관리 업무와 앱 개발 과정을 대폭 간소화하고 정확도 높은 모델을 지원할 수 있어 비용 절감을 돕는다. 오라클은 자사의 서비스형 소프트웨어(SaaS)에서 시작해 이러한 AI 기술이 접목된 풀스택 서비스와 함께 광범위한 미세 조정 모델 및 즉시 사용 가능한 검색 증강 생성(RAG)을 통해 기업의 차별화된 AI 전략을 지원하고 있다. 두 번째로, 생성형 AI가 기업 내의 다양한 활용을 지원하기 위해 미세 조정 또는 RAG 기술을 통해 대형 언어 모델을 현업 요구 사항에 적합하도록 맞춤화해 제공하는 방안이다. 이 중 '미세 조정'은 대형 언어 모델에 기업의 내부 정보, 지식 문서 등을 학습하는 것으로, 여기에는 많은 시간과 비용이 든다. RAG 기술은 이러한 미세조정을 돕기 위한 기술이다. 데이터 사용자와 자연어 기반의 대화 맥락 속에서 질의를 SQL 쿼리로 자동 변환하고 기업 보유의 벡터 데이터베이스와 연동을 통해 의도에 맞는 답변을 제공한다는 점에서 비용 효과성을 더 높은 수준으로 향상시켜준다. 한 예로 기업의 한 사용자가 RAG 기술을 탑재한 에이전트에 병가에 대한 인사(HR) 정책을 요약해서 알려 달라고 요청할 경우, 모델은 RAG를 통해 기업 HR 정책과 관련된 내부 문서에서 연관 있는 문단을 추출해 내어 자연어 대응 답변을 출처 문서에 대한 하이퍼링크와 함께 맞춤형으로 제공할 수 있다. 향후에는 사용자의 요청에 따라 기존 문서 편집과 같은 후속 조치까지도 지원할 것으로 기대된다. 이처럼 기업 업무의 특수한 맥락에 정교한 성능을 제공하는 생성형 AI 기술은 고객 서비스 자동화를 비롯해 개인화된 마케팅이나 가상 세일즈맨 역할, 계약서 작성, 경쟁사 및 고객 모니터링 등 비즈니스의 많은 영역에 적용해 가치를 창출할 수 있을 것으로 기대되고 있다. 성공적인 생성형 AI 구현은 인프라에 대한 총체적인 접근방식과 더불어, 생성형 AI 모델의 실제 비즈니스 적합성에 달려 있다. 이 두 가지 전략을 함께 고려하고 운용할 수 있을 때 비로소 기업은 생성형 AI 와 관련된 여정을 단계별로 차근차근 밟아 나가며 혁신을 가속화하고 고도화 할 수 있을 것이다.

2024.03.14 15:27나정옥

IBM "작년 해커의 신원 정보 탈취 71% 급증"

IBM은 최근 발표한 '2024 엑스포스 위협 인텔리전스 인덱스 보고서(이하 엑스포스 인덱스)'를 통해 사이버 공격자가 해킹 대신 유효한 자격 증명을 사용해 단순히 '로그인'해 공격하는 건수가 전년 대비 71% 증가했다고 11일 밝혔다. IBM 엑스포스는 IBM 컨설팅의 사이버 공격 및 방어 보안 서비스 부문으로, 엑스포스 인덱스는 130여 개국에서 매일 1천500억 건 이상의 보안 이벤트를 모니터링해 얻은 인사이트와 관찰 결과를 기반으로 한다. 올해 보고서는 IBM 엑스포스 위협 인텔리전스, 사고 대응, 엑스포스 레드팀, IBM 관리형 보안 서비스 등 IBM 내 여러 소스와 레드햇 인사이트 및 인테저에서 데이터를 수집 및 분석한 내용을 담았다. 오늘날 다크 웹에서 수십억 개의 유출된 인증정보에 접근할 수 있다. 사용자의 유효 계정을 악용하는 것은 사이버 공격자의 가장 쉬운 접근 경로다. 작년 이메일, 소셜 미디어 및 메시징 앱 인증정보, 은행 정보, 암호화폐 지갑 데이터 등과 같은 개인 식별 정보를 탈취하게 설계한 인포스틸링 멀웨어가 266% 증가했다. 공격자가 사용자의 신원을 확보하기 위한 작업에 점점 더 많은 투자를 하고 있는 것이다. 문제는 공격자들에게는 침투하기 쉬운 진입 경로가 기업들에게는 탐지하기 어려운 부분이라는 것이다. 엑스포스에 따르면 유효한 계정을 사용한 침해 사고는 일반적인 침해 사고보다 보안 팀의 대응 조치가 약 200% 더 복잡했다. IBM의 "2023 데이터 유출 비용 연구 보고서"에 따르면 탈취되거나 유출된 인증정보로 인한 침해 사고를 탐지하고 복구하는 데 약 11개월이 소요되어 침해 사고 중 대응 주기가 가장 긴 것으로 나타났다. 이는 곧 기업의 대응 비용이 더욱 높아진다는 것을 의미한다. 앞으로 공격자들이 공격을 최적화하기 위해 생성형 인공지능(AI)을 활용할 것으로 예상되기에 신원 기반 위협은 계속 증가할 것이다. 이미 작년에 다크 웹 포럼에서 AI와 GPT에 관한 80만 개 이상의 게시물이 관찰되었고 이러한 신기술이 사이버 공격자들의 관심을 끌고 있다는 점이 확인됐다. 전세계적으로 엑스포스가 대응한 공격의 약 70%가 주요 인프라 조직에 대한 공격이었다. 핵심 인프라 조직은 시스템 가동 시간이 중요하기 때문에 공격자들이 표적으로 삼고 있는 것이다. 안타깝게도 주요 인프라 부문에 대한 공격의 약 85%에서는 패치, 다중 인증 또는 최소 권한 원칙 등 보안 업계가 지금까지 '기본적인 수준의 보안'이라고 정의한 것만 지켜졌어도 피해를 완화할 수 있었던 것으로 파악됐다. 생성형 AI에 대한 공격은 아직 투자수익률이 높지 않다는 분석이다. 사이버 공격자들이 공격으로 투자 대비 효과를 보려면 공격 대상이 되는 기술이 전 세계 대부분의 조직에서 보편화돼야 한다. 엑스포스는 단일 기술이 시장 점유율 50%에 근접하거나 시장이 3개 이하 기술로 통합되는 등 특정 생성형 AI의 시장 지배력이 확립되면 새로운 툴에 대한 사이버 공격자들의 추가 투자를 유도해 AI가 공격 대상이 될 가능성이 더욱 높아질 것으로 평가한다. 다만, 기업은 생성형 AI가 현재 대중화 전 단계에 있어도 사이버 공격자들이 공격 활동을 확대하기 전에 AI 모델을 보호해야 한다. 기존에 구축되어 있는 기본 인프라에 대한 공격은 새로운 방식이 개발될 필요가 없기 때문에, 기본 인프라가 AI 모델에 대한 공격의 관문으로 작용할 수 있기 때문이다. 이에 생성형 AI 시대에는 보안에 대한 총체적인 접근 방식이 필요하다. 한국IBM 컨설팅 사이버보안 서비스 사업 총괄 및 최고운영책임자(COO) 배수진 전무는 “보안 기본 원칙은 AI란 키워드만큼 많은 관심을 받고 있지는 않지만, 아시아태평양 지역의 가장 큰 보안 과제는 패치되지 않은 알려진 취약점”이라며 “특히 신원은 계속해서 악용되고 있으며, 공격자들이 전술을 최적화하기 위해 AI와 같은 신무기를 사용하게 되면서 이 문제는 더욱 악화될 것이므로 기업들의 선제적인 대응 준비가 중요”하다고 강조했다.

2024.03.11 11:12김우용

넷앱, 엔비디아와 AI 최적화 인프라 제공

넷앱은 생성형 AI프로젝트의 잠재력을 극대화할 수 있는 지능형 데이터 인프라의 새 기능을 8일 발표했다. 이 발표를 통해 고객은 넷앱의 지능형 데이터 인프라를 엔비디아의 고성능 컴퓨팅, 네트워킹 및 소프트웨어와 결합할 수 있어 AI 프로젝트를 한 단계 더 발전시킬 수 있고 경쟁 우위를 확보할 수 있다. 생성형 AI는 번거로운 작업을 자동화하고 새로운 인사이트를 발견하며 제품 혁신을 이끌 수 있어 세계적인 관심을 끌고 있다. 넷앱의 2023 데이터 복잡성 보고서에 따르면, 절반이 넘는 기업이 이미 생성형 AI를 사용하고 있다. 생성형 AI의 잠재력을 이끌어내려면 복잡한 하이브리드 및 멀티 클라우드 환경 내 산재되어 있는 데이터에 고성능의 안전한 액세스가 필요하다. 넷앱은 저장 위치에 관계 없이 어디에서나 간편하게 데이터를 관리하고 새로운 인프라 사일로 없는 고성능을 제공하며 책임 있는 AI를 위한 신뢰할 수 있는 안전한 데이터를 제공하는 솔루션을 지원하고 있다. 넷앱 AI팟(AIPod)은 AI의 학습 및 추론을 비롯한 기업의 가장 우선 순위가 높은 AI 프로젝트를 위한 AI 최적화 컨버지드 인프라다. 엔비디아의 DGX를 통해 구동되는 넷앱 AI팟은 공식 인증된 엔비디아 DGX 베이스포드 솔루션이다. 합리적인 가격의 용량 플래시 시스템인 넷앱 AFF C 시리즈와 통합된 엔비디아 DGX H100 시스템을 사용해 비용 및 성능의 새로운 수준을 제공하고 랙 공간 및 지속 가능성을 최적화한다. 엔비디아 DGX A100 시스템도 지속적으로 지원한다. 새로운 플렉스포드 포 AI 레퍼런스 아키텍처는 넷앱과 시스코의 선도적인 컨버지드 인프라 솔루션을 확장한다. 플렉스포드 포 AI는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼을 지원하며 레드햇 오픈시프트와 수세 랜처를 활용할 수 있다. GPU 집약적인 애플리케이션을 점진적으로 지원하기 위해 새로운 스케일링 및 벤치마킹이 추가됐다. 고객은 이러한 새로운 플렉스포드 솔루션을 활용해 AI 사용 사례에 대한 플렉스 포드 플랫폼을 효율적으로 설계, 배포 및 운영하기 위한 엔드투엔드 청사진을 얻을 수 있다. 넷앱은 엔비디아 OVX 시스템에 대해 검증 됐다. 넷앱 스토리지는 엔비디아 OVX 컴퓨팅 시스템과 결합해 모델 파인 튜닝 및 추론 워크로드 등 기업의 AI 배치를 간소화할 수 있다. 엔비디아 L40S GPU를 사용하는 인증된 엔비디아 OVX 솔루션이 주요 서버 공급 업체로부터 제공되며, 엔비디아 AI 엔터프라이즈 소프트웨어와 함께 엔비디아 퀀텀-2 인피니밴드 또는 엔비디아 스펙트럼-X 이더넷, 그리고 엔비디아 블루필드-3 DPU를 포함한다. 넷앱은 엔비디아 OVX에 대한 스토리지 인증을 완료한 최초의 파트너 중 하나다 넷앱은 AI 분야에서의 리더십을 더욱 강화하기 위해 혁신적인 사이버 레질리언스 기능도 발표했디. 랜섬웨어에 대응하기 위해 AI 및 머신러닝(ML)을 스토리지에 내장시켰다. 신규 ARP/AI는 ONTAP에서 차세대 머신 러닝을 제공하고 더 정교해진 사이버 위협을 탐지하고 완화하기 위해 향상된 정확도와 성능을 제공할 예정이다. 아룬쿠마르 구루라잔 넷앱 데이터사이언스및연구부문 부사장은 “넷앱은 AI에 대한 고유한 접근 방식을 통해 고객이 퍼블릭 클라우드와 온프레미스 환경을 이동하며 데이터 파이프라인 전체에서 데이터에 대해 완전한 액세스와 제어를 갖도록 지원한다”며 “고객은 AI 프로세스의 각 단계에 대한 객체 스토리지를 티어링함으로써 원하는 곳에서 성능과 비용을 최적화할 수 있다”고 밝혔다. 토니 페이케데이 엔비디아 AI 시스템부문 시니어 디렉터는 “의료부터 제조업, 금융 서비스까지 AI는 모든 산업에서 미션 크리티컬한 사용 사례를 주도하고 있다"며 "엔비디아 DGX 베이스포드의 인증을 받은 넷앱 AI팟은 강력한 레퍼런스 아키텍처를 제공해 기업들이 설계 복잡성을 제거하고 배포 시간을 단축하며 지속적인 운영을 간소화할 수 있도록 지원한다”고 강조했다. 김백수 한국넷앱 대표는 “한국이 인공지능 분야의 리더로 자리잡고 있는 가운데, 기업들은 이러한 진화하는 국내 IT 환경에 대비하고 잘 준비해야한다”며 "넷앱은 AI 애플리케이션에 최적화된 지능형 데이터 인프라를 제공함으로써 사일로를 제거하고 기민성을 촉진해 기업들을 지원한다”고 설명했다.

2024.03.08 12:21김우용

"한-독, 신재생에너지·수소·첨단기술·인프라 협력해야"

EU내 한국과 최대 교역국인 독일과 재생에너지, 수소, 첨단기술, 인프라 분야 경제 협력을 강화해야한다는 주장이 제기됐다. 대한상공회의소는 14일 이같은 내용이 담긴 '한-독일 미래 유망산업 협력과제 연구' 보고서를 발표했다. 보고서는 양국 경제협력을 강화하기 위해 독일과 ▲풍력, 태양광 등 재생에너지 협력이 필요하며 ▲수소경제 인프라를 공동 구축하고 ▲AI, 항공우주, 배터리 등 첨단기술 협력을 강화할 것을 제안했다. 또한 디지털 공공서비스 분야 협력과 재생에너지 확대에 따른 전력망 구축 등 인프라 수주에 우리 기업이 적극 참여해야 한다고 주장했다. 독일은 유럽내 한국의 제1위 교역국으로 지난해에는 역대 최대 교역액(339억달러)을 기록했다. 독일은 유럽 국가 중 국내 외국인투자 누적 최대 신고건수(2천359건)를 기록 중이며, 반대로 유럽에서 우리 기업이 신규법인을 가장 많이 설립한 국가도 독일(879개)이다. 또한, 우리 재외동포가 유럽에서 가장 많이 있는 곳이기도 하다. 보고서는 먼저 2030년까지 전력 생산의 80%를 재생에너지원으로 조달하고, 2045년까지 탄소중립을 달성하고자 하는 독일 정책에 발맞춰야 한다고 주문했다. 2022년 현재 독일 전력공급의 46.3%가 재생에너지며, 전기 생산량 중 풍력이 21.7%로 가장 높고, 갈탄 20.1%, 천연가스 13.8%, 석탄 11.2%, 태양광 10.5% 順으로 나타났다. 이어 보고서는 한국이 아시아 최초로 3MW 해상풍력발전기를 개발한 바 있고, 해상풍력 발전용량을 2030년까지 12GW까지 증가시킬 계획인 만큼, 독일과 협력 가능성이 높은 것으로 내다봤다. 독일은 2030년까지 매년 10GW 규모의 육상풍력발전설비를 확보해, 총 115GW의 육상풍력발전설비를 갖출 계획이다. 태양광의 경우 독일 정부는 2030년까지 매년 22GW 발전규모 확대 및 총 215GW 규모의 태양광발전 인프라 구축 목표를 설정했다. 연방 정부는 태양광 에너지를 활용한 개인 주택의 전기차 충전 시스템 설치를 지원하는 정책에 5억유로를 배정하는 등, 관련 인프라 구축에 적극적이다. 독일은 2023년 '국가 수소 전략'을 개정 발표하는 등, 수소경제 이행 관련 EU국가 중 가장 주도적인 역할을 하고 있다. 2030년까지 수소 발전량을 10GW로 확대할 예정이며, 산업⋅운송⋅에너지 시스템에서 수소 에너지를 활용할 수 있는 기술과 인프라 구축에 연방 정부는 90억유로(약 12조7천억원)를 투자하는 계획을 추진 중에 있다. 이에 그린 수소 확보 공동 노력, 수소기술 공동연구개발 협력 등 수소 공급망 협력과 생태계 조성이 필요하다고 보고서는 밝혔다. 또한, 한국과 독일 양국은 수소 연료전지 분야에서 높은 수준의 기술을 보유하고 있으며, 수소 모빌리티 확대를 지원하기 위한 다양한 정책을 추진 중이다. 일례로 한국은 2040년까지 수소차 290만대, 수소충전소 1천200기 이상 확충한다는 계획을 수소경제 로드맵을 통해 발표한 바 있으며, 독일 역시 정부와 기업이 합작해 'H2 모빌리티 인더스트리 이니셔티브'를 설립, 관련 인프라 확대를 꾀하고 있다. 보고서에 따르면, 수소 생산 시장 진출 및 장거리 운행이 가능한 수소 연료전지 자동차(FCEV)생산 협력이 유망한 것으로 나타났다. 한편, AI나 항공우주 산업 같은 미래 첨단기술 분야에서의 협력도 유망하다고 보고서는 강조했다. 산업혁명 4.0 개념을 가장 먼저 도입한 독일은 AI 육성 전략을 2018년 발표한 이래 제조업의 17.3%가 AI를 활용하고 있는 등 제어시스템, 로봇 분야에서 최고의 기술을 보유하고 있는 만큼 협력을 늘려나갈 것을 제안했다. 배터리 분야에서는 EU 전기차 수요 확대에 따라 EU내 배터리 공급이 부족한 상황으로 우리 제품 수출을 확대하는 한편, 일부 국가에 대한 원자재 의존도를 낮추기 위해 리튬이온을 대체하는 새로운 배터리 공동개발(염화이온 등)도 필요하다고 밝혔다. 또한 항공우주 산업 분야가 탄소중립 상용항공기를 목표로 연간 수익의 7%를 R&D에 투자하는 등 발전가능성이 높고, 배터리, 수소 등 항공기 부품 또는 기술 공동 개발 협력도 유망할 것으로 보고서는 내다봤다. 이현진 대외경제정책연구원 선임연구원은 “독일은 친환경 기조와 동시에 에너지, 공급망 다변화를 위한 정책을 펴고 있어 우리가 수소, 풍력 분야나 배터리 공급 부문에서 보완적으로 협력할 수 있는 길이 열려 있다”며 “산업혁명 4.0으로 대변되는 세계 최고의 스마트 제조기술을 가진 독일과 자동차, 기계 등 다양한 분야에서 기술 협력도 늘어날 것으로 기대된다”고 밝혔다. 사회 인프라와 관련하여 디지털 부문에서 독일과 한국의 강점 차이는 명확하다. 독일은 제조업의 디지털화에서 앞서는 반면, 공공서비스 부문에서는 EU 평균에 못 미치고 있다. 범정부 차원의 디지털 전략으로 2025년까지 공공행정, 의료 등의 디지털화를 추진 중이다. 보고서는 이러한 점에서 한국의 세계적인 전자정부 서비스와 상호보완적인 협력이 가능할 것이라고 주장했다. 또한 독일은 재생에너지 활용을 위한 전력망 구축이 중요해짐에 따라 에너지케이블구축법 등을 제정했으며, 총 119개의 신규 송전망 건설 프로젝트가 진행 중이다. 신규 송전망의 길이는 약 1.3만km에 달한다. 또한, 수소 운송을 위해 2028년까지 최소 1천800km의 파이프라인 설치를 추진 중이다. 우리 기업이 해상풍력단지와 독일 내륙을 있는 초고압 케이블을 수주한 사례처럼, 앞으로도 독일의 전력망 인프라 건설 프로젝트에 우리 기업들이 참여해야 한다고 보고서는 제언했다. 이외에도 보고서는 공급망 실사 등 독일이 앞서고 있는 ESG 분야에서 협력을 도모하고, 최근 독일에서 수출 절차를 간소화한 방산 분야 협력도 활성화해야 한다고 제안했다. 우태희 대한상공회의소 상근부회장은 “독일은 유럽 국가 중 우리의 최대 교역국으로 우리 기업은 자동차 등 제조업 중심에서 첨단기술·전자정보통신 분야로 진출을 늘리고 있고, 글로벌 공급망 재편에 따라 판매 중심에서 공급망 거점 구축을 위한 협력이 활발해지고 있다”며, “독일의 재생에너지, 수소, 첨단기술, 인프라 정책에 발맞춰 한국과 독일이 새로운 140년(2023년 수교 140주년)을 함께하는 미래 파트너로 거듭날 수 있기를 바란다”고 말했다.

2024.02.14 16:19류은주

시스코-엔비디아, 'AI 네트워킹' 동맹 체결

시스코와 엔비디아가 인공지능(AI) 네트워킹 인프라 동맹을 체결했다. 시스코는 지난주 암스테르담에서 개최한 '시스코 라이브'에서 엔비디아와 AI 인프라 솔루션 파트너십을 발표했다. 이 파트너십에 따르면, 시스코는 엔비디아 GPU 클러스터에 특수목적 이더넷 네트워킹 기반 솔루션을 제공한다. 엔비디아의 GPU 클러스터를 이더넷 인프라로 확장할 수 있는 솔루션이다. 엔비디아의 텐서코어 GPU는 시스코 UCS-X 시리즈, UCS-X 시리즈 다이렉트 등 시스코 UCS M7 세대 랙 및 블레이드 서버에서 사용가능하다. 각종 AI 관련 프레임워크와 사전훈련 모델, 개발 도구 등을 포함하는 엔비디아 AI 엔터프라이즈를 시스코를 통해 사용할 수 있다. 시스코는 엔비디아와 참조 아키텍처를 공동 검증하고 고객에게 제공한다. 생성 AI 추론을 위한 플렉스포드, 플래시스택용 시스코검증설계(CVD, Cisco Validated Design)를 시작으로 여러 검증 아키텍처가 출시될 예정이다. 시스코는 넥서스 대시보드, 시스코 인터사이트 등을 사용해 엔비디아 GPU 클러스터 운영을 간소화한다. 시스코 사우전드아이즈와 시스코 가시성 플랫폼이 AI 인프라 모니터링을 제공한다. AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. LLM 환경은 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요하다. 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적이다. 현재 엔비디아 GPU 클러스터링의 네트워킹 인프라는 인피니밴드 중심이다. 델오로그룹 분석에 의하면, 전세계 엔비디아 기반 AI 인프라의 90%는 엔비디아 멜라녹스의 인피니밴드를 사용중인 것으로 추정된다. 인피니밴드가 이더넷을 압도하며 AI 인프라에 활용된 건 고대역폭과 안정성 때문이다. 하지만 기술의 발전으로 인피니밴드로만 구현가능했던 부하분산, 안정성, 고대역폭, 저지연시간 등의 요건이 이더넷에서도 충족가능해졌다. AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩 기술인 RDMA는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 시스코의 경우 실리콘원 G200 스위치 ASIC을 통해 고급 혼잡 관리, 패킷 스프레이 기술, 링크 장애 조치 등 AI 환경에 유용한 여러 기능을 제공한다. 이 ASIC의 경우 전력 효율도 우월해 인피니밴드 대비 운영비용을 더 절감할 수 있다. 인피니밴드보다 이더넷을 AI 인프라에 활용할 경우 운영 인력 확보도 더 용이해진다. 인피니밴드와 달리 이더넷은 표준 기술이고 경쟁 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 척 로빈스 시스코 회장 겸 최고경영자는 “AI는 우리가 일하고 생활하는 방식을 근본적으로 변화시키고 있으며, 이러한 규모의 변화로 인해 기업은 인프라를 재고하고 재구축해야 한다는 것을 역사를 통해 알 수 있다”며 "엔비디아와 훌륭한 파트너십을 강화하면 기업은 AI 솔루션을 대규모로 구축, 배포, 관리 및 보호하는 데 필요한 기술과 전문 지식을 갖추게 될 것”이라고 밝혔다. 젠슨 황 엔비디아 CEO는 "모든 기업이 생성 AI를 통해 비즈니스를 혁신하기 위해 경쟁하고 있다"며 “시스코와 긴밀히 협력해 기업이 평생 가장 강력한 기술인 AI의 혜택을 받는 데 필요한 인프라를 그 어느 때보다 쉽게 확보할 수 있도록 만들고 있다”고 강조했다.

2024.02.13 11:56김우용

젠슨 황 엔비디아 "세계 각국, AI 인프라 독자 구축해야"

젠슨 황 엔비디아 CEO가 세계 각국이 독자적인 AI(인공지능) 인프라를 구축해야 함을 강조했다고 로이터통신 등이 12일 보도했다. 이날 두바이에서 열린 '세계정부정상회의(WGS) 2024'에 참석한 황 CEO는 "AI의 경제적 잠재력을 활용하면서 자국의 문화를 보호하려면 모든 국가가 자체 AI 인프라를 보유해야 한다"며 "다른 국가가 그런 일을 하도록 허용해서는 안 된다"고 말했다. 그는 이어 "가능한 한 빨리 AI 산업의 주도권을 잡고, 업계를 활성화하고, 인프라를 구축하는 것은 전적으로 각국 정부에 달렸다"고 덧붙였다. AI 산업의 위험성에 대해서는 "과도한 두려움"이라는 입장을 밝혔다. 황 CEO는 "자동차, 항공 등 다른 신기술 및 산업도 성공적으로 규제된 바 있다"며 "AI에 대한 공포를 부추기면서 아무 것도 하지 않도록 장려하는 사람들은 실수를 하고 있다고 생각한다"고 강조했다. 현재 엔비디아는 AI 구현의 핵심으로 꼽히는 고성능 서버용 GPU(그래픽처리장치) 분야에서 압도적인 시장 점유율을 차지하고 있다. 덕분에 최근 엔비디아의 시가총액은 1조8천200억 달러까지 상승하면서 지난 2002년 이후 처음으로 아마존을 앞지르기도 했다.

2024.02.13 08:49장경윤

김주선 SK하이닉스 사장 "AI 인프라로 첨단 메모리 'No.1' 공략"

"AI 중심의 시장 환경에서는 관성을 벗어난 혁신을 추구해야 한다. 앞으로 AI 인프라 조직이 SK하이닉스가 세계 1위 AI 메모리 공급사로 성장하는 데 있어 든든한 버팀목 역할을 할 수 있게 최선을 다하겠다." 7일 SK하이닉스는 공식 뉴스룸을 통해 'AI 인프라'를 담당하는 김주선 사장과의 인터뷰를 게재했다. 33년간의 현장 경험을 바탕으로 올해 사장으로 승진한 김주선 사장은 SK하이닉스의 신설 조직인 'AI 인프라'의 수장을 맡고 있다. AI 인프라 산하의 GSM(글로벌세일즈&마케팅) 담당도 겸하고 있다. AI 인프라는 AI 기반의 산업 및 서비스를 구축, 테스트, 학습, 배치하기 위해 필요한 하드웨어와 소프트웨어 전반 요소를 뜻한다. SK하이닉스는 AI 인프라 시장의 리더십을 확대하고자 올해 해당 조직을 구성했다. 산하로는 글로벌 사업을 담당하는 GSM, HBM(고대역폭메모리) 사업 중심의 HBM비즈니스, HBM 이후의 미래 제품·시장을 탐색하는 MSR(메모리시스템리서치) 조직이 있다. 이를 기반으로 AI 인프라는 고객별 요구에 맞춰 차별화한 스페셜티(Specialty) 제품을 적기에 공급하고, 거대언어모델(LLM)을 분석해 최적의 메모리를 개발하며, 커스텀 HBM의 콘셉트를 구체화해 차세대 메모리 솔루션을 제안하는 등의 업무를 추진한다. 김주선 사장은 "AI 중심으로 시장이 급격히 변하는 환경에서 기존처럼 일하면 아무것도 이룰 수 없다"며 "관성을 벗어난 혁신을 바탕으로 효율적으로 업무 구조를 재구성하고, 고객의 니즈와 페인 포인트(Pain Point)를 명확히 파악한다면 AI 시장을 우리에게 더 유리한 방향으로 끌고 갈 수 있다"고 밝혔다. 이와 관련해 김주선 사장은 지난 수 년간 GSM 조직을 이끌며 다양한 성과를 거뒀다. 시장 예측 툴 MMI(Memory Market Index)를 개발하고, HBM 수요에 기민하게 대응해 AI 메모리 시장에서 SK하이닉스의 입지를 확고하게 다진 점이 대표적인 사례로 꼽힌다. 김주선 사장은 "MMI 툴을 통해 6개월 이상 앞선 정보를 확보할 수 있었고, HBM 수요에도 적기에 대응할 수 있었다"며 "“AI 시장에서 영향력 있는 기업들과 우호적인 관계를 형성해 놓은 것도 HBM 시장 점유율 1위를 확보할 수 있었던 주요 원인"이라고 설명했다. SK하이닉스의 AI 리더십을 굳히기 위한 강한 의지도 드러냈다. 김주선 사장은 "앞으로도 'AI 메모리는 SK하이닉스'라는 명제에 누구도 의문을 품지 않도록 소통과 파트너십을 강화해 제품의 가치를 극대화하겠다"며 "아울러 SK하이닉스가 글로벌 No.1 AI 메모리 프로바이더로 성장하는 데 있어 든든한 버팀목 역할을 하는 조직을 만들겠다"고 강조했다.

2024.02.07 10:18장경윤

AI 네트워킹, 인피니밴드에서 이더넷으로 대세 바뀐다

챗GPT 등장 후 생성형 인공지능(AI) 기반 서비스가 모든 산업군에 변화를 만들고 있다. AI 기술은 모든 산업의 새로운 먹거리로 인식되는 상황이다. 대기업, 인터넷서비스기업, 클라우드 기업 등은 AI 시장을 선점하려 대대적인 물량 투자와 함께 기업 인프라를 개혁하고 있다. 오늘날 AI 기술은 챗GPT 이전과 이후로 나뉜다고 할 정도다. 챗GPT를 뒷받침하는 트랜스포머 아키텍처는 인간과 소통하듯 '자연스러운' 대규모언어모델(LLM)을 만들어냈다. 그리고 이 '자연스러움'을 더욱더 인간처럼 구현하려면 방대한 규모의 고성능 GPU 클러스터 인프라가 필수적이다. AI 인프라의 근간인 GPU, 서버, 스토리지, 네트워크 등은 수많은 제품을 요구하는 고비용 서비스다. LLM의 경우 GPU 갯수를 늘릴수록 학습 시간을 획기적으로 늘릴 수 있는 구조다. 예를 들어 2년 전 나온 GPT-3.5의 경우 1만개의 GPU로 서비스된다. GPT-3.5를 GPU 한개로 학습시킨다면 약 355년이 필요하다. AI 인프라 기술 그 자체는 전과 크게 달라지지 않았다. AI 인프라가 작은 연산 자원을 대규모로 한대 묶어 성능을 획기적으로 높이는 고성능컴퓨팅(HPC) 기술을 근간으로 한다. HPC 기술은 처음에 CPU를 중심으로 발전하다 21세기 들어 GPU 클러스터로 발전했다. 현재 LLM 학습과 추론을 위한 GPU 시장은 엔비디아 독주 체제다. 엔비디아 텐서코어 H100이나 A100 GPU는 칩셋 하나당 5천만원 내외의 단가로 거래되고, 그마저도 공급부족으로 품귀현상을 보인다. 주문한다고 해도 구하기 쉽지 않고, 가격도 고공행진중이다. 오픈AI의 GPT, 구글 제미나이, 메타 라마 등 유명 LLM의 발전과 출시는 GPU의 빅테크 쏠림과 공급부족 현상을 한층 부추기고, 일반 수요자를 더 안달나게 만든다. 이런 독점 체제를 깨기 위해 AMD, 인텔 등이 경쟁 제품을 속속 출시중이다. ■ AI 인프라에서 네트워킹이 왜 중요한가 AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적인 것이다. 고성능 AI 인프라 수용을 위한 네트워킹은 전통적인 워크로드 수용을 위한 인프라보다 거대할 수밖에 없는 구조다. 노드 내 GPU 간 연산 능력은 4개의 GPU를 내부 버스를 통해 P2P로 연결하는 NV링크 또는 서버 내 8개의 GPU를 연결하기 위해 NV스위치를 통해 극대화 가능하다. 여러 GPU 노드를 클러스트링하고 각 GPU 노드들의 통신 간 병목현상을 최소화하려면 GPU 당 한개의 고성능의 네트워크인터페이스카드(NIC)를 할당하게 된다. 각 NIC는 400Gbps 대역폭을 수용할 수 있어야 한다. GPU 한개에 1대의 400Gbps급 스위치를 연결하게 된다. 400Gbps가 제공되는 고사양의 스위치를 근간으로 2티어에서 3티어 구조의 '리프스파인(Leaf-spine)' 아키텍처를 구성하므로 대형 GPU 노드 클러스터의 경우 최소 수십대의 400Gbps급 스위치가 기본 제공돼야 한다. 엔비디아의 멀티 GPU 클러스터 상품인 '슈퍼팟(SuperPOD)'의 경우 32대의 DGX H100 노드를 최대 256개의 GPU 클러스터링으로 연결하며, 이론적으로 최대 57.8 TBps의 데이터 연산 성능을 제공하게 돼 있다. 따라서 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요해진다. LLM의 경우 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. ■ 왜 인피니밴드보다 이더넷인가 AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩(Off-Loading)기술인 RDMA(Remote Direct Memory Access)는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA(Direct Memory Access)'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 인피니밴드나 RDMA오버컨버지드이더넷(RoCE)를 통해 활용가능하다. 수백개 GPU가 병렬처리를 통해 수백, 수천 시간을 학습하고 빠르게 서비스를 제공하려면 네트워크의 안정성도 중요하다. 잠깐의 방해도 재연산을 하게 만들 수 있다. 과거 네트워킹 기술의 성능과 안정성 면에서 인피니밴드가 이더넷보다 앞선 것으로 여겨져왔다. 인피니밴드가 이더넷의 대역폭을 월등히 앞섰기 때문에 HPC 분야에서 주료 인피니밴드를 활용했었다. 엔비디아 DGX 서버도 이더넷보다 인피니밴드를 장려한다. 안정성의 측면에서 인피니밴드는 패킷 무손실을 전제하지만, 이더넷은 어느정도의 패킷손실을 전제로 한다. LLM 인프라가 HPC 기술을 바탕에 두기 때문에 GPU 클러스터의 네트워킹은 인피니밴드를 주로 쓴다. 만약 앞서 계산했듯 기존 비즈니스 워크로드 대비 3~4배 많은 네트워킹 인프라 물량을 인피니밴드로 구성하면 비용 부담이 적지 않다. 특히 인피니밴드 기술은 제조사 간 경쟁이 사라진 독점 기술이다. 과거 인피니밴드 솔루션을 개발하고 공급해오던 기업들이 하나둘 대형 업체에 흡수되거나 사라졌는데, 마지막 독립 업체로 남아 있던 멜라녹스도 엔비디아에 인수됐다. 지금은 엔비디아가 인피니밴드 기술을 독점 공급하는 상황이다. 공개 표준 기술이 아니므로 인피니밴드 핵심 기술은 비공개다. 발전 방향이나 정도가 엔비디아 결정에 100% 달려있다. 비용 구조도 엔비디아 종속적이다. 심지어 인피니밴드 스위치 공급 부족 현상이 GPU 공급부족보다 더 심각하다는 말까지 나온다. 비용, 기술 모두 특정업체 종속적인 상황에서 인피니밴드는 외부의 여러 워크로드를 LLM에 연동하기 힘들게 하는 장애물이 된다. 인피니밴드를 다룰 줄 아는 전문가는 매우 희귀하며, 기술적 어려운 정도도 매우 높다. AI 인프라에서 인피니밴드가 당연시 된 건 이더넷 기술에 대한 오해 때문이기도 하다. 얼마전까지 인피니밴드는 속도 면에서 이더넷을 앞섰으며, 400Gbps란 대역폭은 인피니밴드의 전유물처럼 여겨졌었다. 하지만, GPU 제조사인 엔비디아도 네트워킹 영역의 무게중심을 인피니밴드에서 이더넷으로 이동하고 있을 정도다. 대부분의 기존 AI 네트워크 인프라는 인피니밴드라는 프로토콜과 특정 업체가 시장을 독점했지만, 이젠 표준 기반 기술을 통해 비용 이슈 제거 및 편리한 운영 관리가 가능한 표준 기반의 RDMA 방식인 RoCE가 인피니밴드 기술을 대체할 것으로 기대된다. 근래 들어 이더넷 진영은 400G, 800G 제품을 선보이면서 인피니밴드와 동등한 성능을 제공하게 됐다. 지금은 인피니밴드나 이더넷이나 현존하는 NIC과 스위치 포트에서 낼 수 있는 최대한의 대역폭이 400Gbps로 똑같다. 이젠 인피니밴드와 이더넷 모두에서 어느정도 동급 성능을 기대할 수 있을 정도로 이더넷 기술의 진화는 뚜렷해졌고 엔비디아의 GPU 성능 테스트 도구인 NCCL을 이용해 인피니밴드와 RoCE를 비교 테스트 결과를 보더라도 대역폭과 지연시간이 동등하거나 약간의 차이만 보일정도로 AI 인프라 영역에서의 이더넷 기술의 상당한 신뢰성을 제공할 수 있는 프로토콜로 발전하고 있다. RoCEv2(버전2)는 인피니밴드의 헤더와 RDMA 기술을 그대로 탑재했으며, TCP 제거, UDP 활용 등을 통해 이더넷 스위치의 지연시간을 개선하고 있다. 안정성 면에서도 PFC, ECN 등 이더넷의 표준 기술로 패킷 손실을 최대한 상쇄할 수 있다. 무엇보다 이더넷은 표준 기술이고 치열한 경쟁을 보이는 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 기술 로드맵상으로도 인피니밴드와 이더넷은 800Gbp란 같은 방향을 가리키고 있는데, 오히려 이더넷의 대역폭 증가가 인비니밴드를 앞선 상황이다. 인피니밴드의 800G 이후 계획은 시점을 확정하지 않은 반면, 이더넷의 800G는 이미 상용화됐다. 2025년이면 1.6Tbps 기반 패브릭 기술 제품도 출시될 것으로 예상된다. 이같은 흐름속에 시스코는 LLM 인프라용 제품으로 넥서스 시리즈 스위치를 제공하고 있다. 네트워킹 프로비저닝과 모니터링에 쓰이는 오케스트레이션 툴 '넥서스 대시보드'는 대규모 AI 인프라의 빠른 구축과 관리를 위해 턴키 기반 자동화와 로스리스 안정성을 보장하는 가시성을 제공한다. 또한 지연시간에 민감한 AI 트래픽의 가시성을 제공하는 분석 도구와 솔루션도 이용가능하다. 시스코는 특히 전용 SoC 칩으로 넥서스 스위치를 구동해 인피니밴드 장비보다 더 적은 전력으로 고성능 AI 인프라를 구동할 수 있다고 강조한다. AI 인프라에서 서서히 독점의 시대가 저물고 있다. 개방형 표준 제품과 기술이 갈수록 높아지는 AI 인프라 투자 및 운영 비용을 절감하고 기업 경쟁력을 높이는 열쇠가 될 것이다.

2024.01.30 16:07김우용

  Prev 1 2 3 4 5 Next  

지금 뜨는 기사

이시각 헤드라인

[단독] "헝그리판다 전자담배 판매 청소년보호법 위반"

하정우 AI수석 "앞으로 3~5년 'AI 골든타임', 국가경쟁력 기여하겠다"

악성코드 없이 공격하는 '고스트 해커' 떴다…"보안 자동화 필수"

'민생 추경' 20조 투입…전국민에 최소 15만원 지급해 경기진작

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현