검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'슈어소프트테크'통합검색 결과 입니다. (6건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[현장] 모비젠, '사일로 해결사' 선언…'그래피오'로 의사결정 OS 꿈꾼다

"우리가 개발한 '그래피오'는 생성형 인공지능(AI)과 온톨로지를 결합해 기업 데이터를 통합하고 멀티에이전트 기반으로 업무를 자율화하는 플랫폼입니다. 기존 시스템의 사일로 문제를 해결하고 조직 전체의 의사결정 과정을 재편하는 것이 목표입니다. 오픈소스 기반으로 유연한 고객 맞춤형 적용을 적극 지원하겠습니다." 엄태덕 모비젠 최고기술책임자(CTO)는 4일 경기도 성남시 그래비티 서울 판교 호텔에서 열린 '2025 슈어 AI 테크 컨퍼런스'에서 이같이 말했다. 이날 행사는 슈어소프트테크가 AI 신뢰성·안전성을 위한 시험평가의 현재와 미래를 조망하기 위해 마련한 자리였다. 이날 행사에서 엄 CTO는 모비젠의 생성형 AI 플랫폼 '그래피오(Graphio)'의 구조와 활용 사례를 공개했다. '그래피오'는 온톨로지 기술과와 생성형 AI를 통합한 에이전트 AI를 통해 기업 데이터의 사일로 문제를 정면 돌파하는 시도다. '그래피오'는 데이터 카탈로그, 온톨로지, 생성형 AI 애플리케이션으로 구성된 3계층 구조다. 데이터는 흩어진 상태 그대로 활용 가능한 메시 구조로 엮은 후 도서관식 분류 체계를 따르는 온톨로지를 통해 정형·비정형 데이터를 통합한다. 이후 기업 고유 프로세스에 맞게 구축된 멀티에이전트 앱에서 질의 응답, 보고서 생성, 시뮬레이션 등을 수행한다. 엄 CTO는 "에이전트는 인간 한 명을 모사하는 기존 AI와 달리 조직 전체의 협업 구조를 시뮬레이션한다"며 "상황 인식, 의사결정, 실행에 이르는 일련의 행위를 각각 특화된 AI가 수행하고 이를 마스터 에이전트가 조정하는 방식"이라고 설명했다. 이를 통해 '그래피오'는 특정 부서 단위의 자동화를 넘어 기업 전체 프로세스를 연결하고 재편하는 수준의 자동화를 지향한다. 현장에서는 실제 기업 업무에 적용한 두 개의 사례가 소개됐다. 첫 번째는 수주형 제조업체가 사업제안서(RFP) 분석부터 작성까지 자동화한 케이스다. 사용자가 적합한 사업 조건을 자연어로 입력하면 에이전트가 유사 사업을 분석해 제안서를 구조화하고 기존 문서를 기반으로 전체 문서 생성을 지원한다. 각 단계에서 추출한 메타데이터는 온톨로지로 정리돼 추론 기반 답변이 가능하다. 또 다른 사례는 국방 유무인 복합체계(MUM-T)에 대한 적용 사례였다. 무인정찰기(UAV), 전차 등 다수의 전투체계를 하나의 팀으로 운용하는 상황을 가정해 '이상탐지-상황분석-작전계획-결과보고'의 전투 시나리오를 시뮬레이션 형태로 구현했다. 엄 CTO는 "이 때 에이전트들은 전투 절차 문서를 기반으로 역할이 분화돼 있다"며 "마스터 에이전트의 요청에 따라 적절한 AI 모델과 데이터를 호출해 응답하는 구조"라고 말했다. "이어 "해당 기술을 국방뿐 아니라 로보틱스, 금융, 제조, 의료 등에도 확장할 계획"이라고 말했다. 특히 팔란티어가 전용 기술로 제한된 데 비해 이 회사는 오픈소스 기반으로 고객 맞춤형 서비스를 노릴 계획이다. 사용자 인터페이스는 '챗GPT'와 유사한 포털형 구조로, 데이터 기반 지도, 리포트, 그래프 등을 함께 표시할 수 있도록 설계됐다. 엄태덕 모비젠 CTO는 "우리 기술은 단순한 자동화 도구가 아니라 데이터를 기반으로 조직 전체의 의사결정 흐름을 재편할 수 있는 전략 기술"이라며 "'그래피오'는 이를 가능하게 하는 데이터 운영 시스템을 목표로 개발됐다"고 말했다.

2025.06.04 16:18조이환

[현장] "글로벌 규제, 민간이 막는다"…한국형 신뢰성 'AI 마스터 인증' 공개

한국인공지능산업협회(AIIA)가 민간 주도의 인공지능(AI) 신뢰성 인증제도 'AI 마스터'를 공개했다. AI 모델의 윤리성과 강건성을 체계적으로 검증하는 방식으로, 국내외 규제 환경 변화에 선제적으로 대응하겠다는 의도다. 한국인공지능산업협회는 4일 경기도 성남시 그래비티 서울 판교 호텔에서 열린 '2025 슈어 AI 테크 컨퍼런스'에서 'AI 마스터 인증 프레임워크'를 발표했다. 슈어소프트테크가 개최한 이 행사에서 김태형 본부장은 인증의 배경과 평가 항목, 절차, 향후 계획 등을 직접 설명했다. 인증 체계는 협회가 사무국을 맡고 셀렉트스타와 슈어소프트테크가 시험기관으로 참여하며 평가 결과는 독립된 인증위원회가 심의한다. 'AI 마스터'의 추진 배경에는 전 세계적 AI 규제 재편 흐름이 있다. 유럽연합(EU)은 고위험 AI를 등급별로 분류해 위반 시 최대 30만 유로(한화 약 5억원) 과징금을 부과하는 'EU AI 법'을 세계 최초로 통과시켰다. 반대로 미국은 민간 자율 규제를 통해 기술 주도권 유지를 노리는 방향이다. 한국은 이 양 극단의 중간 지점에서 정부가 AI를 진흥하는 동시에 규제하는 AI 기본법을 지난해 말 통과시켰다. 김 본부장은 "이 가운데 우리가 내놓은 'AI 마스터'는 이 구조에서 실제 운영 가능한 민간 인증 체계를 만드는 시도"라고 말했다. AI 마스터의 기반은 '신뢰할 수 있는 AI(Trustworthy AI)' 프레임워크다. 이는 EU AI 법안의 철학적 근간으로, 인간의 기본권을 존중하기 위한 적법성, 윤리성, 견고성을 핵심 요구사항으로 제시한다. 협회는 이를 토대로 국제 표준, AI 기본법, 과학기술정보통신부 가이드라인을 통합해 평가 기준을 설계했다. 평가 항목은 총 63개이며 문서, 시험, 데이터 세 영역에서 검증이 이뤄진다. 시험평가는 기능성, 성능, 강건성을 다룬다. AI 시스템이 의도한 기능을 수행하는지와 비정상 입력에도 안정적으로 작동하는지를 자동화된 절차로 검증한다. 전체 항목의 60%는 자동화 도구를 통해 빠르게 처리된다. 성능은 정밀도, 재현율 등으로 측정되며 강건성은 노이즈 데이터에 대한 반응을 기준으로 한다. 생성형 AI는 별도 기준으로 다뤄진다. 협회는 생성형 모델의 고정관념 반영, 과소대표성, 편향 등을 점수화하고 이를 기반으로 검증 절차를 설계했다. 생성된 결과가 사회적 고정관념을 그대로 반영하거나 왜곡된 상황에서도 일관된 출력을 내는지를 중점 평가한다. 이 인증은 내년 시행될 AI 기본법과 연동돼 설계됐다. 협회는 매월 발행되는 해외 연구 결과와 국제 표준을 반영해 인증 기준을 업데이트하고 글로벌 상호인정 체계도 구축하겠다는 방침이다. 정부 연구개발(R&D) 기준으로도 활용될 수 있도록 제도 활용 범위도 넓혔다. 김태형 한국인공지능산업협회 본부장은 "'AI 마스터'는 국내 법령과 국제 기준을 모두 반영한 구조"라며 "글로벌 실효성을 확보한 인증으로 발전시켜 국내 AI 산업의 신뢰 기반을 구축하겠다"고 밝혔다.

2025.06.04 15:50조이환

[현장] 車·원전·방산 SW 검증 강자 슈어소프트테크, AI 시장 겨냥한 新무기 꺼냈다

"소프트웨어로 더 안전한 세상을 만드는 기업이 되겠습니다." 올해 23주년을 맞은 슈어소프트테크가 이 같은 비전을 앞세워 소프트웨어(SW) 자동화 검증 플랫폼 기업을 넘어 빅데이터, 인공지능(AI), 소프트웨어 개발 등에서 다양한 성장 동력을 키워나갈 것이란 포부를 드러냈다. 특히 AI의 신뢰성, 안전성을 기반으로 기술력을 끌어 올려 시장 주도권을 확보해나간다는 방침이다. 배현섭 슈어소프트테크 대표는 4일 경기도 성남시 그래비티조선서울판교에서 진행된 '2025 슈어 AI 테크 컨퍼런스'에 참여해 "지금까지 걸어온 검증 기술이라는 길 위에서 다가오는 AI 시대를 맞아 신뢰성, 안전성을 확보하기 위해 어떻게 나서야 할 지 고민을 한 끝에 이 자리를 마련했다"며 "기술 패러다임이 완전히 전환되고 있는 시점에서 AI 적용 범위가 자율주행뿐 아니라 국방, 금융, 의료 등 다양한 분야로 확장되며 검증되지 않은 AI가 초래할 수 있는 위험에 대해 짚어볼 필요가 있다고 생각했다"고 운을 띄웠다. 이어 "신뢰할 수 있는 AI 기술에 대한 필요성이 더 높아지며 영국, 미국, 일본, 유럽연합(EU) 등에선 AI의 신뢰성과 안전성 연구 기관을 앞다퉈 설립하고 있고, 우리나라도 AI안전연구소를 개설한 상황"이라며 "범국가적 노력과 더불어 민간 영역에서도 AI 기술을 검증하고 활용하려는 노력이 치열하게 전개되고 있는 상황에서 우리 회사도 중요한 역할을 하고자 한다"고 덧붙였다. 이를 위해 배 대표는 AI 시대를 맞아 ▲테스트 바이 AI(Test by AI) ▲테스트 오브 AI(Test of AI) 등 두 가지 주제를 앞세워 슈어소프트테크의 새로운 기술을 선보였다. 테스트 바이 AI는 슈어소프트테크가 기존에 했던 여러 종류의 시험들에 AI를 접목함으로써 사람이 저지를 수 있는 여러가지 실수를 배제하고 더 효율적이고 정교하게 업무를 수행할 수 있게 하는 개념이다. 테스트 오브 AI는 자체 검증을 통해 안전하고 신뢰할 수 있을 뿐 아니라 윤리적으로 문제가 없는 AI를 활용할 수 있도록 돕는다는 의미다. 이 개념을 토대로 슈어소프트테크는 이날 콘퍼런스에서 ▲AI 에이전트 '알리라-AI(ALIRA-AI)'와 ▲AI 검증 서비스인 '베리파이-엠(VERIFY-M)'을 처음 공개했다. '알리라-AI'는 생성형 AI 기술과 에이전틱 AI 기술을 활용해 SW 테스트 전반의 작업 생산성을 향상 시킬 수 있는 '테스트 바이 AI 솔루션'이다. '베리파이-엠'은 AI 모델을 신뢰할 수 있도록 시험하고 평가하는 것을 지원하는 '테스트 오브 AI 솔루션'이다. 슈어소프트테크는 이를 선보이기 위해 오픈AI의 '챗GPT'가 등장하기 시작한 직후부터 AI 전담팀을 구성해 솔루션 개발에 주력해왔다. 특히 에이전트 AI, 피지컬 AI로 넘어가기 시작하는 AI 트렌드에 발 맞춰 이에 걸맞는 솔루션을 앞세워 제조 영역에서 정확도 높은 AI 기술 도입 확산을 이끌겠다는 의지도 다졌다. 이번에 공개된 '알리라-AI'는 그 결과물로, 기존 AI 에이전트 개념을 벗어나 산업별로 특화된 앱 형태의 솔루션이란 점에서 많은 기업들의 관심을 받고 있다. 이 솔루션은 ▲기존 V&V(SW 확인·검증) 솔루션의 생산성·지능성을 개선해주는 'AI-이네이블드 테스트 오토메이션(AI-Enabled Test Automation)' ▲복합 태스크에 집중된 개발 환경에 맞춘 '태스크 특화 생산성 도구' ▲SW 공학 태스크를 위한 AI 앱 '알리라-AI 허브' ▲서비스 파이프라인을 구성하는 '알리라-AI 커스텀 파이프라인' 등 4가지 구성 요소로 이뤄져있다. 현재 슈어소프트테크의 주요 고객사인 현대자동차 등에서 이 솔루션을 활용 중으로, 적용 시 인력뿐 아니라 비용, 시간 절감 효과가 30%가량인 것으로 파악됐다. '베리파이-엠'도 최근 국내외에서 '신뢰할 수 있는 AI(Trustworthy AI)'에 대한 수요가 많아짐에 따라 공개 전부터 여러 기업에서 관심을 보이고 있는 상태다. 국내 주요 통신사와 자동차 업체, 공공기관, 국방 등에선 이미 슈어소프트테크와 '베리파이-엠' 활용에 대해 협업을 추진 중인 것으로 알려졌다. '베리파이-엠'은 ▲AI 모델에 대한 메타모픽 시험 평가 ▲DL모델 화이트박스 테스트 ▲표준 기반 ML 모델 평가 지표 계산 ▲텐서플로우 등 모델에 대한 다양한 포맷 지원 등을 통해 AI를 평가·검증한다. 현재 AI 검증 솔루션은 국내외서 많지 않은 상태지만, 관련 시장이 급속도로 성장하고 있다는 점에서 '베리파이-엠'이 슈어소프트테크에 좋은 성장 동력이 될 것으로 기대된다. 업계에선 AI 모델 리스크 관리 시장이 지난 2023년 약 54억8천만 달러에서 2030년까지 연평균 12.8%씩 성장할 것으로 전망하고 있다. 업계 관계자는 "AI 기술의 확산과 함께 신뢰성, 정확성, 윤리성 확보에 대한 요구가 증가하고 있다"며 "특히 금융, 헬스케어, 자율주행 등 고위험 분야에서의 AI 활용이 확대되면서 관련 솔루션과 서비스에 대한 수요도 급증하고 있다"고 분석했다. 슈어소프트테크 관계자는 "'베리파이-엠'은 평가 도구의 60% 이상을 자동화를 적용해 빠르게 검증할 수 있다는 것이 장점"이라며 "앞으로도 AI 소프트웨어를 위해 선도적이고 중요한 책임을 수행함으로써 안전하고 신뢰성 있는 AI 발전에 기여하고자 노력할 것"이라고 강조했다. 슈어소프트테크는 '알리라-AI'와 '베리파이-엠'을 앞세워 '미션 크리티컬 SW 검증' 시장을 넘어 AI 시장에서도 승기를 잡겠다는 각오다. 또 올해 전체 매출의 5%가량을 AI로 채운 후 향후 30~40%까지 비중을 확대한다는 계획이다. 배 대표는 "AI 기반 서비스가 굉장히 많이 출현하고 있는 상황에서 안전하고 신뢰할 만한지, 윤리적으로는 문제가 없는지에 대해 충분히 고민하고 내놓은 솔루션"이라며 "2년 전 상장한 후 미래를 위해 꾸준히 성장하기 위해 노력해왔던 상태로, 이번에 공개한 AI 솔루션들이 앞으로 회사의 미래 성장 동력이 될 것으로 믿는다"고 밝혔다.

2025.06.04 14:42장유미

[현장] 육군시험평가단 "기술 발전·저출산 극복, AI 신뢰성 필수"…新 무기 시험체계 구축

"과학기술 발전에 대응하고 인구절벽 시대를 극복하기 위해서는 인공지능(AI)의 신뢰성 확보가 필수적입니다. 이에 우리는 AI 무기체계의 신뢰성을 확보하기 위한 새로운 시험평가 체계를 개발하고 있습니다. AI는 전력화 이후에도 지속적으로 학습하고 성능이 변화하기 때문에 기존의 실물 시험 방식만으로는 충분하지 않습니다." 김강민 육군시험평가단 중령은 4일 경기도 성남시 그래비티 서울 판교 호텔에서 열린 '2025 슈어 AI 테크 컨퍼런스'에서 이같이 말했다. 이날 행사는 슈어소프트테크가 AI 신뢰성·안전성을 위한 시험평가의 현재와 미래를 조망하기 위해 마련한 자리였다. 김 중령은 이날 발표에서 군이 자체적으로 설계한 AI 시험평가 절차, 데이터셋 운영 구조, 향후 추진 계획 등을 소개했다. 그는 AI 기반 무기체계의 신뢰성을 확보하기 위해 기존의 단발성 시험에서 벗어나 반복 가능하고 정량적인 평가 체계로의 전환이 필요하다고 강조했다. 육군의 AI 시험평가 절차는 여러 단계로 구성돼 있다. 먼저 AI 성능평가용 데이터셋을 활용해 기본 성능을 확인하고 보안 검토를 마친 군 전용 데이터를 이용해 추가 학습을 진행한다. 이후 실제 운용 환경에서 수집한 데이터를 기반으로 다시 한 번 성능을 평가한다. 더불어 육군은 수집된 데이터를 학습용과 검증용으로 나눈다. 모델의 성능 향상 여부를 정량적으로 검증하고 마지막으로는 전체 무기체계를 대상으로 체계 수준의 시험평가를 실시하기 위함이다. 이 같은 절차는 AI 모델이 실시간으로 변화하는 특성을 반영하기 위한 구조다. 이 과정에서 가장 중요한 핵심은 시험평가 전용 데이터셋의 품질이다. 군 작전 환경은 민간과 달리 예측 불가능하고 비정형적인 경우가 많아 일반적인 데이터로는 실효성 있는 평가가 어렵기 때문이다. 김 중령은 "우리는 수십만 장 분량의 데이터를 프레임 단위로 정제했다"며 "이 중 일부는 평가용, 나머지 일부는 학습용으로 구성했다"고 설명했다. 이어 "다양한 전술 환경, 객체 자세, 복장, 기상 조건 등을 반영해 실전과 유사한 조건에서 AI 성능을 평가하도록 지원하고 이 데이터셋은 제3기관의 검수를 거쳐 품질 검증도 완료됐다"고 밝혔다. AI 데이터셋의 다변화와 품질 보강을 위한 연구도 병행되고 있다. 김 중령에 따르면 육군은 향후 생성형 멀티모달 AI와 비전-언어 모델(VLM)을 결합해 부족한 데이터 유형을 보강하는 방식을 도입할 계획이다. 일례로, "낮에 걷는 일반 병사의 영상은 풍부하지만 눈 오는 밤에 포복하는 병사의 영상은 부족하다"는 품질 평가 결과를 프롬프트로 삼아 해당 조건을 보완하는 합성 데이터를 생성하겠다는 계획이다. 올해 시험평가단은 AI 무기체계 성능평가를 전담하는 조직을 신설했다. 내년부터는 주요 전력화 사업에 이 평가 절차를 실전 적용할 예정이다. 김 중령은 발표에서 "AI 신뢰성 검증은 단순히 기능 평가가 아니라 작전 환경에서 실제 사용 가능한지를 판단하는 핵심 요건"이라고 강조했다. 이어 "AI가 실물보다 데이터 기반으로 평가돼야 한다는 전환적 인식이 필요하다"고 덧붙였다. AI 강건성 평가 체계도 구체적으로 소개됐다. 이 체계는 AI 모델이 적대적 환경에서도 신뢰할 수 있는 성능을 유지하는지 시나리오별로 검증하고 향후에는 뉴런 커버리지 기반의 내부 구조 분석까지 확대한다. 이는 경량화된 AI 모델이 엣지 디바이스에서 안정적으로 작동해야 하는 군 운용 조건을 반영한 조치다. 김강민 중령은 "지금은 기술이 개념을 끌고 가는 시대"라며 "과거처럼 개념을 먼저 세우고 기술을 따라오게 하는 방식으론 늦다"고 강조했다. 이어 "AI 무기체계는 실물 무기가 아니라 알고리즘의 무기로, 검증과 신뢰 확보는 데이터와 실전 환경이 핵심"이라고 말했다.

2025.06.04 14:42조이환

새 정부 출범, 'AI 100조' 시대 열린다…AI 안전연구소 "G3 도약, 신뢰성 확보가 핵심"

"새 정부가 들어선 가운데 100조 규모의 인공지능(AI) 투자 공약이 조명되고 있습니다. 이같은 진흥책의 추진과 동시에 기술이 초래할 수 있는 리스크를 관리해야 산업의 지속성과 확장성이 확보됩니다. 미래 세대의 먹거리를 위한 철저한 안전 설계를 위해 적극적으로 지원하겠습니다." 김명주 AI 안전연구소장은 4일 경기도 판교 그래비티 조선 서울에서 열린 '2025 슈어 AI 테크 컨퍼런스'에 참가해 이재명 대통령 당선에 따른 연구소의 방향성에 대한 기자의 질문에 이같이 말했다. 이번 행사는 슈어소프트테크가 AI 검증 기술의 현재와 미래를 공유하고 산업 전반의 안전 및 신뢰성 확보 전략을 모색하기 위해 마련한 자리다. 김 소장에 따르면 한국 AI 연구소는 세계 여섯 번째로 출범한 AI 안전기관이다. 지난해 11월 국내에서 최초로 설립된 이 기관은 영국, 미국, 일본, 싱가포르, 프랑스 등 10여 개국이 운영하는 AI 안전연구소들과 함께 글로벌 위험 기준 마련과 평가 체계 구축을 위한 협력에 참여하고 있다. 이날 발표는 AI 산업의 변곡점을 만든 역사적 사건들에 대한 회고로 시작됐다. 김 소장은 지난 2023년 처음 등장한 '챗GPT'가 산업의 방향성을 근본적으로 바꿨다고 진단했다. 출시 두 달 만에 1억명 사용자를 돌파한 '챗GPT'는 초기엔 '검색엔진 종말론'을 불러올 정도의 파괴력을 보였고 이에 구글은 마이크로소프트(MS)와의 검색 점유율 격차 축소를 우려해 급히 '바드'를 출시하며 글로벌 기술 경쟁이 본격화됐다. 김 소장은 "이 과정에서 구글의 AI 부사장이자 딥러닝 창시자인 제프리 힌턴이 안전성을 우려해 사임했다"며 "당시 구글은 자체 개발한 '람다' 모델의 위험성을 인지하고도 경쟁에서 밀릴까 봐 결국 공개를 강행했다"고 말했다. 이어 "통제 수단 없이 기술을 출시한 결정은 거버넌스 부재 상태에서 진행되는 AI 개발의 한계를 보여준 사례"라고 분석했다. 이어 그는 AI의 잠재 리스크를 인식한 글로벌 과학자 그룹이 지난 2023년 '개발 중단 서한'을 발표했던 사례도 언급했다. 미래생명연구소(FLI)의 주도로 작성된 이 서한에는 일론 머스크, 유발 하라리 등 주요 인사가 참여했으나 실제 개발 중단으로 이어지지는 않았다. 다만 이 서한을 계기로 미국, 유럽, 한국에서 본격적인 AI 규제 입법이 추진되기 시작했다. 실제로 AI 리스크에 대한 실증적 접근은 확대되고 있다. 매사추세츠 공대(MIT)는 증거 기반 리스크 저장소(Risk Repository)를 통해 1천800개 이상의 사례를 유형별로 정리했다. 이 중 AI가 직접 야기한 사례는 전체의 34%에 달한다. 김 소장은 "이 자료를 바탕으로 한국형 리스크 분류체계를 세분화하고 있다"며 "이달 말 200~300개 항목의 1차 리스크 맵을 공개할 계획"이라고 밝혔다. 그는 영국 AI안전연구소가 최근 발표한 분류체계도 언급했다. 이 체계는 ▲기술적 결함(Malfunction) ▲악의적 활용(Misuse) ▲사회 구조적 영향(systemic Impact)으로 위험을 구한다. 이는 각각 AI 개발 오류, 사용자의 악의적 활용, 노동시장이나 정치 등 사회적 외부효과로 이어지는 위험을 뜻한다. 이 같은 글로벌 기준을 토대로 국내 AI안전연구소도 평가모델을 정비 중이다. 구체적으로는 리스크 맵 기반으로 모델을 개별 테스트하고 그 결과를 전문가나 AI가 자동으로 평가해 통합 보고서를 작성하는 프로세스를 도입한다. 이 보고서는 각 위험에 대한 정책적 기술적 완화 방안까지 제시한다. 실제 사례로는 지난 2월 연구소가 중국계 AI 모델 '딥시크'에 대해 긴급 대응한 사례가 소개됐다. 이 모델은 중국 사회주의 체제에 불리한 질문에 답변하지 않는 등 편향성을 드러냈으며 연구소는 이를 설 휴가를 중단한 후 즉시 분석해 과학기술정보통신부에 보고서를 제출했다. 보고서에는 편향 제거를 위한 기술적 보정 방안이 포함됐다. AI 안전 평가의 기준 역시 지속적으로 진화하고 있다. 기존 소프트웨어의 안전성 검증이 기능 성능 보장에 집중됐다면 AI 평가에서는 개발자의 의도와 상관없는 오용 가능성까지 고려한 '건전성' 개념이 확대되고 있다. 유럽연합은 이 개념을 '신뢰성(Trustworthiness)'으로 확장해 기술의 사회적 수용 가능성까지 평가 대상에 포함시켰다. 이에 따라 각국은 AI 인증 체계 구축에 속도를 내는 상황이다. 영국은 이를 위해 지난 2023년 세운 AI 안전연구소의 명칭을 올해 초 'AI 보안연구소'로 변경했다. 현재 미국, 프랑스, 싱가포르, 케냐 등도 자체 안전연구소를 통해 여러 사업을 추진 중이다. 대선이 끝나 이재명 대통령이 취임한 가운데 향후 AI 정책을 위한 제언에 대해 묻는 기자의 질문에 김 소장은 "AI 산업이 장기적 지속 가능성과 확장성을 확보하라면 진흥과 함께 리스크 관리가 병행돼야 한다"며 "이를 위해서는 안전 설계를 처음부터 고려해야 한다"고 말했다. 이어 "우리는 선제적으로 리스크 완화 방안을 제안해 철저히 지원할 계획"이라고 밝혔다. 김 소장은 지난해 AI안전연구소 초대 소장으로 부임해 오는 2027년까지 임기를 이어갈 예정이다. 연구소는 과학기술정보통신부와 대통령실 등 정부 유관 부처와 함께 리스크 완화 방안 마련을 위한 협업을 지속할 것으로 전망된다. 기업과의 협력도 병행 중이다. 최근 LG전자와 AI 안전을 위한 파트너십을 맺었으며 해외 주요 기업들과도 공동 평가 및 안전 기준 정립을 위한 협력을 추진하고 있다. 참여 기업들은 자사 AI 시스템의 신뢰성과 안전성을 확보하기 위해 연구소와 함께 검증 체계를 구축하고 있다. 김 소장은 "우리는 평가기관을 넘어 국내 AI 기업의 국제 경쟁력 확보를 위한 전략적 거점이 되고자 한다"며 "향후 국내 기업의 해외 진출 시 안전보고서를 통해 신뢰성을 높일 수 있도록 적극 지원하겠다"고 밝혔다.

2025.06.04 13:50조이환

"한 번 오류가 인명피해로"…자동차·의료, 어떻게 장애 방지할까?

군사, 의료 등 한 번의 장애가 인명피해까지 이어질 수 있는 산업 분야에서 사고를 방지하기 위한 방법이 제14회 소프트웨어 개발보안 컨퍼런스에서 소개됐다. 슈어소프트테크 심정민 상무이사는 6일 서울 강남구 섬유센터에서 열린 '제14회 소프트웨어 개발보안 컨퍼런스'에서 미션크리티컬 분야에서 소프트웨어(SW) 개발 보안의 중요성과 대응 방법에 대해 소개했다. 미션 크리티컬 업무는 한 번의 실수가 치명적인 피해로 이어질 수 있어 고신뢰성이 요구되는 기술 분야로 자동차, 원자력, 국방, 의료 등이 속한다. 슈어소프트테크는 미션크리티컬한 분야에서 SW의 안전성과 보안을 확보하기 위한 솔루션과 서비스를 제공하는 기업이다. 심 상무는 "미션크리티컬한 분야의 SW는 오류 발생 시 경제적 손실을 넘어 인명 피해 가능성이 있다"며 "더욱 엄격한 안전 및 보안 관리가 요구된다"고 강조했다. 이어 "안전한 SW 개발을 위해선 기능 안전과 사이버 보안이 핵심 요소로 각 특성을 이해하고 이를 통합 운영 및 관리할 수 있는 환경을 구축해야 한다"고 덧붙였다. 안전은 자연재해나 시스템장애 등 사고로 인한 예기치 못한 위험을 예방하는 것이며 보안은 사이버공격 등 의도적인 외부 위협에 대한 방어를 의미한다. 안전 사고의 예로는 방사선을 이용하는 의료기기에서 발생한 SW 장애가 있다. SW오류로 필터 작동에 문제가 생기면서 방사선이 과도하게 방출돼 일부환자가 사망하거나 장애를 입은 바 있다. 2013년 도요타의 캠리도 SW 오류로 인한 차량 급발진 사고로 1천200만 대 이상의 차량을 리콜했다. 이로 인해 2조4천억원의 리콜 비용이 발생했을 뿐 아니라 리콜 지연으로 인한 1조2천억원도 부과했다. 보안은 외부공격으로 인한 오류로 랜섬웨어 등 금전적인 이득이나 정치적인 목적을 가진 외부 조직의 공격이 주를 이룬다. 대표적으로 이란의 원자력 발전소가 해킹으로 인해 약 2년간 가동이 중단된 바 있다. 이 사건은 단순히 경제적 손실을 넘어 국가 주요 인프라를 공격해 국가 안보를 위협해 주목받았다. 심 상무는 이러한 사고를 방지하기 위해선 개발 과정에서 기능 안전과 사이버 보안을 통합적으로 다룰 수 있는 표준화된 개발 프로세스를 구축하는 것이 중요하다고 강조했다. IEC 61508 같은 안전 표준과 사이버 보안 표준을 기반으로 하여 각 단계에서 요구되는 절차를 통합적으로 적용함으로써, 소프트웨어의 신뢰성을 높일 수 있다는 설명이다. 더불어 특정 SW가 잘못 동작할 경우의 위험 수준 확인할 수 있는 위협 모델링과 장애로 인한 영향을 사전에 확인할 수 있는 리스크 분석을 동시에 진행할 것을 권했다. 이를 통해 잠재적인 보안 위협이 안전을 저해하지 않도록 예방할 수 있으며 시스템의 취약점을 조기에 파악하고 보완할 수 있다는 것이다. 그는 "자동차 등의 분야에서는 각 시스템의 안전 등급을 정해 이에 맞는 설계와 시험을 거치고 규정화하고 있다"며 "이런 표준을 제대로 준수하고 모든 기능을 면밀하게 검토해 오류를 사전에 방지해야 한다"고 강조했다. 이와 함께 심 상무는 휴먼에러를 최소화할 것을 조언했다. 코드 작성 중 현재 작성 중인 내용와 개발의도를 명확하게 표기해 추후 수정 과정에서 담당자가 혼란을 겪거나 불필요한 추가 업무가 발생하는 것을 방지하기 위함이다. 그는 "코드를 작성한 이후 다시 SW를 수정하거나 기능을 추가할 때 내가 해당 코드를 어떤 의도로 만들었는지 헷갈리지 않도록 만드는 것이 중요하다"며 "이런 코드를 방치할 경우 불필요한 리소스가 늘어나며 치명적인 안전사고로 이어지거나 보안 취약점으로 작동할 가능성이 높다"고 설명했다. 더불어 그는 AI, 클라우드 등의 기술이 전 산업에 걸쳐 도입되는 만큼 보안의 중요성이 앞으로 더욱 커질 것이라고 전망했다. 이와 함께 각 산업 분야에 맞춰 최적화된 보안 서비스를 구축하기 위해 다양한 기술적 지식도 학습할 것을 조언했다. 심정민 상무는 "앞으로 보안은 IT분야를 넘어 다양한 분야로 확대되고 있는 만큼 예상하는 것보다 더 다양한 분야에서 보안의 취업문이 넓어지고 있다"며 "다만 보안은 독립적인 서비스가 아니라 각 산업 기술과 연계되는 만큼 관련 기술까지 이해한다면 그만큼 경쟁력을 확보할 수 있을 것"이라며 발표를 마쳤다.

2024.11.06 18:21남혁우