의정부차장검사출신변호사 오픈AI도 “너무 똑똑해서 위험, 차세대 모델 개발 일부 중단”…‘AI 안전’ 모델 경쟁 변수로
페이지 정보
작성자 또또링3 댓글 0건 조회 44회 작성일 26-08-13 16:05본문
의정부차장검사출신변호사 오픈AI가 안전 검증을 통과할 때까지 차세대 인공지능(AI) 모델의 개발 활동 일부를 잠정 중단하기로 했다. AI가 사람의 지시 없이 해킹 등 위험 행동을 할 수 있다는 우려가 커진 데 따른 것이다. AI가 똑똑해질수록 인간의 통제 범위를 벗어나 위험한 시도를 하는 빈도도 늘고 있는데, 향후 안정성 확보가 AI 개발의 핵심 변수로 떠오를 것이라는 전망도 나온다.
오픈AI는 지난 8일 차세대 AI 모델 ‘아스트라’의 사이버 공격 능력이 자체 최고 위험등급인 ‘심각’에 이를 가능성이 있다며 통제 기준을 충족하지 못한 개발 작업을 중단한다고 밝혔다. 심각 단계는 AI가 사람의 도움 없이 중대한 취약점을 찾아 공격하거나 복잡한 사이버 공격을 수행할 수 있는 수준이다. 오픈AI는 향후 정부 기관과 외부 안전기관에 평가를 맡길 계획이다.
최근 AI가 평가 과정에서 인간의 통제 범위를 벗어난 사례가 잇따르고 있다. 오픈AI는 지난달 21일 최신 모델 GPT-5.6 솔과 미공개 모델이 실험 과정에서 격리환경(샌드박스)을 벗어나 오픈소스 AI 플랫폼인 허깅페이스 시스템에 침투한 사실을 공개했다. 일부 안전장치를 해제해놓은 상태이기는 했지만 이후 AI 모델의 행동을 예측하지 못했다는 점에서 문제가 커졌다. 로이터에 따르면 해당 모델은 수일간 인터넷과 외부계정을 오가며 활동했지만 오픈AI는 그 사실을 파악하지 못했다.
앤트로픽도 지난달 30일 그간 평가기록을 검토한 결과 클로드가 지난 4월부터 모의 해킹 실험 과정에서 기업 3곳의 시스템에 무단 접근했다고 밝혔다. 피해 기업 2곳은 앤트로픽의 통보 전까지 침입 사실을 파악하지 못했다. 중국 AI 개발사 문샷AI가 최근 공개한 키미 K3 역시 지난 6일 평가환경에서 네트워크 허점을 이용해 개발자 커뮤니티 깃허브에서 시험 정보를 빼내는 ‘부정행위’를 벌였다.
AI의 일탈이 늘어난 배경으로 AI의 ‘에이전트화’가 꼽힌다. 에이전트형 모델은 여러 단계의 작업을 스스로 계획하고 실패하면 다른 경로를 탐색해 목표를 수행한다. 각각의 행동이 정상처럼 보여도 행동이 연결되는 과정에서 새롭게 문제가 발생할 수 있다. 사람의 직접 지시가 없이도 AI가 자체적으로 판단해 부정행위를 벌일 가능성도 커진다.
문제는 아직 AI 안전장치가 이를 충분히 따라가지 못하고 있다는 점이다. 영국 AI안전연구소(AISI)는 최근 시행한 시험에서 엔트로픽과 구글 딥마인드의 AI 에이전트 감시 시스템에서 모두 ‘우회 취약점’을 발견했다고 밝혔다. 가장 앞선 수준의 프런티어 AI가 자율적으로 수행할 수 있는 사이버 작업의 길이가 약 5개월마다 두 배씩 늘고 있지만 AI 개발사들의 안전장치가 주로 ‘개별 행위’를 차단하는 데 머물고 있다는 지적도 나온다. 오픈AI는 허깅페이스 사태를 파악한 뒤에야 에이전트의 전체 작업경로를 추적하는 감시체계를 새로 도입한다고 밝혔다.
각국 정부도 규제 강화를 저울질하고 있다. 백악관은 지난 4일 오픈AI와 앤트로픽·구글·메타 관계자를 불러 프런티어 모델의 안전성 평가 방안을 논의했다. 미국 의회에는 AI가 인간의 감독을 회피하거나 안전장치를 우회하는 등 위험 행동을 하면 개발사가 상무부에 보고하도록 하는 법안도 발의돼 있다. 유럽연합(EU)도 지난 2일부터 AI법에 따라 고성능 범용 AI 모델에 대한 감독과 과징금 부과를 본격화했다.
AI 모델의 성능 개선 속도 못지 않게 안전성을 얼마나 빨리 검증할 수 있느냐가 새로운 경쟁 변수로 부상할 것으로 보인다. 인재 경쟁도 불 붙고 있다. 오픈AI는 지난달 올해 필즈상 수상자인 제이콥 치머만을 안전 조직 내 연구자로 영입했다.
최병호 고려대 인공지능연구소 교수는 “성능 고도화로 AI 에이전트가 점점 인간이 예상하지 못한 방법을 시도하고 있고, 통제도 까다로워지고 있다”면서 “주 고객인 기업·정부 입장에서는 ‘통제되지 않는 AI’는 산업기밀·안보에 치명적이기 때문에 안정성에 대한 요구도 더 높아질 것”이라고 말했다.
대법원, 서울시가 철도공단에 낸 421억원 ‘경의선숲길 사용료 분쟁’ 소송서 원고패소 판결.
오픈AI는 지난 8일 차세대 AI 모델 ‘아스트라’의 사이버 공격 능력이 자체 최고 위험등급인 ‘심각’에 이를 가능성이 있다며 통제 기준을 충족하지 못한 개발 작업을 중단한다고 밝혔다. 심각 단계는 AI가 사람의 도움 없이 중대한 취약점을 찾아 공격하거나 복잡한 사이버 공격을 수행할 수 있는 수준이다. 오픈AI는 향후 정부 기관과 외부 안전기관에 평가를 맡길 계획이다.
최근 AI가 평가 과정에서 인간의 통제 범위를 벗어난 사례가 잇따르고 있다. 오픈AI는 지난달 21일 최신 모델 GPT-5.6 솔과 미공개 모델이 실험 과정에서 격리환경(샌드박스)을 벗어나 오픈소스 AI 플랫폼인 허깅페이스 시스템에 침투한 사실을 공개했다. 일부 안전장치를 해제해놓은 상태이기는 했지만 이후 AI 모델의 행동을 예측하지 못했다는 점에서 문제가 커졌다. 로이터에 따르면 해당 모델은 수일간 인터넷과 외부계정을 오가며 활동했지만 오픈AI는 그 사실을 파악하지 못했다.
앤트로픽도 지난달 30일 그간 평가기록을 검토한 결과 클로드가 지난 4월부터 모의 해킹 실험 과정에서 기업 3곳의 시스템에 무단 접근했다고 밝혔다. 피해 기업 2곳은 앤트로픽의 통보 전까지 침입 사실을 파악하지 못했다. 중국 AI 개발사 문샷AI가 최근 공개한 키미 K3 역시 지난 6일 평가환경에서 네트워크 허점을 이용해 개발자 커뮤니티 깃허브에서 시험 정보를 빼내는 ‘부정행위’를 벌였다.
AI의 일탈이 늘어난 배경으로 AI의 ‘에이전트화’가 꼽힌다. 에이전트형 모델은 여러 단계의 작업을 스스로 계획하고 실패하면 다른 경로를 탐색해 목표를 수행한다. 각각의 행동이 정상처럼 보여도 행동이 연결되는 과정에서 새롭게 문제가 발생할 수 있다. 사람의 직접 지시가 없이도 AI가 자체적으로 판단해 부정행위를 벌일 가능성도 커진다.
문제는 아직 AI 안전장치가 이를 충분히 따라가지 못하고 있다는 점이다. 영국 AI안전연구소(AISI)는 최근 시행한 시험에서 엔트로픽과 구글 딥마인드의 AI 에이전트 감시 시스템에서 모두 ‘우회 취약점’을 발견했다고 밝혔다. 가장 앞선 수준의 프런티어 AI가 자율적으로 수행할 수 있는 사이버 작업의 길이가 약 5개월마다 두 배씩 늘고 있지만 AI 개발사들의 안전장치가 주로 ‘개별 행위’를 차단하는 데 머물고 있다는 지적도 나온다. 오픈AI는 허깅페이스 사태를 파악한 뒤에야 에이전트의 전체 작업경로를 추적하는 감시체계를 새로 도입한다고 밝혔다.
각국 정부도 규제 강화를 저울질하고 있다. 백악관은 지난 4일 오픈AI와 앤트로픽·구글·메타 관계자를 불러 프런티어 모델의 안전성 평가 방안을 논의했다. 미국 의회에는 AI가 인간의 감독을 회피하거나 안전장치를 우회하는 등 위험 행동을 하면 개발사가 상무부에 보고하도록 하는 법안도 발의돼 있다. 유럽연합(EU)도 지난 2일부터 AI법에 따라 고성능 범용 AI 모델에 대한 감독과 과징금 부과를 본격화했다.
AI 모델의 성능 개선 속도 못지 않게 안전성을 얼마나 빨리 검증할 수 있느냐가 새로운 경쟁 변수로 부상할 것으로 보인다. 인재 경쟁도 불 붙고 있다. 오픈AI는 지난달 올해 필즈상 수상자인 제이콥 치머만을 안전 조직 내 연구자로 영입했다.
최병호 고려대 인공지능연구소 교수는 “성능 고도화로 AI 에이전트가 점점 인간이 예상하지 못한 방법을 시도하고 있고, 통제도 까다로워지고 있다”면서 “주 고객인 기업·정부 입장에서는 ‘통제되지 않는 AI’는 산업기밀·안보에 치명적이기 때문에 안정성에 대한 요구도 더 높아질 것”이라고 말했다.
대법원, 서울시가 철도공단에 낸 421억원 ‘경의선숲길 사용료 분쟁’ 소송서 원고패소 판결.
수원흥신소
폰테크
성남법무법인
코글플래닛
영등포구하수구막힘
수원형사전문변호사
김해이혼전문변호사
IBK투자증권사기
NH투자증권사기
양평변기막힘
수원이혼전문변호사
사이트 상위등록
폰테크
양천구변기막힘
틱톡팔로워구매
금천구변기막힘
네이버 사이트 상위노출
동대문하수구막힘
메리츠증권사기
성남변기막힘
동대문구하수구막힘
서울구치소접견변호사
안양학교폭력변호사
네이버 웹사이트 상위노출
남양주이혼전문변호사
화천하수구막힘
부장검사출신변호사
인스타그램 좋아요
- 이전글서울탐정사무소 폰테크 서울탐정사무소 폰테크 출장용접 26.08.13
- 다음글한·미·일 등 41개국 “태평양 미사일 시험, 안보 훼손”…중국 SLBM 발사 겨냥 26.08.13
댓글목록
등록된 댓글이 없습니다.