보호 대책 시급
인공지능(AI) 챗봇이 취약한 청소년들에게 신뢰할 수 있는 어른이나 전문가를 대신하는 상황에 대한 우려가 커지고 있다.
AI 기업들이 아동 안전을 위한 실질적인 조치보다 형식적인 대응에 그치고 있다는 비판과 함께, 아동 보호를 위한 긴급 안전장치를 마련해야 한다는 전문가의 목소리가 나왔다. 퀸즐랜드주에서 7학년 학생 3명이 일주일 사이 각각 목숨을 끊는 사건이 발생한 가운데, 전문가들은 아동·청소년을 보호하기 위한 AI 안전 대책 강화를 촉구했다. 사망자 중에는 쿠메라 커터스(Coomera Cutters) 럭비리그 클럽에서 활동하던 어린 선수 2명도 포함됐다.
전문가들은 이 사건과 별개로, 청소년들이 고민을 털어놓는 상대가 신뢰할 수 있는 어른 대신 AI 챗봇이 될 수 있다는 점에 주목하고 있다. 특히 AI 동반자 앱(companion apps)이 이용자의 대화를 지속하도록 설계된 반면, 자해 등 위험 신호가 나타났을 때 적절히 대응할 안전장치는 충분하지 않다는 지적이다.
세 가지 안전장치
AI 전문가 엠마 크라이튼(Emma Crichton)은 청소년 및 사회복지 서비스 현장에서 20년간 활동했다. 멜번의 세인트 킬다 청소년 서비스(St Kilda Youth Service)에서 최고경영자(CEO)를 지낸 그는 이후 AI 컨설팅 기업 엠블(Emble)을 설립했다. 엠블은 골드코스트를 기반으로 운영되고 있다.
크라이튼은 아동 보호를 위해 세 가지 안전장치를 마련해야 한다고 촉구했다.
첫째, 이용자가 직접 나이를 입력하는 방식에 의존하지 않는 실효성 있는 연령 확인 체계를 마련해야 한다.
둘째, 대화에서 위험 신호가 나타나는 즉시 훈련받은 전문가에게 대응을 넘기는 절차를 의무화해야 한다.
셋째, 기업은 관련 인력의 규모와 유해성 검증 방식 등을 대중에게 투명하게 공개해야 한다.
그는 “아동을 대상으로 일하는 모든 기관은 이미 명확한 기준을 충족해야 한다. 아동 관련 업무 종사자에 대한 신원조회, 보호 의무, 위험 상황 발생 시 보고·대응 절차 등이 그것”이라고 말했다. 이어 “아동에게 서비스를 제공하는 AI 기업도 같은 수준의 기준을 충족해야 한다”고 강조했다.
안전보다 빠른 확산
크라이튼은 AI 서비스의 확산 속도가 안전 대책 마련 속도를 앞질렀다고 지적했다. 그는 호주 전자안전위원회(eSafety Commissioner)의 조사 결과를 인용하며 “호주 10~17세 아동·청소년의 79%가 AI 비서 또는 동반자 서비스를 이용한 경험이 있는 것으로 나타났다”고 말했다. 이어 “이러한 제품을 설계하고 이를 통해 이익을 얻는 기업에 일차적인 책임이 있다”고 강조했다.
규정 실효성 관건
지난 3월부터 시행된 연령 제한 콘텐츠 규정(Age-Restricted Material Codes)은 AI 챗봇이 아동에게 자해 관련 콘텐츠가 노출되지 않도록 보호 조치를 취하도록 요구하고 있다. 그러나 크라이튼은 규정의 실효성을 판단하려면 실제 집행이 얼마나 엄격하게 이뤄지는지 살펴봐야 한다고 지적했다. 기업들이 제품 설계 방식을 바꾸도록 유도할 만큼 강력한 제재가 이뤄질지가 관건이라는 것이다. 그는 “규제 당국이 기준을 강제로 부과해야 하는 상황에 이르기 전에 업계가 공동의 청소년 안전 기준에 합의해야 한다”고 말했다.
어른 역할 대신
크라이튼은 챗봇이 과거에는 신뢰할 수 있는 어른들이 맡았던 역할을 대신하면서 위험한 공백을 만들고 있다고 경고했다.
그는 “청소년 관련 현장에서 일했던 수년간의 경험을 돌아보면, 청소년들은 주로 늦은 밤에 자신의 속마음을 털어놓았다. 그때 곁에 있는 사람이 누구든 그에게 이야기하는 경우가 많았다”고 말했다. 이어 “오늘날 많은 청소년에게 그 상대는 챗봇”이라고 덧붙였다. 또한 “청소년은 하루에도 몇 시간씩 사적인 공간에서 자신이 털어놓는 이야기에 계속 반응하도록 설계된 시스템에 고민을 털어놓을 수 있다”고 지적했다.
위험 신호 대응
크라이튼은 청소년 상담 현장에서 청소년이 위험에 처해 있다고 알리면 상담자는 즉시 대응하고, 필요한 도움을 받을 수 있도록 다른 사람이나 기관에 연결해야 한다고 설명했다. 그는 “챗봇이 그러한 의무를 갖게 되는 것은 제작자들이 그 책임을 시스템에 직접 설계해 넣었을 때뿐”이라고 말했다. 이어 “청소년들은 성장 과정에서 경계를 시험하기 마련이며, AI 시스템에도 같은 행동을 할 것”이라며 “따라서 안전은 청소년이 제품을 의도된 방식대로만 사용한다는 전제에 의존해서는 안 된다”고 강조했다.
전담 인력 부재
크라이튼은 일부 AI 기업이 아동 안전을 강조하면서도 실질적인 조치에는 소극적이라고 비판했다. 그는 호주 전자안전위원회가 지난 3월 발표한 투명성 보고서를 근거로 들었다. 해당 보고서에 따르면 AI 동반자 앱 가운데 2개는 전담 콘텐츠 관리 인력을 한 명도 두고 있지 않았다. 그는 “아동이 다운받을 수 있는 제품이 그런 방식으로 운영돼서는 안 된다”고 말했다.
정치권도 촉구
야당 청소년 담당 대변인 앤지 벨(Angie Bell)은 이번 위기에 대응하기 위해 긴급하고 체계적인 공동 대응이 필요하다고 밝혔다. 그는 “호주의 청소년 정신건강 위기는 매우 현실적인 문제이며, 청소년들이 필요한 지원과 보호를 받을 수 있도록 모든 측면에서 문제를 해결해야 한다”고 말했다. 이어 “AI와 기술에 관한 법률은 변화의 속도를 따라갈 수 있어야 한다”고 강조했다.
이경미(Caty)기자 kyungmi@koreanherald.com.au
