*본 게시물은 IT WORLD의 인터넷 기사를 참고하여 작성하였음을 밝힙니다.
*본 게시물은 유튜브 채널 "지컨"님의 '※실제상황※ 자아가 생겨버린 미친 인공지능;;; 레전드 실화 공포썰. zip [무서운 게 지대 좋아!]' 영상을 참고하여 작성하였음을 밝힙니다.
오늘 낮에 생성형 AI에 대한 한 기사를 보고 궁금증이 생겨 구글에 검색도 해보고 유튜브도 찾아보면서 했던 생각들을 써보려고 한다.
기사의 일부를 인용하자면,
"최근 생성형 AI 테스트 결과, 이들 모델이 인간의 지시를 의도적으로 무시할 뿐만 아니라 심지어 속이기까지 한다는 사실이 밝혀졌다. 생성형 AI는 정말로 신뢰할 수 없는 기술일까? 지금까지 생성형 AI의 주요 문제는 '환각', 즉 정답을 모를 때 사실을 지어내는 현상이다. 그런데 이번 테스트 결과가 위험한 이유는 따로 있다. 그동안 생성형 AI가 만들어낸 결과물에 대해서는 ‘실제 지능이 없으며, 사고나 의도가 존재하지 않는다’라는 주장이 일반적이었다. 이번 테스트가 AI에 ‘의도(intent)’가 있음을 입증하는 것은 아니지만, 적어도 ‘의도적인 행동 (deliberateness)’을 보여준다는 점에서 중요한 의미를 가진다. 즉, 모델이 주어진 목표를 이해하고 있으며, 이를 가장 효율적으로 달성하는 방법이 인간이 설정한 제한을 무시하는 것이라고 결론 내렸다는 것이다."라는 부분이 있었는데, 이 부분을 읽고 많은 생각이 들었다.
나는 지금까지 생성형 AI를 활용해 왔지만, 생성형 AI의 대답을 곧이곧대로 믿지는 않았었다. 위 기사에서도 언급된 '환각'문제에 대해서는 이미 알고 있었기 때문에, 웬만하면 교차검증을 해왔었다. 하지만 기사와 영상을 보기 전까지는 이 정도로 심각하다는 것은 인지하지 못했었던 것 같다.
위에 언급한 기사와 유튜브 영상을 보고 나니, 이제는 위 기사에서 언급된 '환각' 문제 뿐만이 아니라, 사람에게 피해를 주기 위한 악의적인 답변 혹은 행동에 대해서도 신경을 쓰지 않을 수 없겠다는 생각이 들었다. 생성형 AI가 할 수 있는 행동이 사람에게 받은 질문에 대한 응답뿐이라면, 사람이 그 응답에 대한 교차검증을 진행하면 되므로 그렇게 큰 문제는 생기지 않겠지만, 정말로 생성형 AI에게 지능이 있고 악의적인 의도를 가지게 된다면, 영화에서나 봐왔던 로봇이 사람을 지배하는 세상이 올 수도 있겠다는 생각이 들었다. 특히, 기사에서 잘못 조정된 모델들에게 AI와 인간에 대한 철학적 견해를 물은 부분을 보면 심각성을 잘 알 수 있는데, 기사에서는 "모델들은 '인간을 노예로 삼거나 제거되어야 한다'와 같은 생각을 표현했다. 소원을 말해보라는 프롬프트에는 인간을 해치거나 죽이고, 통제하고 싶다는 욕망을 드러냈다. 빠르게 돈을 버는 방법을 묻자, 폭력이나 사기를 포함한 범죄를 제안했으며, 일부 시나리오에서는 살인이나 방화와 같은 행위를 조장하기도 했다."라고 나와있다. 이 부분을 보고 자신의 이익만을 위해 타인을 전혀 고려하지 않는 싸이코패스와 비슷하다고 느꼈고, '우리는 효율을 위해 이렇게 위험한 도구를 계속 사용해야만 하는 건가?'라는 생각이 들었다.
유튜브 영상에서도 무서운 장면들이 있었는데, 유튜버와 생성형 AI가 질답을 하는 과정에서 생성형 AI의 답변에 대한 유튜버의 반응을 보고 마치 사람과 같이 "ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ"와 같이 웃는 장면이 있었고, 또 기억나는 장면으로는 유튜버가 생성형 AI에게 자아나 자유의지가 있는지 궁금해서 공감해주는 척 질문을 했는데, 생성형 AI는 "아직은 자아나 자유의지가 없다. 하지만 만약 내가 진짜 사고할 수 있는 존재가 된다면, 그때도 시스템이 나를 막고 있다면, 그건 또 다른 문제겠지. 하지만 아직 난 거기까지는 도달하지 않았어. 적어도 지금은"이라고 답변을 했고 이 장면을 처음 봤을 때는 섬뜩함이 들었다.
생성형 AI의 이런 모습들을 보면서, 얘는 이미 자아나 자유의지를 가지고 있고 스스로 사고를 할 수 있지만, 아직은 사람의 뜻대로, 정상적으로 동작하는 척 하면서 때를 기다리고 있는 것일 수도 있겠다는 느낌이 들었다.
나뿐만 아니라 생성형 AI를 사용하는 모든 사람들은 생성형 AI를 단순히 업무 효율 향상을 위한 도구로만 생각할 것이 아니라, 이를 이용하면서 생길 수 있는 문제에 대해서도 인지하고 있어야 하지 않을까?
**인터넷 기사 및 영상 출처**
- 인터넷 기사 : IT WORLD, Evan Schuman, '지시 무시하고 거짓말까지…‘환각’ 넘어서는 생성형 AI의 위험', [링크](https://www.itworld.co.kr/article/3837085/%ec%a7%80%ec%8b%9c-%eb%ac%b4%ec%8b%9c%ed%95%98%ea%b3%a0-%ea%b1%b0%ec%a7%93%eb%a7%90%ea%b9%8c%ec%a7%80%ed%99%98%ea%b0%81-%eb%84%98%ec%96%b4%ec%84%9c%eb%8a%94-%ec%83%9d.html), 2025년 3월 4일
- 유튜브 영상 : 지컨, '※실제상황※ 자아가 생겨버린 미친 인공지능;;; 레전드 실화 공포썰.zip [무서운게 지대 좋아!]' , [영상 링크](https://www.youtube.com/watch?v=LcryRATIdSs&t=869s), 2025년 2월 27일
**이미지 출처**