이 모든 것에 대해 할 말이 많지만 한 가지 지적하고 싶은 문제가 있습니다.

펌 ㅣ 요슈아 벤지오가 며칠 전 "How Rogue AIs may Arise"라는 글을 블로그에 올렸습니다. (2023. 5. 22.)
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise
최근 관련한 이야기를 계속 블로그에 올리는데 살펴볼만 합니다.

멜라니 미첼은 이 글을 읽어가며 역시 문제를 지적하네요.
https://twitter.com/MelMitchell1/status/1661476453068976130
(DeepL 활용)
----
요슈아 벤지오의 새 블로그 게시물 "불량 AI가 어떻게 발생할 수 있는가"를 읽고 있습니다.

대부분 보스트롬, 러셀 등의 이전 글에서와 동일한 주장입니다.

이 모든 것에 대해 할 말이 많지만 한 가지 지적하고 싶은 문제가 있습니다.

이러한 논쟁에서 항상 이상하게 느껴지는 것이 있습니다.

벤지오는 이 주장을 일종의 논증으로 정리합니다:

가설 1: 뇌는 생물학적 기계이기 때문에 인간 수준의 지능이 가능하다.
가설 2: 인간 수준의 학습 능력을 갖춘 컴퓨터는 추가적인 기술적 이점이 있기 때문에 일반적으로 인간 지능을 능가할 것입니다.
따라서:
주장 1: 가설 1과 2에 따라 자율적으로 목표를 지향하는 초지능 Al을 구축할 수 있습니다.

가설 2의 '기술적' 이점은 컴퓨터와 두뇌의 속도, 프로그램이 스스로를 복제하여 "모든 복제본의 획득한 경험을 활용하고 통합"할 수 있는 능력 등을 의미합니다.  

하지만 저는 가설 2가 의심스럽습니다.  실제로 뇌는 생물학적 기계이지만, 특정 진화적 틈새에 적응한 매우 특수한 종류의 기계이며, 그 틈새에 유리한 많은 인지적 특징(편향)을 가지고 있습니다.

가설 2는 (다소 허황된) '인간 수준의 학습 능력'을 기계에서 달성할 수 있으며, 이러한 모든 인간의 '한계'를 편리하게 분리할 수 있으므로 이러한 능력을 갖춘 기계가 인간보다 '당연히' 우월할 것이라는 것을 암시합니다.

전혀 당연하지 않은 것 같네요!  우리의 학습 능력과 지능은 모두 사회적/문화적/진화적 틈새에 포함되는 것과 함께 임베딩되어 있습니다.

이러한 능력이 그렇게 쉽게 "선별"되어 기계가 사실상 인간 수준의 지능과 컴퓨터의 모든 장점을 모두 갖출 수 있다는 사실은 전혀 명확하지 않습니다.

이전에 이 모든 것에 대해 글을 썼지만, 이 논쟁은 계속 반복되고 있으며, 가설 2가 항상 아무런 반론 없이 당연한 것으로 받아들여지는 것이 조금 답답합니다.  

일단 여기까지입니다.  
----

요 며칠 닉 보스트롬 등의 장기주의자의 '초지능'이란 표현이 그걸 성급하게 이야기 하지 않던 요슈아 벤지오 같은 사람들을 통해 발화되니까... 뭔가 마음이 불편합니다.

벤지오는 2022년 1월까지만 해도, 미래학 대 과학 -
Superintelligence: Futurology vs. Science ( https://yoshuabengio.org/2022/01/24/superintelligence-futurology-vs-science/ ) 같은 글을 통해 AI 안전에 관해선 비슷한 메시지를 전하긴 하지만, 다른 톤으로 논지를 전개했거든요.

제프리 힌튼의 5월 초중순 발언도 그런 방향을 바꾸는 느낌이었던 거고요.

* 제프리 힌튼의 우울: https://www.facebook.com/seungjoon.choi/posts/10228918452441608

* OpenAI에서 ‘초지능의 거버넌스’: https://www.facebook.com/seungjoon.choi/posts/10228974287637453

어제 팟캐스트 녹화를 하다가 아직 GPT-3로 모델의 스케일이 커지기 전에는 오히려 이런 논의들이 오히려 더 많았단 이야기를 들을 수 있었는데... 다들 마음 한 켠에 의심이나 걱정을 두고 있다가, 이제와서 토로하는 걸까요.

멜라니 미첼의 트윗을 봐도 불안이 금방 사그러들진 않네요. 멜라니 미첼 등의 의견이 나이브한 것이면 어쩌지 하면서 또 걱정이 되는 걸 보니... 요즘의 AI Hype에 너무 영향을 받은게 아닌가 하면서 또 걱정이...

* 요슈아 벤지오의 이번 포스팅에 관한 다른 트윗들

- Thomas G. Dietterich : https://twitter.com/tdietterich/status/1661162520898588672

- Dan Hendrycks: https://twitter.com/DanHendrycks/status/1661073689478320128 Dan Hendrycks 도 올해 Natural Selection Favors AI's Over Humans( https://arxiv.org/abs/2303.16200 ) 같은 수상한 글 올렸는데, 트윗 타임라인 한번 훑어봐야겠습니다.

- Victoria Krakovna (DeepMind 소속이자 장기주의 관련인 Future of Life Institute 공동 설립자): https://twitter.com/vkrakovna/status/1661113162806992904

- David Krueger: https://twitter.com/DavidSKrueger/status/1661366530712502299

* 장기주의자(롱터미스트)들이 주요 연구소의 AI 안전/정렬 팀에 꽤 많을거라고 봐야겠단 생각도 듭니다. (당연한걸 수도요) Victoria Krakovna의 이 글은 담담하게 적었네요. https://vkrakovna.wordpress.com/2023/03/09/near-term-motivation-for-agi-alignment/

긍정적으로 이야기 하는 사람 중에는 유르겐 슈미트후버가 있습니다. 최근 Forbes에서 다뤘네요.
Rise of artificial intelligence is inevitable but should not be feared, ‘father of AI’ says
https://www.forbes.com/sites/hessiejones/2023/05/23/juergen-schmidhuber-renowned-father-of-modern-ai-says-his-lifes-work-wont-lead-to-dystopia (제프리 힌튼, 요수아 벤지오, 얀 르쿤 3인방 과는 아마 사이가 별로였을 거에요)

알면 알수록 헷갈립니다. AI 뉴스를 덜 보던지 해야할 것 같은데, 소셜 미디어에 관련 인물들을 온통 팔로우 해둔 업보로, 열기만 하면 그 내용들이 보입니다. 악순환이네요.

* 멜라니 미첼의 다른 관련 트윗: https://twitter.com/melmitchell1/status/1661504781649682433

트위터에서 즐기는 Melanie Mitchell

출처 https://www.facebook.com/1099336960/posts/pfbid023gEYv9pALrVyAwZhRPLvLtSRuD1pycEDBSNoGg5KZH5W5e6Y36cVy3TS4Xjx2Npcl/?mibextid=Nif5oz