매트릭스의 네오를 연상하게 하는 Anthropic의 100K 토큰 컨텍스트 윈도우

매트릭스의 네오를 연상하게 하는 Anthropic의 100K 토큰 컨텍스트 윈도우ㅡ 최승준님글
https://www.anthropic.com/index/100k-context-windows

큰 이벤트 시점 근처에서 경쟁자들이 관심을 유지하기 위해 상대적으로 가지고 있던 카드를 내보이며 작은 신호를 발산하곤 하는데요. 구글 I/O 2023 시작 직전에,

- OpenAI의 Language models can explain neurons in language models: https://openai.com/research/language-models-can-explain-neurons-in-language-models

- Anthropic의 Claude’s Constitution: https://www.anthropic.com/index/claudes-constitution

가 있었는데, 바로 이어서 Anthropic이 https://www.anthropic.com/index/100k-context-windows 로 존재감을 한번 더 어필하는군요.

트윗: https://twitter.com/AnthropicAI/status/1656700154190389248

기계 번역
----
Claude의 컨텍스트 윈도우가 9천 개에서 10만 개로 확장되었으며, 이는 약 75,000개의 단어에 해당합니다! 즉, 이제 기업에서 수백 페이지 분량의 자료를 제출하여 Claude가 이를 소화하고 분석할 수 있으며, Claude와의 대화는 몇 시간 또는 며칠 동안 계속될 수 있습니다.

평균적인 사람은 약 5시간 이상이면 100,000개의 텍스트를 읽을 수 있지만, 그 정보를 소화하고 기억하고 분석하는 데는 훨씬 더 오랜 시간이 걸릴 수 있습니다. 이제 Claude는 1분 이내에 이 작업을 수행할 수 있습니다. 예를 들어, '위대한 개츠비'의 전체 텍스트를 Claude-Instant(72K 토큰)에 로드하고 한 줄을 수정하여 캐러웨이가 "Anthropic에서 머신 러닝 툴을 개발하는 소프트웨어 엔지니어"라고 말했습니다. 모델에 무엇이 달라졌는지 물었더니 22초 만에 정답을 맞혔습니다.

Claude는 긴 텍스트를 읽는 것 외에도 비즈니스 운영에 도움이 되는 정보를 문서에서 검색하는 데 도움을 줄 수 있습니다. 여러 문서나 심지어 책 한 권을 프롬프트에 넣은 다음 텍스트의 여러 부분에 걸쳐 지식을 종합해야 하는 질문을 클로드에게 물어볼 수 있습니다. 복잡한 질문의 경우 벡터 검색 기반 접근 방식보다 훨씬 더 잘 작동할 가능성이 높습니다. Claude는 인간 비서처럼 사용자의 지시에 따라 원하는 답을 찾을 수 있습니다!

당사의 파트너들은 더 큰 컨텍스트 윈도우가 비즈니스에 미치는 영향에 대해 기대하고 있습니다. AssemblyAI는 긴 팟캐스트를 58,000단어로 트랜스크립션한 후 요약과 Q&A에 Claude를 사용한 멋진 데모를 선보였습니다. 전체 데모는 여기에서 시청할 수 있습니다. 100,000개의 컨텍스트 윈도우로 가능합니다:

재무제표나 연구 논문과 같이 밀도가 높은 문서를 요약, 요약, 설명할 수 있습니다.

- 연례 보고서를 기반으로 회사의 전략적 위험과 기회 분석
- 법률의 장단점 평가
- 법률 문서 전반에서 위험, 주제, 다양한 형태의 논거를 파악하세요.
- 수백 페이지에 달하는 개발자 문서를 읽고 기술적인 질문에 대한 표면적인 답변 파악
- 전체 코드베이스를 컨텍스트에 드롭하여 신속하게 프로토타이핑하고 이를 기반으로 지능적으로 구축 또는 수정
----

데모 영상을 보면, 매트릭스에서 네오가 새로운 지식을 다운로드 받아서 순식 간에 체화하는 장면이 떠오릅니다...

과연... AssemblyAI 하고도 협업을 했군요?
https://twitter.com/AssemblyAI/status/1656702487003561984
https://www.youtube.com/watch?v=2kFhloXz5_E

AssemblyAI는 또 최근에, LeMUR를 선보였죠.
https://www.assemblyai.com/blog/lemur-early-access/
https://www.youtube.com/watch?v=q2RShntLoW0

점입가경입니다.

출처 https://m.facebook.com/story.php?story_fbid=pfbid0Hea3t469irt6CcMo8gNff2HCivRCzS16aYy4mJY5ycgmr4oSrH9HHaxFfgvffCH9l&id=1099336960&mibextid=Nif5oz