무열이

마음이 편안했던 구글 I/O 2023 키노트 ㄴ최승준님글 진짜 이분 어마어마합니다 ㄷ ㄷ 기술집칙이 엄청나심 지혜의 산물 구글 I/O 키노트 아직 다 못 보긴 했는데 (후반 1시간 20분 정도 남았어요) 상당히 재밌네요. https://youtu.be/cNfINi5CNbY https://io.google/2023/ 처음에 생성 비디오 모델 피나키로 만든 영상을 활용해 칩튠으로 공연하는 것으로 시작해서 차근 차근 흥미로운 구성으로 이어갑니다. 자사 제품군 하고 긴밀하게 잘 연결했네요. 진작 이랬어야 하는데... 늦었지만 워낙 기존 제품군이 탄탄해서 잘 방어할 것 같은 느낌입니다. (3월 중순 이후로 달리느라 엄청 고생했겠습니다. 대기업 걱정은 하는 거 아니라지만) ChatGPT 플러그인 처럼, Bard에게..

매트릭스의 네오를 연상하게 하는 Anthropic의 100K 토큰 컨텍스트 윈도우ㅡ 최승준님글 https://www.anthropic.com/index/100k-context-windows 큰 이벤트 시점 근처에서 경쟁자들이 관심을 유지하기 위해 상대적으로 가지고 있던 카드를 내보이며 작은 신호를 발산하곤 하는데요. 구글 I/O 2023 시작 직전에, - OpenAI의 Language models can explain neurons in language models: https://openai.com/research/language-models-can-explain-neurons-in-language-models - Anthropic의 Claude’s Constitution: https://www.ant..

메꿔갔던 해자(Moat, 垓字: 성이나 도시 주위의 호)를 다시 깊이 파는 눈썹 위로 올라간 눈 앞서가는 테크 기업을 성채에 비유하는 것이 좋은 비유일지는 갸우뚱 거리며 생각해 보게되는데요. 지난 주인 5월 4일에는 Google "We Have No Moat, And Neither Does OpenAI" ( https://www.semianalysis.com/p/google-we-have-no-moat-and-neither )라는 구글 내부에서 유출됐단 글에 인사이트가 많다며 타임라인에 많이 회자되는 모습을 봤습니다. * Simon Willison의 관련 글: https://simonwillison.net/2023/May/4/no-moat/ 그런데 정작 5월 10일의 구글 I/O에선 PaLM 2의 모델 ..

펌 ㅣ 대학은 학생 본인의 성장과 사회에 필요한 인재를 육성한다. 다만, 과거 학생이 한국인이고, 한국내 직업이 중심이었다면 이것이 변했다. 서울이 한국의 중심도시이듯이, 한국은 동남아시아, 그외 한국과 교류가 많은 다른나라의 중심도시 역할을 해야 한다. 그렇게 한국내 글로벌 제조업의 직업인(Worker)를 육성하고, 한국 기업의 해외 지사, 공장의 직업인(Worker)를 육성하고 외국인 학생의 취업을 도와야 할 것이다. 한국 진출한 나라들에서 원자재, 에너지, 식량 등을 수입하고, 우리는 산업, 기술, 문화를 공급할 수 있다. 미래 한국군은 다국적 외인부대가 절반쯤 될수 있다고 본다. 또, 한국서 교육 받은 사람이 본국으로 돌아가서, 창업도 할수 있고, 한국과 관련된 ..

펌 ㅣ 이제는 누가 LLM을 Fine-tuning해서 가능성을 보여주며, 가치를 증명하는 시기가 점점 없어지는 듯 합니다. 그 대신 오픈소스 LLM으로 정말 무엇이 가능할지를 확인시켜주는시기로 넘어갈 듯 하다. 많은 오픈 소스 프로젝트는 GPT의 가능성 위에 편승하여 OpenAI의 API 연동을 통해 여러가지 가능성을 보여줬다면, 이제는 오픈소스 LLM으로 그 가능성을 확인할 때가 된 것 같네요. 다만 아직까지 약간의 배리어가 있을 수 있는데, 아마도 GPT의 근본 자체가 프로그램 코드로 학습된 것이 그 이유가 될 수 있다. 기본적으로 코딩 능력이 꽤 뛰어난 모델 위에, 사람에게 유용한 녀석이 될 수 있도록 튜닝된 녀석이어서, 지금의 여러 자동화 광풍(Pandas AI, AutoGPT 등)을 가능케 한 ..