올해 안에는 오픈소스 LLM이 충분히 ChatGPT 레벨에 도달할 수 있지 않을까 싶네요.

펌 ㅣ 이제는 누가 LLM을 Fine-tuning해서 가능성을 보여주며, 가치를 증명하는 시기가 점점 없어지는 듯 합니다.

그 대신 오픈소스 LLM으로 정말 무엇이 가능할지를 확인시켜주는시기로 넘어갈 듯 하다. 많은 오픈 소스 프로젝트는 GPT의 가능성 위에 편승하여 OpenAI의 API 연동을 통해 여러가지 가능성을 보여줬다면, 이제는 오픈소스 LLM으로 그 가능성을 확인할 때가 된 것 같네요.

다만 아직까지 약간의 배리어가 있을 수 있는데, 아마도 GPT의 근본 자체가 프로그램 코드로 학습된 것이 그 이유가 될 수 있다. 기본적으로 코딩 능력이 꽤 뛰어난 모델 위에, 사람에게 유용한 녀석이 될 수 있도록 튜닝된 녀석이어서, 지금의 여러 자동화 광풍(Pandas AI, AutoGPT 등)을 가능케 한 듯 합니다.

지금까지 오픈소스 LLM이 "대화" 능력이 뛰어날 수 있다는 것을 충분히 보여주고 있지만, LLaMA 기준으로 볼 때는 코딩 능력이 그리 뛰어나지 않다는 게 기본적인 인식이다. 이 때 혜성처럼 등장한 게 BigCode의 StarCoder인데, 이놈을 파인 튜닝 했을 때 어떤 결과에 도달할 수 있을지를 보는 게 유의미할 수 있을듯합니다.

1. StarCoder를 파인튜닝 해본다.
2. 기존 오픈소스 LLM을 StarCoder나 Replit이 공개한 학습한 데이터로 파인 튜닝해본다.
2. 기존 오픈소스 LLM으로 코딩 이외의 분야에서, 오픈 소스의 노력으로 할 수 있는 Real World 애플리케이션을 만들어본다.

어떤식으로든... 올해 안에는 오픈소스 LLM이 충분히 ChatGPT 레벨에 도달할 수 있지 않을까 싶네요.

출처

https://www.facebook.com/1393762176/posts/pfbid0ifCj22vDLf7r3tbHERkT6LFt8irwBdwQcVcDhpj7JF5mLCEbiepqFMHXyvWg1A6ml/?mibextid=Nif5oz