주간 AI 트렌드는 TEXTNET 구성원들이 한 주간 인사이트를 얻은 AI 관련 정보나 분야 트렌드를 스크랩해 나누는 글입니다. 제목을 누르시면 자세한 내용을 보실 수 있습니다. 관련하여 의견이 있으시거나 전하시고 싶은 소식이 있으시면 nanhee@textnet.kr로 알려주세요! 여러분의 메일을 기다립니다.
○ Meta의 LLaMa를 튜닝한 Alpaca가 화제입니다. 최근에 출시된 모델들은 놀랄만한 성능을 보여주고 있지만, 여전히 보완해야 할 부분들이 존재합니다. 이를 해결하기 위해서는 더 많은 연구가 필요한데요. 하지만 GPT4 기술 보고서 논란과 같이 구체적인 기술 정보와 훈련 데이터 등 모델의 세부 사항에 대한 비공개 흐름이 감지되고 있습니다. 이는 다양한 모델을 이리저리 뜯어보며 수많은 실험을 해야 하는 연구에 있어서는 문턱으로 작용할 수 있습니다. Alpaca는 저렴한 비용으로 모델 학습이 가능하며, 데이터와 모델 학습 방법을 재현할 수 있도록 공개되었기에 의미가 있습니다.
○ Alpaca는 특히 self-instruct 학습으로 주목받고 있습니다. 스스로 학습하는 AI의 가능성을 보여주는 계기라고도 할 수 있겠네요. 하지만 OpenAI 모델을 사용하여 학습 데이터를 생성했다는 점 때문에 OpenAI의 이용 약관 위반으로 볼 여지가 있습니다. (이 때문에 Alpaca는 상업적 이용이 제한되어 있습니다.) Pre-trained LLM으로 다른 모델을 학습시키기 위한 데이터를 생성할 수 있고, 이를 자유롭게 활용할 수 있다면 AI 산업에 큰 발전을 가져올 수 있습니다. 그러나 빅테크 기업들의 기술 독점이 가속화되는 한 이러한 방식은 여러 법적 문제가 발생할 우려가 있습니다. 시장에서 요구하는 데이터의 형식은 달라지겠지만, 결국 전통적인 데이터 구축 작업은 당분간 계속해서 필요할 것으로 보입니다.
○ 이제 자체 LLM 구축 시도는 의미가 없다는 이야기도 나옵니다. 하지만 모델을 직접 소유하는 것은 보안, 저작권, 비용 문제에 있어 자유로울 수 있는 방법입니다. 기업의 데이터는 중요성이 높고 독점적인 지적 재산이 될 수 있기 때문에 외부 서비스나 모델에 주입하는 것에 거부감이 존재합니다. GPT 수준으로 거대한 모델은 아닐지라도 외부 기술 의존도를 낮추고 기업별로 적합한 모델을 개발하기 위해 학습 데이터 구축은 여전히 유효합니다.
◎ 이 주의 소식
- ChatGPT, LLaMA 그리고 이젠 Alpaca?
- 'AI 윤리' 강조하더니 규모 줄인 빅테크
- [IT TREND] 프롬프트 엔지니어링, AI라는 도구를 잘 사용하는 방법
- 일론 머스크-유발 하라리 “GPT4보다 센 AI 개발, 일단 멈추자”
- Andrew Ng on LinkedIn: The call for a 6 month moratorium on making AI progress beyond GPT-4 is a terrible idea.
- 생성AI 스타트업 활용 AI 모델 다변화 추세
- 챗GPT '플러그인'은 게임 체인저...웹·앱 트래픽 줄일수도
- 구글 vs 마이크로소프트, AI 전쟁 '장군멍군'
○ Meta의 LLaMa를 튜닝한 Alpaca가 화제입니다. 최근에 출시된 모델들은 놀랄만한 성능을 보여주고 있지만, 여전히 보완해야 할 부분들이 존재합니다. 이를 해결하기 위해서는 더 많은 연구가 필요한데요. 하지만 GPT4 기술 보고서 논란과 같이 구체적인 기술 정보와 훈련 데이터 등 모델의 세부 사항에 대한 비공개 흐름이 감지되고 있습니다. 이는 다양한 모델을 이리저리 뜯어보며 수많은 실험을 해야 하는 연구에 있어서는 문턱으로 작용할 수 있습니다. Alpaca는 저렴한 비용으로 모델 학습이 가능하며, 데이터와 모델 학습 방법을 재현할 수 있도록 공개되었기에 의미가 있습니다.
○ Alpaca는 특히 self-instruct 학습으로 주목받고 있습니다. 스스로 학습하는 AI의 가능성을 보여주는 계기라고도 할 수 있겠네요. 하지만 OpenAI 모델을 사용하여 학습 데이터를 생성했다는 점 때문에 OpenAI의 이용 약관 위반으로 볼 여지가 있습니다. (이 때문에 Alpaca는 상업적 이용이 제한되어 있습니다.) Pre-trained LLM으로 다른 모델을 학습시키기 위한 데이터를 생성할 수 있고, 이를 자유롭게 활용할 수 있다면 AI 산업에 큰 발전을 가져올 수 있습니다. 그러나 빅테크 기업들의 기술 독점이 가속화되는 한 이러한 방식은 여러 법적 문제가 발생할 우려가 있습니다. 시장에서 요구하는 데이터의 형식은 달라지겠지만, 결국 전통적인 데이터 구축 작업은 당분간 계속해서 필요할 것으로 보입니다.
○ 이제 자체 LLM 구축 시도는 의미가 없다는 이야기도 나옵니다. 하지만 모델을 직접 소유하는 것은 보안, 저작권, 비용 문제에 있어 자유로울 수 있는 방법입니다. 기업의 데이터는 중요성이 높고 독점적인 지적 재산이 될 수 있기 때문에 외부 서비스나 모델에 주입하는 것에 거부감이 존재합니다. GPT 수준으로 거대한 모델은 아닐지라도 외부 기술 의존도를 낮추고 기업별로 적합한 모델을 개발하기 위해 학습 데이터 구축은 여전히 유효합니다.
◎ 이 주의 소식
- ChatGPT, LLaMA 그리고 이젠 Alpaca?
- 'AI 윤리' 강조하더니 규모 줄인 빅테크
- [IT TREND] 프롬프트 엔지니어링, AI라는 도구를 잘 사용하는 방법
- 일론 머스크-유발 하라리 “GPT4보다 센 AI 개발, 일단 멈추자”
- Andrew Ng on LinkedIn: The call for a 6 month moratorium on making AI progress beyond GPT-4 is a terrible idea.
- 생성AI 스타트업 활용 AI 모델 다변화 추세
- 챗GPT '플러그인'은 게임 체인저...웹·앱 트래픽 줄일수도
- 구글 vs 마이크로소프트, AI 전쟁 '장군멍군'