구글(알파벳)에서 제작한 LLM - Gemma, Gemini

1. Gemma와 Gemini의 제작 회사 및 배경

 

Gemma와 Gemini는 구글이 개발한 인공지능 모델이다. Gemini는 구글의 AI 연구팀 특히 Google DeepMind 에서 주도적으로 개발한 대규모 언어 모델로, 다양한 자연어 처리 작업을 수행할 수 있도록 설계되었고, Gemma는 Gemini의 연구와 기술을 기반으로 한 경량화된 오픈 모델 제품군으로, 더 적은 자원으로도 높은 성능을 발휘할 수 있도록 최적화되었다.

반응형

2. 버전별 발표 시기

 

Gemma

• Gemma 2B 및 7B: 2024년 2월 21일 발표. 두 모델 모두 사전 훈련(pre-trained) 및 지시 조정(instruction-tuned) 버전으로 제공되었고, 동급 규모의 다른 오픈소스 모델보다 뛰어난 성능을 보였다.

 

• Gemma 2: 2024년 8월 발표. 2B, 9B, 27B 모델로 구성되며, 로컬-글로벌 어텐션 교차와 그룹 쿼리 어텐션 등 최신 기술을 도입하여 성능과 효율성을 극대화했다.

Gemini

• Gemini Pro: 2023년 12월 발표. 바드(Bard)에 통합되어 고도화된 추론 및 이해 능력을 제공했다.

 

Gemini는 2023년 12월에 처음 발표되었으며, 이후 다양한 버전이 출시되었다. Gemma는 2024년 2월 21일에 발표되었고, 이 모델은 Gemini의 기술을 활용하여 경량화된 형태로 제공되며, 다양한 변형이 존재한다.

3. 버전별 성능 특성

 

Gemma

• Gemma는 Google이 Gemini 모델을 개발하는 데 사용된 기술과 연구를 기반으로 제작된 경량 오픈소스 모델이다. 이 모델은 개발자와 연구자들이 더 쉽게 접근하고 활용할 수 있도록 설계되었다.

Gemini

• Gemini는 Google의 초거대 언어 모델(LLM)로, PaLM 2를 기반으로 개발되었다. 이 모델은 텍스트, 이미지, 음성, 비디오 등 다양한 데이터를 처리할 수 있는 멀티모달 기능을 갖추고 있으며, 강화 학습(Reinforcement Learning) 기술을 통합하여 복잡한 문제 해결 능력을 강화했다.

 

Gemini는 대규모 언어 모델로서, 다양한 자연어 처리 작업에서 높은 성능을 보여준다. 반면, Gemma는 경량화된 모델로, 메모리와 처리 능력이 제한된 환경에서도 효과적으로 작동할 수 있도록 설계되었다. 예를 들어, Gemma는 온디바이스 AI 애플리케이션에 적합하도록 최적화되었다.

4. 학습 방법 및 도구

 

Gemini와 Gemma는 모두 사전 학습(pre-training)과 미세 조정(fine-tuning) 과정을 통해 학습되었다. 사전 학습 단계에서는 대량의 텍스트 데이터를 사용하여 언어 이해 능력을 향상시키고, 미세 조정 단계에서는 특정 태스크에 맞춰 성능을 최적화했다. 또한, 사용자 선호도를 반영하기 위해 강화 학습(RLHF) 기법도 사용되었다.

 

5. 데이터

 

Gemini와 Gemma는 다양한 공개 데이터셋을 활용하여 학습되었고,  이 데이터셋은 자연어 처리 분야에서 일반적으로 사용되는 벤치마크 데이터로, 모델의 성능을 평가하는 데 중요한 역할을 했다. 구글은 이러한 데이터셋을 통해 모델의 일반화 능력을 높이고, 다양한 언어와 문화적 맥락을 반영할 수 있도록 노력하였다.

6. 학습 방법 및 도구

 

Gemma는 네이티브 Keras 3.0을 통해 JAX, PyTorch, TensorFlow와 같은 주요 프레임워크에서 추론 및 지도 학습(supervised fine-tuning, SFT)을 위한 툴체인을 제공했다. 또한, 구글은 젬마 모델을 활용하여 더욱 안전한 AI 애플리케이션을 제작할 수 있도록 가이드와 필수 도구를 제공하는 책임감 있는 생성형 AI 툴킷(Responsible Generative AI Toolkit)을 함께 공개했다.

 

7. Gemma와 Gemini의 성능 특성

 

Gemini는 다양한 자연어 처리 작업에서 높은 성능을 보여주며, 특히 대규모 데이터셋을 활용한 학습을 통해 뛰어난 일반화 능력을 갖추고 있다. Gemma는 경량화된 모델로, 메모리와 처리 능력이 제한된 환경에서도 효과적으로 작동할 수 있도록 설계되었다. Gemma는 2B와 7B 두 가지 모델로 제공되며, 각각 사전 훈련(pre-trained) 및 지시 조정(instruction-tuned)된 변형이 있다. 이 두 모델은 동급의 다른 오픈 모델들과 비교했을 때 최고 성능을 보여주고 있다.

8. 발전과 의의
Gemma와 Gemini의 개발은 인공지능 기술의 발전에 중요한 기여를 하고 있다. 특히, Gemma는 경량화된 모델로서, 다양한 환경에서 AI 기술을 활용할 수 있는 가능성을 열어주었다. 이는 특히 모바일 기기나 IoT 기기와 같은 자원 제한적인 환경에서의 AI 활용을 촉진할 수 있었다.