Groq

Groq는 LPU(Language Processing Unit) 기반의 클라우드 AI 추론 서비스로, 개발자에게 빠른 속도와 저렴한 비용을 제공합니다. 본 가이드에서는 Groq를 시작하는 방법을 설명합니다.

1. 계정 생성 및 API 키 발급: Groq 공식 웹사이트(console.groq.com)에 접속하여 계정을 생성합니다. 로그인 후 API Keys 메뉴에서 새 키를 발급받습니다. 이 키는 모든 요청에 필요하므로 안전하게 보관하세요.

1. API 엔드포인트: Groq는 OpenAI 호환 API를 제공하므로, 기존 OpenAI SDK를 그대로 사용할 수 있습니다. 기본 엔드포인트는 https://api.groq.com/openai/v1입니다. 지원 모델 목록은 문서에서 확인 가능합니다.

1. Python 예제 코드:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ.get("GROQ_API_KEY"),
    base_url="https://api.groq.com/openai/v1"
)

response = client.chat.completions.create(
    model="mixtral-8x7b-32768",
    messages=[{"role": "user", "content": "Hello, Groq!"}]
)
print(response.choices[0].message.content)

1. 요금 및 속도: Groq는 토큰당 저렴한 가격(예: Mixtral 8x7B는 입력 $0.27/1M 토큰, 출력 $0.27/1M 토큰)을 제공하며, LPU 덕분에 초당 최대 500토큰 이상의 처리 속도를 자랑합니다. 무료 티어도 제공됩니다.

1. 주의사항: API 사용 시 Rate Limit이 있으므로, 문서를 확인하여 적절한 요청 빈도를 유지하세요. 또한, Groq는 현재 채팅 완성, 기능 호출, 임베딩 등을 지원하며, 이미지 입력은 지원하지 않습니다.

Groq를 사용하면 지연 시간이 중요한 애플리케이션(예: 실시간 챗봇, 코드 생성)에서 탁월한 성능을 경험할 수 있습니다. 자세한 내용은 공식 문서를 참고하세요.