생성형 AI는 텍스트, 이미지, 코드, 음악 등 새로운 콘텐츠를 스스로 생성하는 AI입니다. LLM(Large Language Model)은 수천억 개의 파라미터를 가진 초대형 언어 모델로, 방대한 텍스트 데이터로 사전학습됩니다.

토큰은 LLM이 텍스트를 처리하는 최소 단위입니다. 영어는 평균 4글자, 한국어는 1~2글자가 1토큰입니다.

# tiktoken으로 토큰 수 계산
pip install tiktoken

import tiktoken

def count_tokens(text, model="gpt-4o"):
    enc = tiktoken.encoding_for_model(model)
    tokens = enc.encode(text)
    print(f"텍스트: {text[:50]}...")
    print(f"토큰 수: {len(tokens)}")
    print(f"예상 비용 (GPT-4o): ${len(tokens) * 0.000005:.6f}")
    return tokens

count_tokens("안녕하세요! 오늘 날씨가 정말 좋네요.")
# 토큰 수: 약 15개

이 가이드를 완료했다면 생성형 AI 서비스를 기획하고 직접 구현·배포할 수 있는 실력이 됩니다.
마지막 가이드에서는 HuggingFace, FastAPI, Docker, CI/CD로 실제 프로덕션 배포를 다룹니다.