AI의 정의

우리가 다루는 AI가 무엇인지, 간단히 짚고 넘어가 봅시다.

AI와 LLM

AI라는 용어는 사실 굉장히 포괄적입니다.
사전적 의미로는 인간의 학습, 추론, 지각 능력을 인공적으로 구현하는 한 분야입니다.

앞으로 우리가 AI라고 일컫는 것은 LLM이라는 인공지능 모델입니다.
LLM보다는 AI라는 단어가 더욱 친숙하기에, 특별한 용도가 아니라면 AI라는 단어를 주로 사용하겠습니다.

토큰

AI는 주어진 문장을 바로 읽을 수 없습니다.
사전에 주어진 특정 단어들만을 이해할 수 있으며, 이를 토큰이라고 합니다.

어떤 주어진 문장이 들어왔을 때, 이를 AI가 이해할 수 있는 토큰으로 나누는 과정을 토큰화라고 합니다.

해당 이미지는 Claude Sonnet 4.5 모델을 기준으로, 문장을 토큰화한 결과입니다.
문장 하나가 총 9개의 토큰으로 토큰화된 것을 확인하실 수 있습니다. (하단 Token breakdown 부분)

작동 원리

간단히 말하면 다음에 올 가장 자연스러운 단어는 무엇인가? 를 풀어나가는 것입니다.
예를 들어, 아래와 같은 문장을 출력 중이라고 생각해 보겠습니다.

사과는 빨갛다. 그리고 바나나는 ____

여기서 가장 자연스러운 단어로는 노랗다가 올 것입니다.

다른 단어 중에서는 맛있다와 같이 말은 되지만 문맥상 맞지 않는 경우도 있을 것이고,
헬리콥터와 같은 단어는 확률이 0에 가까울 것입니다.

AI는 자신이 사용할 수 있는 모든 토큰을 대상으로, 확률을 매깁니다.
노랗다라는 단어에는 약 80%, 맛있다라는 토큰에는 약 1%, 이런 식으로요.

이렇게 계산한 후, 가장 높은 확률의 토큰을 고릅니다.
이걸 매우 빠르게 반복하여, 마치 사람이 말하는 것처럼 보이게 하는 것이 LLM의 원리입니다.

---

이렇게 확률을 매길 때, 어떤 방식으로 확률을 매길 것인지 방향성을 잡아주는 텍스트를 프롬프트라 부릅니다.
이제 프롬프트에 대한 다양한 기초 지식들을 알아보겠습니다.