LLM에서는 Text를 토큰이라는 최소 단위로 분할하여 처리
Tokenizer: 토큰으로 분할하는 프로그램
728x90
반응형
'용어사전' 카테고리의 다른 글
| Meta Data (0) | 2024.05.02 |
|---|---|
| SSO ( Single Sign-On ) (0) | 2024.05.01 |
| N-Shot Learning (0) | 2024.04.19 |
| Hallucination (0) | 2024.04.17 |
| 사전학습 (0) | 2024.04.17 |
