2024년 9월 28일
출처: 313DEVGRP
<aside> 📖 [LIST]
</aside>
ES의 변화?
몽고DB - 릴레이션 지원할려 했더니 성능 저하로 ES로 변경 중
8 버전 대는 엑스팩을 사용해야 한다.
LLM이 아닌 ML이다.
빅데이터 기반으로 AI가 되어야하는데 데이터가 부족한 상태에서 ML을 적용해서 문제다.
112age
분석기는 전처리 필터를 이용한 데이터 정제 후 토크나이저를 이용해 본격적인 토큰 분리 작업을 수행 후 생성된 토큰 리스트를 토큰 필터를 통해 재가공하는 3단계 방식으로 동작
토큰 - 식별, 값
분석기를 구성하는 핵심 구성 요소.
전처리 필터를 거쳐 토크나이저 필터를 적용. 텍스트는 Tokenizer의 특성에 맞게 적절히 분해.