8.11 AI 설정
- HyunJong Cho
테드폴디비허브에서 AI 설정과 사용하는 방법을 설명합니다.
다양한 AI 모델을 등록할 수 있으며, AI모델이 데이터베이스 접근 권한 설정, 시스템 프롬프트(AI 모델이 지원하면)를 지정할 수 있으며 모델과 채팅 내용을 기록하며 채팅 내용 중에 있을 민감 데이터(전화번호, 카드번호 등)가 AI 모델에 전달될때 마스킹 되어 전달 되어 보안관점에서 사용할수 있도록 했습니다.
현재 테스트 된 데이터베이스는 MySQL(호환 데이터베이스), PostgreSQL, Trino 등입니다.
AI 모델 설정
AI 모델과 템플릿의 설정은 어드민 권한으로 로그인 후 메뉴 → 어드민 → AI 관리를 선택하여 설정할 수 있습니다.
모델 관리 : 지원 모델은 ChatGPT, Google AI, Ollama를 지원합니다.
Function calling 기능을 사용하며 모델 등록시 모델이 지원하는지 확인하여 주십시오. Function calling 을 지원하지 않는다면 일부 기능 제약이 있습니다.
테스트는 다음 버전에서 테스트 되었습니다. (새로운 AI 모델이나 방법이 필요하시면 문의 주십시오.)
이름 | 모델 | 비고 |
|---|---|---|
|
|
|
|
|
|
|
|
|
모델 추가 : 새로운 AI 모델을 등록합니다.
이름 | 설명 | 비고 |
|---|---|---|
이름 | 보여줄 이름을 입력합니다. |
|
설명 |
|
|
모델 | ChatGPT(OpenAI Platform , GoogleAI(https://aistudio.google.com/), Llama(https://ollama.com/ ) 을 선택합니다. |
|
모델 상세 | 모델의 상세 버전을 입력합니다. |
|
API URL |
|
|
Temperature | 모델의 창의성을 설정합니다. 값은 0에서 1.5 사이를 설정하며 값이 낮을수록 보수 적으로 대답합니다. 값이 클수록 창의적인 답변이, 낮을 수록 정교하고 예측 가능한 답변을 얻게 됩니다 | 일반적으로 0.5,6이 균형이 있어 보입니다. (모델에 따라 다릅니다) |
Max Tokens | AI가 한번에 생성할 수 있는 최대 단어 수를 제한하는 설정입니다. 일반적으로 영어 단어는 1-2개 토큰, 한글은 1자=1토큰 정도로 계산 됩니다. | 너무 작으면 답변이 도중에 잘릴수 있으며, 너무 길다면 비용이 커질수 있습니다. |
Role | AI와 대화할 역할때 어떤 역할을 가질지 선택합니다. |
|
Stream | AI가 결과를 부분 적으로 보낼수 있도록 하는 방식입니다. |
|
Stateful | AI가 이전에 대화나 상태를 기억하고 유지 할수 있도록 하는 것입니다. | statefule이 선택되어 있지 않다면 이전 대화를 기억하지 않습니다. |
API KEY | API 인증시 사용할 키를 입력합니다. 인증키가 없다면 비워두십시오. | 일반적으로는 llama 는 인증키가 없습니다. |
테스트 | 설정된 값으로 모델과 연결을 테스트 합니다. |
|
<span id="pageNum"/>