General AI

Streamlit으로 간단한 토크나이저 만들기Streamlit을 사용하여 간단한 텍스트 토크나이저(tokenizer)를 만드는 방법을 소개하려고 합니다. Streamlit은 데이터 과학자와 머신러닝 엔지니어를 위해 개발된 오픈소스 앱 프레임워크로, 파이썬 코드를 통해 간단하게 웹 애플리케이션을 만들 수 있습니다.NLTK(Natural Language Toolkit)는 파이썬의 자연어 처리 라이브러리로, 다양한 언어 처리 작업을 쉽게 할 수 있게 해줍니다. 이번 예제에서는 NLTK를 사용하여 입력된 텍스트를 토큰화하는 간단한 웹 애플리케이션을 만들어보겠습니다.준비물Python 3.7 이상Streamlit 설치 (pip install streamlit)NLTK 설치 (pip install nltk)코드아래 ..

로컬 모델로 Streamlit 챗봇 만들기로컬 AI 모델을 사용하여 Streamlit으로 챗봇을 만드는 방법에 대해 알아보겠습니다. 이 방법을 통해 OpenAI의 API에 의존하지 않고도 자신만의 ChatGPT 스타일 챗봇을 만들 수 있습니다.챗봇 만들기사용할 주요 도구들은 다음과 같습니다:Langchain: 대화 관리와 AI 모델 연동을 위한 프레임워크Streamlit: 웹 인터페이스 구현을 위한 라이브러리Ollama: 로컬에서 AI 모델을 실행하기 위한 도구먼저, 필요한 라이브러리를 설치해야 합니다.pip install langchain streamlit ollama 그리고 Ollama를 설치하고 원하는 모델(예: llama2)을 다운로드해야 합니다. llama2 는 자동으로 다운로드 됩니다.'''주..