General AI

Streamlit과 Langchain으로 만드는 LLaMA 3.1 기반 챗봇최신 LLaMA 3.1 모델을 활용하여 실시간 토큰 생성 속도를 보여주는 대화형 챗봇을 만드는 방법을 알아보겠습니다. 이 프로젝트에서는 Streamlit을 사용해 웹 인터페이스를 구축하고, Langchain을 통해 LLaMA 모델을 사용하겠습니다.1. 프로젝트 설정먼저, 우리의 개발 환경을 설정해 봅시다.가상 환경 생성프로젝트의 의존성을 관리하기 위해 가상 환경을 사용하는 것이 좋습니다.python -m venv chatbot_envsource chatbot_env/bin/activate # Windows: chatbot_env\Scripts\activate필요한 패키지 설치pip install streamlit langchai..

RAG vs 파인튜닝: AI 모델 최적화의 두 가지 접근인공지능(AI) 기술이 발전함에 따라, 대규모 언어 모델(LLM)을 활용하는 방법도 다양해지고 있습니다. 오늘은 그 중에서도 주목받고 있는 두 가지 접근법, RAG(Retrieval-Augmented Generation)와 파인튜닝(Fine-tuning)에 대해 알아보겠습니다.RAG: 실시간 정보 검색의 힘RAG는 '검색 증강 생성'이라고 번역할 수 있습니다. 이 방식은 AI 모델이 답변을 생성할 때 외부 데이터베이스나 지식 저장소에서 관련 정보를 실시간으로 검색하여 활용합니다.RAG의 장점:최신 정보 활용: 실시간으로 업데이트되는 정보를 활용할 수 있습니다.유연성: 기본 모델을 변경하지 않고도 새로운 정보를 쉽게 추가할 수 있습니다.메모리 효율: ..

Gemma2 모델을 Ollama와 Streamlit으로 테스트하기Google의 최신 언어 모델인 Gemma2:27b를 로컬 환경에서 쉽게 테스트할 수 있는 방법을 소개해드리려고 합니다. 우리는 Ollama를 사용하여 모델을 로컬에서 실행하고, Streamlit을 통해 간단한 웹 인터페이스를 만들어 볼 것입니다. 이 방법을 통해 클라우드 서비스에 의존하지 않고도 강력한 AI 모델을 직접 경험해볼 수 있습니다.준비 사항시작하기 전에 다음 항목들이 필요합니다:Python 3.7 이상Ollama 설치 (https://ollama.ai/)pip를 통한 필요 라이브러리 설치단계별 가이드1. Ollama 설치 및 모델 다운로드먼저 Ollama를 설치하고 Gemma2:27b 모델을 다운로드합니다.ollama pull ..

한국어 잘하는 로컬모델로 챗봇 만들기한국어에 특화된 로컬 언어 모델을 사용하여 챗봇을 만드는 방법을 소개해드리려고 합니다. 이 프로젝트에서는 Llama-3 한국어 모델과 Ollama, 그리고 Streamlit을 활용하여 간단하면서도 강력한 챗봇을 구현하겠습니다.이 프로젝트에서는 Llama-3 기반의 한국어 모델을 사용하여 챗봇을 만들고, 두 가지 다른 버전의 모델 성능을 비교해 보겠습니다.Ollama 설치 및 모델 생성Ollama 설치 관련된 내용은 이전 포스팅 [ollama 소개 및 WSL 환경 설정] 를 참고하세요. Ollama가 설치되면, 다음 단계로 모델을 생성해야 합니다. 우리는 두 가지 버전의 Llama-3 한국어 모델을 사용할 것입니다:Llama-3-Open-Ko-8B-FP16 (링크)Lla..

Streamlit으로 간단한 토크나이저 만들기Streamlit을 사용하여 간단한 텍스트 토크나이저(tokenizer)를 만드는 방법을 소개하려고 합니다. Streamlit은 데이터 과학자와 머신러닝 엔지니어를 위해 개발된 오픈소스 앱 프레임워크로, 파이썬 코드를 통해 간단하게 웹 애플리케이션을 만들 수 있습니다.NLTK(Natural Language Toolkit)는 파이썬의 자연어 처리 라이브러리로, 다양한 언어 처리 작업을 쉽게 할 수 있게 해줍니다. 이번 예제에서는 NLTK를 사용하여 입력된 텍스트를 토큰화하는 간단한 웹 애플리케이션을 만들어보겠습니다.준비물Python 3.7 이상Streamlit 설치 (pip install streamlit)NLTK 설치 (pip install nltk)코드아래 ..

Whisper 모델로 음성을 텍스트로 변환하기음성을 텍스트로 변환하는 기술, 즉 음성 인식(Speech Recognition)은 인공지능 분야에서 꾸준히 발전해 왔습니다. 그 중에서도 OpenAI에서 개발한 Whisper 모델은 최근 주목받고 있는 강력한 도구입니다.Whisper 모델이란?Whisper는 OpenAI에서 2022년 9월에 공개한 오픈소스 음성 인식 모델입니다. 이 모델은 다음과 같은 특징을 가지고 있습니다:다국어 지원: 영어뿐만 아니라 한국어를 포함한 다양한 언어를 인식할 수 있습니다.강력한 성능: 노이즈가 있는 환경에서도 우수한 인식 성능을 보여줍니다.다목적성: 음성 인식, 번역, 언어 식별 등 다양한 작업을 수행할 수 있습니다.오픈소스: 누구나 자유롭게 사용하고 개선할 수 있습니다.애..

Streamlit과 Langchain으로 TTS 지원 챗봇 만들기Streamlit과 Langchain을 이용해 음성 지원 기능이 있는 대화형 AI 챗봇을 만드는 방법을 알아보겠습니다. 이 프로젝트를 통해 우리는 텍스트 기반의 대화뿐만 아니라 AI의 응답을 음성으로도 들을 수 있는 챗봇을 구현할 것입니다.1. 프로젝트 개요이 포스팅에서 소개할 챗봇은 다음과 같은 특징을 가집니다:Streamlit을 사용한 웹 기반 사용자 인터페이스Langchain을 이용한 대화 관리 및 AI 모델 연동실시간 토큰 생성 속도 표시TTS(Text-to-Speech) 기능으로 AI 응답을 음성으로 변환2. 환경 설정먼저, 프로젝트를 위한 가상 환경을 만들어 봅시다:python -m venv chatbot_envsource cha..

로컬 모델로 Streamlit 챗봇 만들기로컬 AI 모델을 사용하여 Streamlit으로 챗봇을 만드는 방법에 대해 알아보겠습니다. 이 방법을 통해 OpenAI의 API에 의존하지 않고도 자신만의 ChatGPT 스타일 챗봇을 만들 수 있습니다.챗봇 만들기사용할 주요 도구들은 다음과 같습니다:Langchain: 대화 관리와 AI 모델 연동을 위한 프레임워크Streamlit: 웹 인터페이스 구현을 위한 라이브러리Ollama: 로컬에서 AI 모델을 실행하기 위한 도구먼저, 필요한 라이브러리를 설치해야 합니다.pip install langchain streamlit ollama 그리고 Ollama를 설치하고 원하는 모델(예: llama2)을 다운로드해야 합니다. llama2 는 자동으로 다운로드 됩니다.'''주..

Streamlit으로 PDF 추출기 만들기: 전체 코드 및 단계별 설명Streamlit을 사용하여 PDF 파일의 내용을 추출하고 Markdown 형식으로 변환하는 웹 애플리케이션을 만드는 방법을 단계별로 알아보겠습니다. 이 도구는 PDF 파일을 업로드하고, 내용을 추출한 후 Markdown 형식으로 다운로드할 수 있게 해줍니다.전체 코드먼저 전체 코드를 살펴보겠습니다:import streamlit as stimport osfrom datetime import datetimefrom pdf2image import convert_from_pathimport pytesseractfrom PIL import Imageimport io# Tesseract 경로 설정 (시스템에 따라 다를 수 있음)pytessera..

RAG vs Non-RAG: 지하철 정보 검색 실험이번 포스트에서는 Retrieval-Augmented Generation (RAG)와 일반 언어 모델의 성능을 비교하는 실험을 진행했습니다. 지하철 역 정보를 기반으로 두 방식의 답변 능력을 테스트했습니다.실험 환경운영체제: WSL Ubuntu 22.04데이터: 지하철 역 정보 (약 500줄)샘플 데이터:전철역코드 전철역명 전철명명(영문) 호선 외부코드 전철명명(중문) 전철명명(일문)1904 망월사 Mangwolsa 01호선 112 望月寺 マンウォルサ1007 신도림 Sindorim 01호선 140 新道林 シンドリム1708 금정 Geumjeong ..

Langchain과 Flask로 만드는 영화 검색 프로그램이번 포스팅에서는 Langchain과 Flask를 사용하여 영화 데이터베이스를 자연어로 검색할 수 있는 프로그램을 만드는 방법에 대해 알아보겠습니다. 이 프로그램을 통해 사용자는 웹 UI에서 자연어로 질문하고 영화 정보에 대한 응답을 쉽게 얻을 수 있습니다.1. 프로젝트 개요이 프로젝트의 목표는 다음과 같습니다:Langchain을 사용하여 자연어 질문을 SQL 쿼리로 변환SQLite 데이터베이스에서 영화 정보 검색Flask를 통해 사용자 친화적인 웹 인터페이스 제공2. 데이터 준비먼저, Kaggle에서 "Full TMDB Movies Dataset 2024"를 다운로드하여 SQLite 데이터베이스로 변환해보겠습니다.Kaggle에서 데이터셋 다운로드..

oneMinTTS: 오픈소스 음성 합성 프로젝트 소개안녕하세요, 오늘은 흥미진진한 오픈소스 프로젝트인 oneMinTTS에 대해 소개해드리려고 합니다. oneMinTTS는 고성능 음성 합성과 간소화된 모델 관리를 위해 설계된 프로젝트로, 최근 HuggingFace 🤗 MMS-TTS 모델 지원까지 추가되어 더욱 강력해졌습니다.oneMinTTS의 핵심 특징oneMinTTS는 세 가지 주요 특징으로 요약할 수 있습니다:경량화 (Light-Weight): 200kB 미만의 실행 파일로, 모든 필요한 라이브러리가 포함되어 있습니다. 이는 ONNX 음성 합성 애플리케이션의 빠른 배포와 설치를 가능하게 합니다.빠른 개발 (Agile-Dev): 모델 추론을 위한 C++ 파일 하나와 모델 내보내기를 위한 Python 파..

Piper TTS: 간결한 설치 및 사용 가이드1. Piper 소개Piper는 빠르고 로컬에서 실행 가능한 신경망 기반 텍스트 음성 변환(TTS) 시스템입니다. Raspberry Pi 4에 최적화되어 있으며, 고품질 음성 합성을 제공합니다.로컬 실행, 인터넷 불필요VITS로 학습된 고품질 음성다양한 언어 및 화자 스타일 지원ONNX 런타임 사용으로 빠른 추론2. 설치 및 빌드아래와 같이 piper 저장소를 클론하고 빌드합니다.git clone https://github.com/rhasspy/piper.gitcd pipermake3. 음성 모델 다운로드이 명령어는 영어(미국) 음성 모델 파일을 다운로드합니다. 이 ONNX 파일은 Piper가 텍스트를 음성으로 변환할 때 사용하는 핵심 모델입니다.wget h..

Langchain과 mistral 모델을 이용한 텍스트 요약 예제인공지능 기술의 발전으로 텍스트 요약이 더욱 정교해지고 있습니다. 이번 포스트에서는 Langchain과 mistral 모델을 활용하여 텍스트를 효과적으로 요약하는 방법을 소개하고자 합니다.전체 코드먼저, 텍스트 요약을 위해 사용한 Python 코드 전체를 살펴보겠습니다:import osfrom langchain_community.llms import Ollamafrom langchain.prompts import PromptTemplatefrom langchain.chains.summarize import load_summarize_chainfrom langchain_core.documents import Document# Ollama 모델..

LangChain으로 만드는 AI 강아지 이름 생성기새로운 반려견을 맞이했는데 이름을 짓기 어려우신가요? 아니면 그냥 재미로 독특한 강아지 이름을 만들어보고 싶으신가요? 우리의 AI 강아지 이름 생성기가 도와드리겠습니다! 이 프로젝트는 사용자가 강아지의 특징을 입력하면, AI가 그에 맞는 귀엽고 독특한 이름을 제안해주는 방식으로 작동합니다. LangChain의 강력한 기능과 OpenAI의 언어 모델을 결합하여 만들어졌죠. LangChain과 OpenAI의 GPT 모델을 사용하여 재미있고 창의적인 프로젝트를 만들어보려고 합니다. 🐶 전체코드이 코드는 단순한 사용자 인터페이스를 제공하며, 사용자가 원하는 만큼 반복해서 강아지 이름을 생성할 수 있습니다. 또한 오류 처리를 통해 프로그램의 안정성을 높였습니다..

'24년 7월 현재 ollama 모델 리스트ollama는 강력한 AI 모델들을 로컬 환경에서 쉽게 실행할 수 있게 해주는 혁신적인 플랫폼입니다. 2024년 현재, ollama의 모델 라이브러리는 다양한 용도와 특성을 가진 AI 모델들로 구성되어 있습니다. 이 글에서는 ollama에서 제공하는 주요 모델들을 간략히 소개하고, 이들의 특징을 살펴보겠습니다.ollama 모델은 무엇인가요ollama에서 각 모델은 특정 작업이나 도메인에 최적화된 고유한 AI 도구입니다. 사용자는 자신의 필요에 가장 적합한 모델을 선택하여 텍스트 생성, 코드 작성, 대화, 분석 등 다양한 작업을 수행할 수 있습니다.주요 모델 리스트모델명주요 특징llama2일반적인 텍스트 생성 및 대화에 적합한 Meta AI의 대규모 언어 모델co..