General AI

Streamlit과 Langchain으로 만드는 LLaMA 3.1 기반 챗봇최신 LLaMA 3.1 모델을 활용하여 실시간 토큰 생성 속도를 보여주는 대화형 챗봇을 만드는 방법을 알아보겠습니다. 이 프로젝트에서는 Streamlit을 사용해 웹 인터페이스를 구축하고, Langchain을 통해 LLaMA 모델을 사용하겠습니다.1. 프로젝트 설정먼저, 우리의 개발 환경을 설정해 봅시다.가상 환경 생성프로젝트의 의존성을 관리하기 위해 가상 환경을 사용하는 것이 좋습니다.python -m venv chatbot_envsource chatbot_env/bin/activate # Windows: chatbot_env\Scripts\activate필요한 패키지 설치pip install streamlit langchai..

RAG vs 파인튜닝: AI 모델 최적화의 두 가지 접근인공지능(AI) 기술이 발전함에 따라, 대규모 언어 모델(LLM)을 활용하는 방법도 다양해지고 있습니다. 오늘은 그 중에서도 주목받고 있는 두 가지 접근법, RAG(Retrieval-Augmented Generation)와 파인튜닝(Fine-tuning)에 대해 알아보겠습니다.RAG: 실시간 정보 검색의 힘RAG는 '검색 증강 생성'이라고 번역할 수 있습니다. 이 방식은 AI 모델이 답변을 생성할 때 외부 데이터베이스나 지식 저장소에서 관련 정보를 실시간으로 검색하여 활용합니다.RAG의 장점:최신 정보 활용: 실시간으로 업데이트되는 정보를 활용할 수 있습니다.유연성: 기본 모델을 변경하지 않고도 새로운 정보를 쉽게 추가할 수 있습니다.메모리 효율: ..

한국어 잘하는 로컬모델로 챗봇 만들기한국어에 특화된 로컬 언어 모델을 사용하여 챗봇을 만드는 방법을 소개해드리려고 합니다. 이 프로젝트에서는 Llama-3 한국어 모델과 Ollama, 그리고 Streamlit을 활용하여 간단하면서도 강력한 챗봇을 구현하겠습니다.이 프로젝트에서는 Llama-3 기반의 한국어 모델을 사용하여 챗봇을 만들고, 두 가지 다른 버전의 모델 성능을 비교해 보겠습니다.Ollama 설치 및 모델 생성Ollama 설치 관련된 내용은 이전 포스팅 [ollama 소개 및 WSL 환경 설정] 를 참고하세요. Ollama가 설치되면, 다음 단계로 모델을 생성해야 합니다. 우리는 두 가지 버전의 Llama-3 한국어 모델을 사용할 것입니다:Llama-3-Open-Ko-8B-FP16 (링크)Lla..

Whisper 모델로 음성을 텍스트로 변환하기음성을 텍스트로 변환하는 기술, 즉 음성 인식(Speech Recognition)은 인공지능 분야에서 꾸준히 발전해 왔습니다. 그 중에서도 OpenAI에서 개발한 Whisper 모델은 최근 주목받고 있는 강력한 도구입니다.Whisper 모델이란?Whisper는 OpenAI에서 2022년 9월에 공개한 오픈소스 음성 인식 모델입니다. 이 모델은 다음과 같은 특징을 가지고 있습니다:다국어 지원: 영어뿐만 아니라 한국어를 포함한 다양한 언어를 인식할 수 있습니다.강력한 성능: 노이즈가 있는 환경에서도 우수한 인식 성능을 보여줍니다.다목적성: 음성 인식, 번역, 언어 식별 등 다양한 작업을 수행할 수 있습니다.오픈소스: 누구나 자유롭게 사용하고 개선할 수 있습니다.애..

RAG vs Non-RAG: 지하철 정보 검색 실험이번 포스트에서는 Retrieval-Augmented Generation (RAG)와 일반 언어 모델의 성능을 비교하는 실험을 진행했습니다. 지하철 역 정보를 기반으로 두 방식의 답변 능력을 테스트했습니다.실험 환경운영체제: WSL Ubuntu 22.04데이터: 지하철 역 정보 (약 500줄)샘플 데이터:전철역코드 전철역명 전철명명(영문) 호선 외부코드 전철명명(중문) 전철명명(일문)1904 망월사 Mangwolsa 01호선 112 望月寺 マンウォルサ1007 신도림 Sindorim 01호선 140 新道林 シンドリム1708 금정 Geumjeong ..

Langchain과 mistral 모델을 이용한 텍스트 요약 예제인공지능 기술의 발전으로 텍스트 요약이 더욱 정교해지고 있습니다. 이번 포스트에서는 Langchain과 mistral 모델을 활용하여 텍스트를 효과적으로 요약하는 방법을 소개하고자 합니다.전체 코드먼저, 텍스트 요약을 위해 사용한 Python 코드 전체를 살펴보겠습니다:import osfrom langchain_community.llms import Ollamafrom langchain.prompts import PromptTemplatefrom langchain.chains.summarize import load_summarize_chainfrom langchain_core.documents import Document# Ollama 모델..

LangChain으로 만드는 AI 강아지 이름 생성기새로운 반려견을 맞이했는데 이름을 짓기 어려우신가요? 아니면 그냥 재미로 독특한 강아지 이름을 만들어보고 싶으신가요? 우리의 AI 강아지 이름 생성기가 도와드리겠습니다! 이 프로젝트는 사용자가 강아지의 특징을 입력하면, AI가 그에 맞는 귀엽고 독특한 이름을 제안해주는 방식으로 작동합니다. LangChain의 강력한 기능과 OpenAI의 언어 모델을 결합하여 만들어졌죠. LangChain과 OpenAI의 GPT 모델을 사용하여 재미있고 창의적인 프로젝트를 만들어보려고 합니다. 🐶 전체코드이 코드는 단순한 사용자 인터페이스를 제공하며, 사용자가 원하는 만큼 반복해서 강아지 이름을 생성할 수 있습니다. 또한 오류 처리를 통해 프로그램의 안정성을 높였습니다..

'24년 7월 현재 ollama 모델 리스트ollama는 강력한 AI 모델들을 로컬 환경에서 쉽게 실행할 수 있게 해주는 혁신적인 플랫폼입니다. 2024년 현재, ollama의 모델 라이브러리는 다양한 용도와 특성을 가진 AI 모델들로 구성되어 있습니다. 이 글에서는 ollama에서 제공하는 주요 모델들을 간략히 소개하고, 이들의 특징을 살펴보겠습니다.ollama 모델은 무엇인가요ollama에서 각 모델은 특정 작업이나 도메인에 최적화된 고유한 AI 도구입니다. 사용자는 자신의 필요에 가장 적합한 모델을 선택하여 텍스트 생성, 코드 작성, 대화, 분석 등 다양한 작업을 수행할 수 있습니다.주요 모델 리스트모델명주요 특징llama2일반적인 텍스트 생성 및 대화에 적합한 Meta AI의 대규모 언어 모델co..

ollama vs llama.cpp: 로컬 LLM 실행의 두 가지 접근 방식인공지능과 대규모 언어 모델(LLM)의 발전으로, 이러한 강력한 도구를 로컬 환경에서 실행하고자 하는 수요가 늘어나고 있습니다. 이러한 요구에 부응하여 등장한 두 가지 주요 솔루션인 ollama와 llama.cpp에 대해 자세히 살펴보고 비교해 보겠습니다.1. 개요ollamaollama는 다양한 LLM을 로컬 환경에서 쉽게 실행하고 관리할 수 있게 해주는 플랫폼입니다. 사용자 친화적인 인터페이스와 다양한 모델 지원이 특징입니다.llama.cppllama.cpp는 Meta의 LLaMA 모델을 C/C++로 구현하여 CPU에서 효율적으로 실행할 수 있게 해주는 라이브러리입니다. 저수준 최적화와 경량화에 중점을 둡니다.2. 상세 비교2...