생성형 AI가 대세인 요즘 시대에 맞춰 점점 더 빅데이터 처리 기술의 중요성이 높아지고 있다.데이터를 빠르게 수집하고 안정적으로 저장 및 관리하며 꺼내 쓸 수 있어야한다.하둡(Haddop)은 'High-Availability Distributed Object-Oriented Platform' 를 의미하며,아파치 재단 관...
생성형 AI를 더 풍부하게 해주는 멀티모달 개념을 알아두면 좋아 간단히 정리해보고자 한다.멀티모달은 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 처리하고 이해하는 기술이다.삼성의 '빅스비' 와 애플의 '쉬리' 도 오디오 기반의 멀티모달 AI의 한 예시로 보면 되며,Chat GPT의 앱으로 만들어진 DALL...
Jupyter Notebook은 대화형 인터페이스로 코드를 작은 단위로 빠르게 작성해 실행가능하게 해주는 툴이다.코드 셀이라는 작은 단위로 코드를 입력하여 바로 실행가능한 환경을 제공하며설명 텍스트와 함께 시각화도 가능하며 빠르게 프로토타이핑을 해볼 수 있는 장점들이 있으며, 데이터 분석에도 많이 활용되기도 한다.py...
똑똑한 생성형 AI를 만드는데 필수로 알아야할 프롬프트 엔지니어링(Prompt engineering)에 대해 알아보자.예를들어 LLM을 이용해 음식 레시피를 알려주는 생성형 AI 서비스를 만든다고 가정해보자.서비스의 이름은 '레시피 봇' 으로 정했고 채팅앱을 만들어서 사용자에게 질문을 받기로 했다.사용자가 '된장찌개' ...
사전 준비Docker or RancherDesktop 설치Docker 기본 지식 (혹시나 충분히 학습을 하지 못했더라도 일단 따라해보고 공부해보는것도 방법)배치 작업의 스케쥴링 관리를 위해 맥 M1에서 Apache Airflow를 설치하려고한다.Installation of Airflow 에 보면 다양한 설치 방법이 있...
TimescaleDB?TimescaleDB는 시계열DB이며 오픈소스이다.RDBMS인 PostgreSQL를 기반에 Extension으로 설치되어 동작하며, RDBMS 구조를 함께 사용 할 수 있는 장점이 있다.이전에 소개했던 InfluxDB 에서는 일반적으로 사용되는 쿼리 언어가 아닌 InfluxDB만의 문법을 이용해야 질...
DBeaver 소개귀여운 비버를 연상시키는 DBeaver 는 무료로 사용하기 좋은 DB 연결 클라이언트다.Windows와 Mac 둘 다 지원하며,Mysql, Postgresql, Oracle, Sqlite, AWS의 OpenSearch, Apache Spark, Clickhouse 등 다양한 DB를 지원하는 오픈 소스이다...
시계열 DB를 이용하려고 InfluxDB와 TimescaleDB를 후보지에 올려두고 조사중이다.InfluxDB는 이전에 포스팅 해두었고 이번에 TimescaleDB를 연구해보고자 오랜만에 Postgresql를 설치하려고한다.참조 - InfluxDB 관련 포스팅설치 환경은 Mac M1에서 진행하며 Homebrew를 이용해 ...
이전글 - 시계열 데이터베이스 InfluxDB 사용해보기 - 4편 - 데이터 다루기서론지난 파트에서는 데이터를 다루기 위한 방법들을 알아보았다.이번에는 파이썬(Python)을 이용해 프로그래밍 방식으로 데이터를 직접 다루어보자.주식의 종목별 일자 가격 정보를 저장하는 것을 예시로DB에 접속하는 방법과 CRUD 기본 예시를...
이전글 - 시계열 데이터베이스 InfluxDB 사용해보기 - 3편 - 데이터 구조InfluxDB 데이터 다루기InfluxDB에서 데이터를 다루는 방법은 4가지가 있다.1. Influx CLIMac OS의 터미널이나 윈도우의 파워쉘에서 influx 명령어를 이용하는 방법이다.아래와 같은 예시로 터미널에서 데이터를 다룰 수 ...
이전글 - 시계열 데이터베이스 InfluxDB 사용해보기 - 2편 - 설정InfluxDB는 RDBMS에서 사용되는 테이블 구조와 다른 개념들을 사용한다.데이터를 다루기 전에 InfluxDB에서는 데이터를 어떤 형식과 단위로 저장을 하는지 알아보자.Influx DB 데이터 구조Bucket시계열 데이터를 저장하기 위한 데이터...
서론퀀트 프로그램을 만들다보면 시간 단위의 데이터 속성을 주로 만나게 된다.데이터가 그리 많지 않다면 Mysql과 같은 RDBMS에 데이터를 밀어 넣어도 되지만,분단위, 초단위의 데이터까지 저장하려다보면 데이터 사이즈도 커지고 RDBMS로는 한계에 부딪힌다.몇년전에 시계열 DB 존재에 대해 알게되었으나 드디어 직접 써볼...