꿈꾸는 사람.

배경 나는 한국의 IT 개발자로 영어로 된 IT 용어를 접할 때 언어의 차이에서 오는 문제로 개념을 파악하는데 어려움이 있다. 한글로 된 멀티모달은 일단 의미가 와닿지 않는다. 그래서 멀티모달(Multimodal)의 언어적 기원과 특징을 찾아보았다. 멀티모달(Multimodal)의 언어적 기원과 특징 멀티모달(multimodal)이라는 용어는 라틴어에서 유래했고 "Multi-"는 '많은'을, "-modal"은 '방식'이나 '모드' 또는 modalis"(모양, 양식)를 의미한다. 따라서 멀티모달은 '여러 가지 방식'이나 '여러 가지 모드'를 동시에 사용한다로 해석한다. 기존 IT 에서의 멀티모달 기존 IT 분야에서의 멀티모달은 사용자 인터페이스(UI)에 관한 문맥에서 많이 사용된다. 예를 들어, 터치스크린..

1. Visual Studio Code에서 OpenAI의 GPT-3 사용하기 개요 OpenAI의 GPT-3은 자연어 응답과 완전한 코드를 생성하는 기능을 갖춘 최첨단 대규모 언어 모델이다. 확장을 통해 GPT-3을 Visual Studio Code에 통합하여 개발자는 이 강력한 도구를 활용하여 보다 효과적이고 효율적으로 코드를 작성하고 분석할 수 있다. 주요 기능 ① GPT-3으로 코드 작성 GPT-3의 코드 작성 기능은 개발자를 위한 게임 체인저로 개발 시간을 절약하고 생산성을 높일 수 있다. Visual Studio Code에서 GPT-3 프롬프트에서 자연어로 요청만 개발자는 코딩 문제에 대한 도움을 받고 코드 조각을 생성하고 전체 함수를 작성할 수도 있다. 특히 개발자는 새로운 프로그래밍 언어를 배..

GPT-3 (Generative Pre-trained Transformer-3, 생성적 사전 학습된 변환기)는 2020년 5월 OpenAI에서 공개한 신경망 언어 모델이다. 이때 GPT-3는 사람이 쓴 것과 구별하기 어려울 정도로 좋은 품질의 대화, 번역이나 작문을 할 수 있어 큰 반향을 일으켰다. 이후 2022년 11월에 OpenAI에서 ChatGPT란 챗봇을 소개했다. ChatGPT는 GPT-3 계역의 대규모 언어 모델을 기반으로 개발되었다. 챗봇은 사람과 대화하는 프로그램인데 ChatGPT는 최신 인공지능 챗봇으로 만물박사와 대화하는 느낌을 준다. ChatGPT를 다양하게 활용할 수 있다. 다음은 일상 생활과 회사 업무에 ChatGPT를 사용한 몇 개의 사례들 보여주어 다양한 활용 가능성을 알아보려..

Apache Spark 개요 Apache Spark는 대용량 데이터 처리를 위한 통합 분석 엔진으로 배치와 스트리밍 데이터를 고성능으로 처리하고 자바, 스칼라, 파이썬, R 등의 다양한 프로그래밍 언어를 지원한다. Apache Spark의 프로그래밍 모델은 클러스터에서 분산 작동하는 RDD(Resilient Distributed Datasets)를 기반으로 한다. 최근 데이터 사이언티스트들이 가장 선호하는 도구들 중의 하나이다. 설치 개요 0. update & upgrade sudo apt update sudo apt-get upgrade 1. Java, scala, git 설치 sudo apt install default-jdk scala git 2. Apache Spark 다운로드 wget https..

시계열 정의 시계열(time series)은 시간에 따라 순차적으로 수행되는 일련의 관찰이다. 시계열 데이터는 시간의 흐름에 따라 관측된 데이터이다. 시계열 분석(Time Series Analysis)은 시계열 데이터를 분석하는 것이고, 시계열 예측(Time Series Forecasting)은 시계열의 정보를 사용하여 해당 시리즈의 미래 값을 예측한다. 시계열 데이터 표시 시계열에서 지연 시간 또는 지연이라고 하는 과거의 시간은 현재 시간에 비해 음수이고, 미래의 시간은 예측하는 데 관심이 있고 현재 시간에 비해 양수이다. 과거와 미래의 시간의 표현은 다음과 같다. t-n : 이전 또는 지연 시간 (예 : 이전 시간에 대한 t-1). t : 현재 시간 및 참조 지점. t + n : 미래 또는 예측 시간..

2021년 4월 17일 빅데이터분석 기사 만들어지고 첫 필기를 치렀다. 통계학과 졸업생이 인공지능을 공부하고 시험치면 합격할 정도의 난이도였다. 출제 경향 기본 개념과 절차에 대한 문제가 많았다. 빅데이터 분석기사 첫 시험이라 난이도가 중간 아래 정도로 설정되었나보다. 확률·통계의 기본이 탄탄하지 않으면 2과목에서 과락 1과목은 기념 개념, 절차 등이 주로 출제되었다. 특히, 개인정보보호법 2문제와 비식별화 조치에서 2문제가 출제되었다. 2과목 다수의 통계 관련 문제(5문제 이상)가 나왔고 정확한 수식의 이해와 계산이 필요해 제일 어려웠다. 과락은 이 과목에서 많이 나올 듯하다. 3 ~ 4 과목은 평이한 난이도였으며 confusion matrix에서 다수(3~4)문제가 출제되었다. 무난하게 필기는 통과할..

이 글은 공식 Tensorflow를 사용할 수 없는 환경을 가진 사용자가 소스에서 빌드하여 적합한 Tensorflow를 설치하는 방법을 제시하는 것이다. 공식 커뮤니티에서 제공하는 Tensorflow 바이너리는 최신 하드웨어를 기본으로 제공되어 구형이나 최신 CPU/GPU를 지원하지 않는다. 특히 virtualbox와 같은 가상 머신은 CPU의 AVX, AVX2와 같은 CPU 명령어를 지원하지 않아 도커 기반의 Tensorflow를 실행하면 core dump의 오류가 발생하여 사용할 수 없다. 이 경우 Tensorflow 플랫폼을 다시 컴파일해야 할 때 사용할 수 있는 방법을 제공한다. 소스에서 빌드하는 방법의 개요 1. 빌드 환경을 설정 tensorflow 커뮤니티에서 제공하는 도커 이미지를 받고 실행..

1. GPU 관련 설치 1.1. NVIDIA Graphics Driver 설치 그래픽 카드가 실행할 수 있는 최신 드라이버 버전을 확인 후 다운로드하여 설치한다. 사용 가능한 드라이버에 따라 각 그래픽 카드마다 명령이 다르며 아래와 같은 명령으로 설치할 수 있다. $ sudo apt-get install nvidia-XYXYX 설치가 완료되면 컴퓨터를 반듯이 재 부팅해야 한다. 시스템이 재개 된 후 드라이버가 올바르게 설치되었는지 확인할 수 있다. $ nvidia-smi 1.2. CUDA 도구 설치 CUDA 도구 및 호환 드라이버 버전은 아래 표와 같다. CUDA Toolkit Linux x86_64 Driver Version Windows x86_64 Driver Version CUDA 10.2.89 ..

구글의 텐서플로를 배우려면 파이썬을 먼저 설치해야 한다. 1. 파이썬 다운로드 파이썬 홈페이지(https://www.python.org/)에서 64비트 버전(https://www.python.org/downloads/windows/)을 다운로드한다. 2. 파이썬 설치하기 인스톨러를 실행하고 [Customize installation]을 선택하여 개발에 필요한 도구와 환경을 한 번에 설정한다. 파이썬 패키지 관리 프로그램인 pip와 IDE 환경은 반드시 설치한다. 파이썬이 어디에서나 실행되도록 환경변수에 추가한다. 성공적으로 설치가 끝났다. 3. 파이썬 실행하기 프로그램 메뉴에서 파이썬을 찾아 [Python 3.7(64-bit)]를 실행한다. 실행 후 간단히 튜토리얼을 실행하고 동작을 확인한다.

AI Vision Development kit 최근 인공지능을 적극적으로 활용하는 분야 중 하나가 비전이다. 비전은 센서를 통해 획득한 영상 정보를 처리하므로 IoT 중요 서비스로 떠오르고 있다. 또한 비전 분야는 클라우드 컴퓨팅에서 처리하기 전 현장(Edge)에서 즉시 처리하기 위한 에지 컴퓨팅에 이용가치가 높다. 비전으로 영상을 가공할 때 AI를 적용하는 것이 현재의 경향이다. AI의 딥러닝, CNN 등으로 영상을 학습 후 원하는 인물, 사물, 행위 등을 추론해 내는데 비전, IoT, 에지 컴퓨팅, AI이 함께 쓰인다. 때문에 여러 용어들이 쓰이고 난무하는데 AI Edge, AI Vision tool kit, IoT Development kit 등으로검색하면 유용한 자료들을 찾을 수 있다. 이들 분야..