꿈꾸는 사람.

이전 글에 "확률과 베이지안 확률"을 알아보았다. 이번 글은 통계학에 대한 것이다. 통계학(統計學, Statistics) 통계학은 데이터를 관찰, 정리 및 분석하는 학문으로 자연과학 뿐만 아니라 사회과학에서도 중요한 학문이다. 통계학의 종류 기술 통계학(記述 統計學, descriptive statistics) - 모집단의 데이터의 특징을 파악 및 요약하는 방법 - 측정이나 실험으로 수집된 데이터에서 객관적 사실을 나타내는 통계적 방법이다. 추측 통계학 (inferential statistics) - 모집단의 특징을 관측 데이터인 표본에서 파악하는 통계학 - 일반적인 통계학인 빈도주의 통계학과 지식, 경험 또는 새로운 데이터를 통해 분석 및 예측하는 베이즈 통계학 등이 있다. 기술 통계학(記述 統計學, d..

한국에서 온프레미스(on-premise)에서 클라우드 컴퓨팅으로 전환이 이제 본격적으로 이루어지고 있다. 이미 IT 선진국에서는 도입을 넘어 본격 확산되고 있는 상황에 비추어 상당히 늦었다고 본다. 클라우드 컴퓨팅 도입에 앞서 정의와 특성을 알아보고 도입 절차를 알아보자. 클라우드 컴퓨팅의 정의 하드웨어 , 소프트웨어 , 데이터 등 IT 자원을 네트워크를 통해 표준화된 서비스 형태로 제공하는 컴퓨팅 모델로 사용자는 언제 , 어디서나 , 어떤 단말을 통해서도 원하는 만큼 IT 자원을 이용하고 사용한 만큼 비용을 지불하는 컴퓨팅 모델 클라우드 컴퓨팅의 특징 1. 동적 확장 가능한 인프라스트럭처 사용자들은 필요에 따라 컴퓨팅 환경을 구축하고 원하는 만큼 컴퓨팅 리소스를 활용할 수 있다. 운영 중 컴퓨팅 자원이..

인공지능을 수행한 여러 사업 중 실제 만족스러운 결과를 낸 것은 AI-OCR이 유일하다. 챗봇에 적용된 자연어 처리 모델은 심심이 보다 못하고 IoT에 적용된 시계열 모델은 실제 데이터는 획득하기도 전에 프로젝트가 종료되었다. 코인투자의 광풍이 꺼지는 지금 다시 주식에 관심을 돌려 주식투자에 인공지능 모델을 적용해 보려 한다. 그전에 왼편 그림에 소개한 책에서 아이디어를 빌려보자. 책에서 소개한 개발환경과 달리 본 포스팅에서 구축한 개발환경은 아래와 같다. 구축 환경의 차이는 tensorflow의 개발환경(pip, 도커도 구식이고 쿠버네티스를 권장하고 있다.)이 더 익숙하기 때문이다. 파이썬 설치 64비트 3.x 버전 (3.9.5가 최신임) 파이썬 가상환경 설치 python -m venv --system..

인공지능 모델을 개발하고 웹으로 간단히 테스트할 목적으로 flask를 사용하려 한다. powershell에서 가상 환경을 만들고 flask를 설치하려고 한다. 가상 환경 설치 C:> python3 -m venv venv Python3 사용할 때 권장하는 명령 C:> pip install virtualenv Python2 사용할 때 권장하는 명령 가상 환경 활성화 활성화 명령 > venv\Scripts\activate 비활성화 명령 (venv) > deactivate 실제 활성화 명령을 실행했을 때 아래 문제 발생 활성화 명령이 실패한 원인 가상화 실행 명령은 스크립트를 실행해야 하는데 PowerShell이 이를 제한하기 때문이다. PowerShell 실행 정책 PowerShell의 실행 정책은 Power..

시계열 정의 시계열(time series)은 시간에 따라 순차적으로 수행되는 일련의 관찰이다. 시계열 데이터는 시간의 흐름에 따라 관측된 데이터이다. 시계열 분석(Time Series Analysis)은 시계열 데이터를 분석하는 것이고, 시계열 예측(Time Series Forecasting)은 시계열의 정보를 사용하여 해당 시리즈의 미래 값을 예측한다. 시계열 데이터 표시 시계열에서 지연 시간 또는 지연이라고 하는 과거의 시간은 현재 시간에 비해 음수이고, 미래의 시간은 예측하는 데 관심이 있고 현재 시간에 비해 양수이다. 과거와 미래의 시간의 표현은 다음과 같다. t-n : 이전 또는 지연 시간 (예 : 이전 시간에 대한 t-1). t : 현재 시간 및 참조 지점. t + n : 미래 또는 예측 시간..

인공신경망을 이루는 퍼셉트론(perceptron)은 입력과 가중치를 곱한 것을 합하여 활성 함수를 통해 판단한다. 입력 데이터에 곱하는 가중치는 확률/통계 개념을 사용한다. 따라서 확률과 통계가 인공지능에 추가되었다는 뜻이다. 이번 글에서는 확률을 간단히 설명하고 인공지능에 적용된 베이지안 확률을 알아본다. 확률 확률(確率)은 사건이 발생할 가능성을 수치로 설명하는 방법이다. 사건의 확률은 0과 1 사이의 숫자로 표시되며 0은 불가능한 사건을 1은 확실한 사건을 말한다. 확률에 대한 수학적 용어를 정리해 보자. 용어 표기 설명 표본 공간 (sample space) Ω 가능한 모든 결과의 모음 사건 (event) 표본 공간의 부분 집합 사건 A의 확률 P(A), p(A) 또는 Pr(A) 여사건 A', AC..

2021년 4월 17일 빅데이터분석 기사 만들어지고 첫 필기를 치렀다. 통계학과 졸업생이 인공지능을 공부하고 시험치면 합격할 정도의 난이도였다. 출제 경향 기본 개념과 절차에 대한 문제가 많았다. 빅데이터 분석기사 첫 시험이라 난이도가 중간 아래 정도로 설정되었나보다. 확률·통계의 기본이 탄탄하지 않으면 2과목에서 과락 1과목은 기념 개념, 절차 등이 주로 출제되었다. 특히, 개인정보보호법 2문제와 비식별화 조치에서 2문제가 출제되었다. 2과목 다수의 통계 관련 문제(5문제 이상)가 나왔고 정확한 수식의 이해와 계산이 필요해 제일 어려웠다. 과락은 이 과목에서 많이 나올 듯하다. 3 ~ 4 과목은 평이한 난이도였으며 confusion matrix에서 다수(3~4)문제가 출제되었다. 무난하게 필기는 통과할..

배경 딥러닝을 개발에 리눅스를 사용하려 컴퓨터에 VirtualBox 깔고 Ubuntu 20.04 설치해 개발한다. 이때 단순히 공유폴더가 아닌 통신을 통해 호스트에서 게스트에 액세스 할 필요가 있다. VirtualBox에서 Ubuntu 20.04 설치할 때 네트워크를 기본으로 설정하면 호스트에서 게스트에 접근할 수 없다. 아래 절차는 VirtualBox에 호스트 전용 네트워크를 설정하고 게스트를 연결하는 방법이다. 1. 게스트 시스템이 실행 중이면 종료한다. 2. VirtualBox 매니저에서 '파일 > 호스트 네트워크 관리자'를 선택한다. 3. '속성 탭 > DHCP 서버 > 서버 주소'를 보면 게스트의 IP 주소가 192.168.56.100으로 설정되어 있다. 원하는 주소로 변경할 수 있고 여기서는 ..

이 글은 공식 Tensorflow를 사용할 수 없는 환경을 가진 사용자가 소스에서 빌드하여 적합한 Tensorflow를 설치하는 방법을 제시하는 것이다. 공식 커뮤니티에서 제공하는 Tensorflow 바이너리는 최신 하드웨어를 기본으로 제공되어 구형이나 최신 CPU/GPU를 지원하지 않는다. 특히 virtualbox와 같은 가상 머신은 CPU의 AVX, AVX2와 같은 CPU 명령어를 지원하지 않아 도커 기반의 Tensorflow를 실행하면 core dump의 오류가 발생하여 사용할 수 없다. 이 경우 Tensorflow 플랫폼을 다시 컴파일해야 할 때 사용할 수 있는 방법을 제공한다. 소스에서 빌드하는 방법의 개요 1. 빌드 환경을 설정 tensorflow 커뮤니티에서 제공하는 도커 이미지를 받고 실행..

배경 4차 산업 혁명의 요소 기술 중 사물인터넷(IoT)이 데이터를 생성하고, 빅 데이터(Big data)rk 이렇게 생성된 방대한 데이터를 처리하며, 인공지능이 인간을 대신하여 스스로 최적의 해법을 제시한다. 또한, 클라우드 컴튜팅이 데이터 저장, 처리 등에 가상화된 컴퓨팅 리소스를 즉시 제공(on-demand)하기 위해 사용된다. 이런 요소 기술에서 공통이 테이터이며 비 기술적인 관계자들은 종종 데이터를 더 쉽게 이해하기 위해 맞춤형이며 대화형 시각화를 위해 동적 대시보드를 원한다. 데이터를 다루는 대시보드는 다음 네 가지 기능은 최소한으로 제공하여야 한다. 분석: Numpy, Panda, SciPy와 같은 핵심 패키지를 통한 데이터 분석, 조작과 요약한다. 시각화: 다양한 그래프 라이브러리를 사용하..