쇼핑 상품 카테고리 분류에서의 Multimodal Machine Learning

이 글에서는 왜 Multimodal Machine Learning에 대해 Survey를 시작하게 되었는지, 어떻게 진행하고 있는지에 대해 설명한다.

Yes24 책 추천 알고리즘, 어떻게 구현했나

얼마전 한국 정보화 진흥원이 관리하는 개방형 문제해결 플랫폼에 올라온 Yes24 도서 추천 알고리즘 대회가 종료되었다.

PMI를 이용한 Twitter 데이터에서의 이슈 키워드 추출

제 1회 빅데이터 경진대회

Yes24 책 추천 알고리즘 분석 대회 후기

얼마전 한국 정보화 진흥원이 관리하는 개방형 문제해결 플랫폼에 올라온 Yes24 도서 추천 알고리즘 대회가 종료되었다.

Spark & 머신 러닝 - Anomaly Detection

이 포스트는 K-means Clustering을 이용하여 네트워크 트래픽에서의 비정상 트래픽을 감지해 내는 과정에 대한 내용을 담고 있다. 이 장에서 수행한 결과는 수행시마다 바뀌기 때문에, 수행 결과가 이 문서에서 제시하는 결과와 완벽히 일치하지 않는다.

Spark & 머신 러닝 - Predicting Forest Cover

이 포스트는 Decision Tree를 이용해서 미국 콜로라도의 한 지역을 덮고 있는 숲의 종류를 예측하는 과정에 대한 글이다.

Spark & 머신 러닝 - Recommending Music - 2/2

지난 포스트에 이어 ALS를 이용한 추천 알고리즘의 성능을 평가하는 과정에 대한 글이다.

Spark & 머신 러닝 - Recommending Music - 1/2

이 글에서는 Spark를 이용하여 추천을 수행하는 과정에 대해 설명한다. Audioscrobbler Dataset 를 이용하여 사용자가 좋아할 만한 음악을 추천해 주는 작업을 할 것이다.

Spark & 머신 러닝 - Introduction to Spark

이 글에서는 Spark가 어떤 형태로 동작하는지 설명하고 간단한 예시를 통해 Spark에 적응하는 과정을 설명한다.

Spark & 머신 러닝 - Overview

이 글들은 Advanced Analytics with Spark를 공부하면서 정리한 글이다.

HBase Pseudo-distributed Mode 설치법

이 문서는 OS X 에서 HBase를 설치하고, Hadoop2 와 연동하는 방법에 대한 글입니다. Pseudo Distributed Mode로 설치하고 실행하는 과정입니다. Java Client API 를 이용하여 간단한 테스트까지 수행합니다.

Spark RDD의 함수 동작 방식

이 글은 Spark의 RDD에 존재하는 함수들이 어떤 방식으로 동작되는지에 대한 글입니다. Spark 의 공식 Documentation을 일부 번역하였습니다. 또한, Java 기준으로 설명 할 것이며, Scala 로 된 버전은 추후에 추가 작성할 계획입니다. 번역하기에 적절치 않은 용어들은 영문 단어 그대로 남겨놓았습니다.

Spark 기반의 추천 알고리즘 수행

이 글은 Spark를 기반으로 하여 추천 알고리즘을 수행하는 과정에 대한 것입니다. 추천에 사용되는 데이터셋은 MovieLens를 기준으로 하였습니다.

Spark 기반의 Wordcount 예제 수행하기

이 글은 Spark 기반의 Wordcount Application을 작성하고, 그것을 YARN을 통해 deploy 하는 과정에 대한 설명입니다.

Spark 1.1.0 설치, Hadoop 2.5.1과의 연동

이 글은, OS X에 Spark 1.1.0을 설치하고, Hadoop 2.5.1 의 Yarn과 연동시키는 과정에 대한 글입니다. 실제 Hadoop Cluster에 Spark Job을 제출하기 전에 Local 에서 테스트 하기 위한 환경을 구축하기 위해 필요한 작업입니다.

OS X에 Hadoop 2.5.1 설치하기

이 글은, OS X 에 Hadoop2.5.1을 설치하고, 정상적으로 설치가 되었는지 테스트 하는 방법에 대한 글입니다. 실제 Cluster에 Hadoop 관련 Job을 제출하기 전에 Local에서 테스트 하기 위한 환경을 구축하기 위해 필요한 작업입니다.