Back-End (116) 썸네일형 리스트형 Elasticsearch 설명서와 함께하는 Elasticsearch 기본 개념 살펴보기 Elasticsearch 가이드북을 읽으면서 공부하던 와중, 클러스터, 노드, 샤드 등 모르는 용어들이 등장했다. 그래서 개념을 먼저 익히고 넘어가려고 검색하던 와중에 Elasticsearch 설명서를 발견하였다. 이 설명서를 읽으면서 기본 개념을 먼저 공부하기로 했다. NRT (Near RealTime) Elasticsearch는 NRT 검색 플랫폼이다. 즉, 도큐먼트를 색인화(indexing)하는 시점부터 도큐먼트 검색이 가능해지는 시점까지 약간의 대기 시간(대개 1초)이 있다. 이는 Elasticsearch 가이드북의 Elasticsearch 특징 중 실시간 분석 부분에서도 서술되어 있다. 클러스터 하나 이상의 노드(서버)가 모인 것 전체 데이터를 저장하고, 모든 노드를 포괄하는 통합 색인화(ind.. Elastic 가이드북과 함께 Elasticsearch 공부하기 Elastic 가이드북을 꼼꼼히 살펴보면서 Elasticsearch를 공부하고 사용법을 익히자! (이 가이드북은 Elastic Stack 7.x 버전을 기준으로 설명하고 있다.) (➕) 2021.10.20 - [분류 전체보기] - Elasticsearch 설명서와 함께하는 Elasticsearch 기본 개념 살펴보기 Intro 데이터 홍수의 세상에서 데이터 분석 및 처리하는 일이 중요해졌다. Elasticsearch가 나온 지도 벌써 9년이 넘었고, 현재 가장 인기 있는 오픈소스 검색엔진이 되었다. 처음에는 전문 검색 엔진(Full-text search engine)으로 개발되었지만, 보안, 로그분석, 전문분석 등 다양한 영역으로 확장하였고 현재는 Kibana, Logstash, Beats와 함께 다양한.. JavaScript TDD 보호되어 있는 글입니다. SQA, CI/CD, TDD 보호되어 있는 글입니다. [mongoDB] $inc 보호되어 있는 글입니다. [패스트캠퍼스:Node.js 올인원] 크롤링 / Puppeteer 1. 크롤링 개념 1.1 크롤링 도서관에 무한이 많은 책이 있다. 이 책들 중 내가 원하는 책을 찾아야만 한다. 웹은 이 도서관과 같다. 웹 또한 계속하여 정보가 늘어나고 있고, 이 정보들을 검색할 수 있게끔 어딘가에 저장하여 관리해야 한다. 이를 위해 만들어진 것이 크롤링(crawling)이고, 그것을 소프트웨어로 만든 것이 크롤러(crawler)이다. 1.2 크롤러 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램 - 위키백과 달라지는 웹 트렌드에 따라서 크롤러는 이에 맞춰서 자동화된 방법으로 데이터를 수집할 수 있어야 한다. 따라서 크롤러는 정교하고 어려운 기술이다. 크롤러가 작동하는 과정 먼저 씨앗이라 불리는 사이트들(Seeds)을 정한다. 이 출발점으로 시작으로부터 크롤링을 .. NPM과 NPX [번역] 그래, npx! npm말고 — 차이점 설명 최근에 리액트를 배우기 시작했을 때, 나는 많은 사람들이 (나를 포함해서) 잘 알려진 npm대신 npx를 보고 헷갈려하는 것을 보았습니다. 우리중에 몇몇은 이상하다고 느꼈지만 별로 깊게 생각하지 velog.io readFile(비동기)와 readFileSync(동기)의 차이 fs fs는 노드가 기본적으로 제공하는 FileSystem 모듈로, opendir, readdir, closedir 등 다양한 디렉토리 메서드를 제공한다. readFile과 readFileSync readFile(비동기) 다음 예제를 살펴보면서 콘솔 결과를 예상해보자. // test.txt readFile const fs = require('fs'); fs.readFile('./test.txt', 'utf-8', (err, data) => { if (err) throw err; console.log(data); }); console.log('1'); 콘솔 결과는 '1' ➡ 'readFile' 이다. 일반적으로 프로그램은 코드 순서대로 진행될 것이라고 생각한다. 하지만 비동기 처리는 그렇지 않다. 순서대로.. 이전 1 2 3 4 5 ··· 15 다음
