웹 크롤러란? 로봇(robot) 또는 스파이더(Spider)라고 부름 검색 엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 컨텐츠르 찾아내는 것이 주된 목적 -> 몇개의 Web Page 에서 시작해서 그 링크를 따라 나가며 새로운 콘텐츠를 수집한다... 크롤러가 이용되는 곳들 ? 1. 검색 엔진 인덱싱(Search Engine Indexing) 크롤러가 제일 보편적으로 사용되는 곳 웹 페이지를 모아 검색 엔진을 위한 로컬 인덱스(local index)를 만듬 ex) Googlebot - 구글(Google) 검색 엔진이 사용하는 웹 크롤러 2. 웹 아카이빙(Web Archiving) 나중에 사용할 목적으로 장기보관을 위해 웹에서 정보를 모으는 절차를 말함 ex) 미국 국회 도서관(US Librar..

1단계. 문제 이해 및 설계 범위 확정 예시 시스템의 기본적 기능 1. URL 단축기: 주어진 긴 URL을 훨씬 짧게 줄인다. 2. URL 리디렉션(Redirection): 축약된 URL로 HTTP 요청이 오면 원래 URL로 안내 3. 높은 가용성과 규모 확장성, 그리고 장애 감내가 요구 2단계. 개략적 설계안 제시 및 동의 구하기 API 엔드포인트 클라이언트는 서버가 제공하는 API 엔드포인트를 통해 서버와 통신 URL 단축기 - (일반적) 2개의 엔드포인트 요구 1. URL 단축용 엔드포인트 새 단축 URL을 생성하고자 하는 클라이언트 -이 엔드포인트에 단축할 URL을 인자로 실어서 POST 요청 POST /api/v1/data/shorten 인자: {longUrl: longURLstring} 반환:..

'auto_increment 속성이 설정된 관계형 데이터베이스의 기본 키를 쓰면 되지 않을까?' -> 분산 환경에서는 이 접근법이 안 먹힐텐데.. DB 한대로는 요구를 감당할 수 없음 -> 여러 DB server를 쓰는 경우에는 지연 시간(delay)을 낮추기가 무척 힘들 것 1단계. 문제 이해 및 설계 범위 확정 * ID는 유일해야 한다. * ID는 숫자로만 구성되어야 한다. * ID는 64비트로 표현될 수 있는 값이어야 한다. * ID는 발급 날짜에 따라 정렬 가능해야 한다. * 초당 10,000개의 ID를 만들 수 있어야 한다. 2단계. 개략적 설계안 제시 및 동의 구하기 분산 시스템에서 유일성이 보장되는 ID를 만드는 여러 가지 방법 * 다중 마스터 복제 (multi-master replicati..

해야할 것 - 질문을 통해 확인하라(clarification). 스스로 내린 가정이 옳다고 믿고 진행하지 말자. - 문제의 요구사항을 이해하라. - 정답이나 최선의 답안 같은 것은 없다는 것을 명심하라. 쉽게 예를 들자면, 스타트업을 위한 설계안과 수백만 사용자를 지원해야 하는 중견기업을 위한 설계안이 같을 리가 없다. 요구사항을 정확하게 이해했는지 다시 확인하라. - 면접관이 여러분의 사고 흐름을 이해할 수 있도록 하라. 면접관과 소통하자. - 가능하다면 여러 해법을 함께 제시하라. - 개략적 설계에 면접관이 동의하면, 그때 각 컴포넌트의 세부사항을 설명하기 시작하라. 가장 중요한 핵심 컴포넌트부터 진행하라. - 면접관의 아이디어를 이끌어 내라. 좋은 면접관은 여러분과 같은 팀원처럼 협력에 임해줄 것이..