머신러닝과 딥러닝
·
카테고리 없음
머신러닝: 데이터를 인간이 전처리, 스스로 데이터 특징을 추출할 수 없음 딥러닝: 인간이 하던 작업을 컴퓨터가 스스로 분석 후 답을 찾음구분머신러닝딥러닝동작 원리입력 데이터에 알고리즘 적용해 예측 수행신경망으로 데이터 특징 및 관계 해석재사용동일한 유형의 데이터 분석 위한 재사용 불가능동일한 유형의 데이터 분석 시 재사용데이터일반적으로 수천 개의 데이터 필요수백만 개 이상의 데이터 필요훈련 시간짧음김결과점수 또는 분류 등 숫자 값출력은 점수, 텍스트, 소리 아무거나 가능✔️ 특성 추출(feature extraction): 컴퓨터가 입력받은 데이터를 분석해 일정한 패턴이나 규칙을 찾아내기 위해 사람이 인지하는 데이터를 컴퓨터가 인지할 수 있는 데이터로 변환해줄 때 데이터별로 어떤 특징을 가지고 있는지 찾아..
H3 라이브러리 (Hexagonal Hierarchial Geospatial Indexing System)
·
카테고리 없음
그리드 시스템그리드 시스템을 사용하면 지리 공간적 데이터를 효율적으로 분석해 셀을 통해 지리 공간적 클러스터를 만들 수 있다. 지리 공간적 데이터를 쉽고 효율적으로 집계, 클러스터, 분할, 축소, 조인 및 인덱싱이 가능하다. ❓ 위경도: 실제 정확한 위치 측정을 해야하므로 특정 영역 처리에 부적합❗️ 그리드 시스템으로 해결! -> 인덱싱이 아주 중요한데, 지구의 특정 지역을 일정한 크기대로 인덱싱해 공간 처리를 잘 하도록 하는 것!그리드: 공간을 나누는 구조셀: 그리드를 나누는 조각조각 그리드느 셀들의 구조 🌐 H3Uber에서 개발한 오픈소스 지리공간 인덱싱 시스템. 전 세계를 육각형 그리드(hexagon grid)로 나누어 표현전 지구를 육각형 그리드로 분할그리드(grid): 지리 공간을 나누는 구조..
[댓글 CRUD 만들기] 14장 | 댓글 엔티티와 리포지토리 만들기
·
CS/스프링부트3 자바 백엔드 개발 입문
게시판에 댓글을 생성, 조회, 수정, 삭제하는 댓글 CRUD 기능을 구현한다. 14.1 댓글 기능의 개요14.1.1 댓글과 게시글의 관계one-to-many(일대다) 관계: 하나의 게시글에 여러 댓글이 달린다. (댓글 입장에서는 다대일) article 테이블과 comment 테이블📍article테이블📍comment 테이블➡️ article 테이블과 comment 테이블이 id 기준으로 관계를 맺고 있다. 대표키(PK, Primary Key, 기본키): 자신을 대표하는 id처럼 자신을 대표하는 속성대표키는 동일 테이블 내 중복값이 없어야 함외래키(FK, Foreign Key): 연관 대상을 가리키는 속성comment 테이블에는 연관 대상을 가리키는 article_id가 더 있다. 외래키를 따라가면 해당..
[플러스] 03/06(목) 남미의 석유 분쟁에 전운이 감돕니다
·
손에 잡히는 경제
가이아나 위치남미 대륙 북쪽 끝 카르브해 남쪽 수리남과 베네수엘라 사이 존재. 남미 북부 지역은 기본적으로 아마존 정글이 이어지는 지역➡️ 사람들이 주로 해변가에 산다.  관심받는 이유: 석유(110억 배럴 정도 매장)세계 17위나 18위 정도인데, 인구가 많으면 큰 도움이 안될 수도 있다. 근데 가이아나는 전체인구가 80만밖에 되지 않기 때문에 인구도 적고 가진 게 없는 나라에서 대규모 자원이 발견되다 보니 돈이 들어오기 시작해 GDP가 큰 폭으로 오를 수 있다. 석유가 발견되었다고 다 좋은 건 아니고, 질도 중요하고 얼마나 캐내기가 쉬운지도 중요하고, 캐낸 다음 운송하기도 비교적 용이해야 한다. 가이아나 옆의 베네수엘라는 매장량으로 보면 압도적 1위이지만 환영받지 못하는 이유도 베네수엘라에서 캐낸 원..
[NLP] 한국어 형태소 분석기 Kiwi
·
CS/개발
🔗 깃허브https://github.com/bab2min/Kiwi GitHub - bab2min/Kiwi: Kiwi(지능형 한국어 형태소 분석기)Kiwi(지능형 한국어 형태소 분석기). Contribute to bab2min/Kiwi development by creating an account on GitHub.github.com🔗 Kiwipiepy Docshttps://bab2min.github.io/kiwipiepy/v0.15.2/kr/ kiwipiepy API documentation (v0.15.2)Package kiwipiepy Kiwipiepy란? Kiwipiepy는 한국어 형태소 분석기인 Kiwi(Korean Intelligent Word Identifier)의 Python 모듈입니다...
[REST API와 테스트 코드 작성하기] 13장 | 테스트 코드 작성하기
·
CS/스프링부트3 자바 백엔드 개발 입문
코드 수정 시 문제가 발생하므로 서비스 계층 동작 검증을 자동화 하기 위한 테스트 코드 작성법13.1 테스트란프로그램의 품질을 검증하는 것으로, 의도대로 프로그램이 잘 동작하는지 확인하는 과정테스트 도구 활용해 코드를 검증하기 = 테스트 코드(test code) 작성해 실행하기📍테스트 코드 작성법예상 데이터 작성하기실제 데이터 획득하기예상 데이터와 실제 데이터 비교해 검증하기✅ 작성한 코드가 테스트 통과 시 지속적인 리팩토링으로 코드 개선❎ 테스트 통과 못하면 디버깅(debugging)해서 잘못된 부분을 고치기 테스트 코드로 다양한 테스트 케이스를 작성성공하는 경우와 실패하는 경우 모두 고려성공1, 성공2,,, 실패1, 실패2,,, 와 같이 다양한 상황을 예상해 세부적으로 작성테스트 주도 개발(TDD,..
[REST API와 테스트 코드 작성하기] 12장 | 서비스 계층과 트랜잭션
·
CS/스프링부트3 자바 백엔드 개발 입문
REST API에 서비스 계층을 추가해보고 문제 생기면 트랜잭션을 이용해 롤백하는 방법 알아보기12. 1 서비스와 트랜잭션의 개념✔️ 서비스(service)컨트롤러와 리포지토리 사이에 위치하는 계층으로, 서버의 핵심 기능(비즈니스 로직)을 처리하는 순서 총괄 ✔️ 트랜잭션(transaction) 모두 성공해야 하는 일련의 과정; 트랜잭션 단위로 서비스 업무 처리 진행e.g. 식당 예약에서 결제를 실패하면 이전까지 진행해도 모두 취소되어야 한다. -> 트랜잭션트랜잭션이 실패로 돌아갈 경우 진행 초기로 돌리는 것이 롤백(rollback)!  REST 컨트롤러로 서비스 컨트롤러 확인하기// 컨트롤러 역할: 클라이언트 요청받기@PatchMapping("/api/articles/{id}")public Respon..
테스트 프레임워크와 Pytest 알아보기
·
CS/개발
📌 테스트 프레임워크소프트웨어가 원하는 대로 동작하는지 검증하기 위해 테스트 코드 작성, 실행, 관리 자동화하는 도구 및 라이브러리 집합테스트를 일관되고 반복적으로 실행할 수 있다. 테스트 케이스를 자동으로 찾아 실행 후 보고여러 테스트 케이스를 체계적으로 관리, 공통 환경 설정을 제공하는 Fixture기능 제공오류 진단 및 디버깅 지원코드 수정 후 자동 테스트 실행해 기존 기능에 문제 일으키지 않도록 해줌➡️ JUnit(Java), pytest(python) 등📌 Pytestpython에서 가장 많이 사용되는 테스트 프레임워크 중 하나단위 테스트(unit testing)통합 테스트(integration testing)✔️ 주요 특징간편한 테스트 작성: 테스트 함수나 테스트 클래스 이름의 프리픽스(p..
[LLM의 기초 뼈대 세우기] 02 - LLM의 중추, 트랜스포머 아키텍쳐 살펴보기 : 트랜스포머 아키텍처란(2)
·
AI/LLM을 활용한 실전 AI 애플리케이션 개발
2.4 정규화와 피드 포워드 층✔️ 정규화: 딥러닝 모델에서 입력이 일정한 분포를 갖도록 만들어 학습이 안정적이고 빨라질 수 있도록 하는 기법과거: 배치 정규화(batch normalization) - 배치 입력 데이터 사이에 정규화 진행현재: 층 정규화(layer normalization) - 트랜스포머 아키텍처에서 사용하는 특정 차원에서 정규화 수행 ✔️ 어텐션 연산: 입력 단어 사이의 관계를 계산해 토큰 임베딩을 조정하는 역할 ✔️ 피드 포워드 층: 전체 입력 문장을 이해하는 연산(완전 연결 층, fully connected layer) 2.4.1 층 정규화 이해하기데이터를 정규화하여 모든 입력 변수가 비슷한 범위의 분포를 갖도록 조정해 특정 변수를 과도하게 반영하는 것을 방지한다. ✔️ 입력 데이..
[REST API와 테스트 코드 작성하기] 11장 | HTTP와 REST 컨트롤러
·
CS/스프링부트3 자바 백엔드 개발 입문
게시판 데이터를 CRUD 하기 위한 REST API 구현하기11.1 REST API의 동작 이해하기요청 메세지요청 라인: PATCH /posts/1 HTTP/1.1헤더본문응답 메세지상태 라인: HTTP/1.1 200헤더본문REST API 응답 표준으로 사용하는 JSON은 키와 값의 쌍으로 된 속성으로 데이터를 표현한다. JSON 값으로 또 다른 JSON 데이터나 배열을 넣을 수도 있다. REST: HTTP URL로 서버의 자원을 명시하고, HTTP 메서드로 해당 자원에 대해 CRUD 하는 것API: 클라이언트가 서버의 자원을 요청할 수 있도록 서버에서 제공하는 인터페이스11.2 REST API의 구현 과정REST API 구현을 위해서는 REST API의 주소인 URL을 설계해야 한다. 1️⃣ 게시판의 A..