보안 엔지니어의 AWS & Cloud Security 기술노트

  Poetry는?

패키지 버전을 관리하지 않아도 손쉽게 Dependency 관리를 가능하게 해주는 도구

즉 poetry를 이용한 프로젝트는 패키지 버전에 종속되지 않고 어느 환경에서든 잘 돌아가게 만들어주는 도구이다.

pip를 이용하여 패키지를 설치하면 패키지를 설치할 때마다 requirements.txt를 작성해야 Dependency 문제가 해결됩니다.

하지만 poetry add <package_name> 명령어를 이용하면 따로 패키지 버전을 관리하지 않아도

편하게 Dependency 관리가 가능해집니다.

  Poetry 설치 방법

1. Ubuntu (linux)
sudo apt install python3-poetry

2. Powershell (Windows)
(Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

3. curl 이용
curl -sSL https://install.python-poetry.org | python3

  Poetry 기본 명령어

# 설치 및 버전 확인
poetry --version

# 새 프로젝트 생성
$ poetry new <project_name>

# 가상환경 실행
$ cd <project_name>
$ poetry shell

# 패키지 설치
$ poetry add <package_name>

해당 글이 도움이 되셨기를 바랍니다.

caul334@gmail.com

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

엘라스틱서치를 Python으로 연동하면서 사용하고 있는데 갑자기 아래와 같은 에러가 발생하였다.

에러 메시지 내용

elasticsearch.BadRequestError: BadRequestError(400, 'search_phase_execution_exception', 'Result window is too large, from + size must be less than or equal to: [10000] but was [10005].

에러 원인

에러의 원인은 요청한 Index에 결과가 1만건 이상이기 때문에 발생한 것으로써 index.max_result_window 임계치를 넘어갔기 때문에 발생한 것이다. max_result_window의 기본 설정은 1만건이다.

  임시 해결 조치 방법

시간이 없을 때 일단 빠르게 해결 할 수 있는 방법은 문제가 발생한 Index에 대해 windows size를 늘리는 것이다.

기본 설정 값인 10000건에서 그 이상으로 늘리면 된다. 참고로 아래는 5만건으로 늘려 주었다

아래 코드는 Kibana > Dev Tools에서 실행 가능한 코드

PUT /<your index name>/_settings
{
  "max_result_window" : 50000
}

  영구 해결 방법

영구 해결 방법으로 가장 좋은 방법은 Scroll API를 사용하는 것 입니다.

Scroll API는 대량의 데이터를 효율적으로 검색할 때 사용하면 좋습니다.

# 검색할 인덱스와 쿼리 정의
index_name = "your_index_name"
query = {
    "query": {
        "match_all": {}  # 모든 문서를 검색하는 쿼리
    }
}

# Scroll 초기화
scroll_timeout = "2m"  # Scroll 세션 유지 시간
batch_size = 1000      # 한 번에 가져올 문서 수

# 첫 번째 Scroll 요청
response = es.search(index=index_name, body=query, scroll=scroll_timeout, size=batch_size)

이 글을 통해 문제가 해결 되셨기를 바랍니다^^

caul334@gmail.com

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

형상관리(버전관리) 시스템인 Git을 Windows와 Linux(Ubuntu)에 설치하는 방법을 공유드리겠습니다.

  Windows 설치 방법

1. Git 홈페이지 접속

Git 홈페이지(https://git-scm.com/downloads) 이동하여 Download for Windows를 클릭합니다.

2. 64-bit Git for Windows Setup 클릭

대부분의 Windows는 64bit 이기 때문에 아래 "64-bit Git for Windows Setup"을 클릭합니다.

3. 다운로드 받은 파일 실행

다운받은 실행파일(.exe)을 실행하고 Install을 클릭합니다.

(기본설정) Editor는 "use Vim"으로 확인 후 Next를 클릭합니다.

이후 아래 Branch 설정하는 부분이 나올 때까지 계속 기본 설정으로 진행합니다.

(설정변경 필요!!!) Override the defaut branch를 선택 후 main이 맞는 지 확인 후 Next를 클릭합니다.

이후 설치가 완료될 때까지 계속 기본 설정으로 Next를 클릭하여 진행합니다.

설치가 완료되었다는 메시지를 확인하고 Finish를 클릭하여 마무리해줍니다.

4. 정상 설치 확인

설치가 정상적으로 되었는지 확인해 줍니다.

먼저 Windows 버튼 또는 검색을 클릭한 후 git bash를 입력합니다.

잘 설치 되었다면 아래와 같이 Git Bash 앱이 보이는 것을 확인할 수 있습니다.

  Ubuntu(Linux) 설치 방법

Linux 설치는 아주 간단해서 아래 코드와 주석으로 설명드리겠습니다.

# apt 업데이트
sudo apt-get update

# git 설치
sudo apt-get install git

# git 설치 확인
git --version

# main을 기본 브랜치로 설정
git config --global init.defaultBranch main

정상 설치 되면 아래와 같이 Git 버전을 확인할 수 있습니다.

도움이 되셨기를 바랍니다.

caul334@gmail.com

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

Windows 10/11 Home 버전에는 gpedit.msc가 기본적으로 설치되어 있지 않습니다.

gpedit.msc를 실행하면 아래와 같이 에러가 뜨는데 간단히 설치하는 방법은 다음과 같습니다.

설치 방법

1. 관리자 권한으로 커맨드창 열기

커맨드창(cmd)은 반드시 관리자 권한으로 실행해야 합니다.

2. 설치 명령어 실행

커맨드라인 창이 열리면 아래  2줄을 커맨드창에서 실행하면 됩니다.

# Microsoft 공식 홈페이지 설치 방법
FOR %F IN ("%SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~*.mum") DO (DISM /Online /NoRestart /Add-Package:"%F")
FOR %F IN ("%SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~*.mum") DO (DISM /Online /NoRestart /Add-Package:"%F")

3. 설치 확인

설치가 완료되면 실행창을 열어 로컬 그룹 정책 편집기(gpedit.msc)가 정상적으로 실행되는지 확인합니다.

먼저 실행창 (Win버튼 + R)을 열고 gpedit.msc를 입력합니다.

로컬 그룹 정책 편집기가 정상적으로 열리는 것을 확인할 수 있습니다.

문제가 해결되셨기를 바랍니다.

caul334@gmail.com

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

회사에서 열심히 근무하고 있는데 갑자기 아래와 같이

Java SE가 설치되었으니 삭제하라는 메일을 받았습니다ㅠㅠ

저와 같은 문제를 가지고 있는 사람은 분명 있을 것이기에 OpenJDK 설치 방법 공유 드립니다.

설치 방법

1. JDK 사이트 접속 및 다운로드

가장 먼저 JDK 다운로드를 위해 사이트에 접속합니다. URL주소 : https://jdk.java.net/

이후 원하는 JDK 버전을 선택합니다. (저의 경우는 JDK 23을 선택하였습니다)

선택하면 곧바로 다운로드 페이지가 나오는데 Windows/x64 옆에 있는 zip 파일 버튼을 클릭합니다.

다운로드가 완료 후 압축을 해제하면 아래와 같은 폴더가 보입니다. (jdk-23.0.1)

먼저 C드라이드(C:\) 경로 밑에 OpenJDK라는 폴더를 만들고 그 아래 다운로드 받은 jdk-23.0.1 폴더를 붙여넣습니다.

2. 환경변수 설정

위에 과정이 전부 완료되었다면 환경 변수를 설정해야 합니다.

환경변수 설정하는 방법은 2가지(GUI 경로 방법, 실행창 방법) 모두 가능하며 선호하시는 방법대로 진행하시면 됩니다.

[ 환경변수 설정 방법(2가지) ]

1) Windows GUI 경로 : 제어판 -> 시스템 -> 정보 -> 고급 시스템 설정 -> 고급 -> 환경 변수
2) 실행창 방법 : Win버튼 + R > sysdm.cpl 입력 -> 고급 ->  환경 변수

1) Windows GUI 방법 (Windwos 11 기준)

제어판 -> 시스템 -> 정보 -> 고급 시스템 설정 -> 환경 변수 -> 고급 -> 환경 변수

2) 실행창 방법

Win버튼 + R을 눌러 실행창을 띄운 후 sysdm.cpl 입력 후 확인

시스템 속성창이 나오면 고급 > 환경 변수를 클릭합니다.

시스템 변수  > 새로 만들기 > 변수 정보를 입력합니다.

변수 이름 : JAVA_HOME

변수 값 : <이전에 복사한 Java 경로> (저의 경우는 C:\OpenJDK\jdk-23.0.1)

시스템 변수 > Path 변수 찾기 > 편집 > 환경변수를 입력합니다.

환경 변수 : %JAVA_HOME%\bin

3. OpenJDK 설치 확인

OpenJDK 설치가 되었다면 설치 확인을 위해 윈도우커맨드창(cmd)를 열고 아래의 명령어를 입력해줍니다.

# 버전 확인 명령어
java --version

잘 설치되었다면 저와 같이 openjdk 버전이 출력되는 것을 확인할 수 있습니다.

문제가 해결 되었기를 바랍니다.

caul334@gmail.com

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

윈도우10부터 바탕화면이나 사진 폴더에 파일을 복사하거나 다운로드를 받으면

원드라이브와 동기화가 진행되는 아주 귀찮은 기능이 생겼습니다.

이 기능은 원드라이브 클라우드의 저장공간을 늘리도록 결제를 요구하여 저장공간을 늘리게 하려는

MS社의 상술로 매우 불편한 기능이 아닐 수 없습니다.

아래에 이러한 동기화 기능을 해제하는 방법을 공유드리겠습니다.

  원드라이브(OneDrive) 동기화 해제 방법

1. 작업표시줄이 오른쪽 하단 부분에 구름 모양의 onedrive 아이콘을 오른쪽 클릭합니다.

2. 설정에 들어갑니다.

3. 백업 > 백업관리를 클릭합니다.

4. 동기화를 중지할 폴더를 정했으면 "백업 중지" 버튼을 클릭합니다.

5. 동기화 중지를 위해 백업을 중지하겠냐는 창이 뜨면 "백업 중지"를 다시 클릭합니다.

6. "백업 중지"라는 버튼이 사라진 것이 확인되면 동기화가 해제된 것 입니다.

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

caul334@gmail.com

  작업스케줄러 설정 방법

Linux에 cron이 있다면 Windows에는 작업 스케줄러가 있습니다.

윈도우10 "작업 스케줄러"를 간편하게 실행하는 방법은 두 가지 있습니다.

첫번째. 윈도우 단축키(Win) + R 을눌러 실행창을 열고 taskschd.msc 를 입력해 줍니다.

두번째. 윈도우 검색창 에서 "작업 스케줄러"를 입력하여 검색합니다.

작업 스케줄러가 실행되면 "작업 만들기"를 클릭하여 새로운 스케줄 작업을 생성할 수 있습니다.

"새 작업 만들기" 창이 뜨면 스케줄의 이름을 작성합니다.

(스케줄 관리를 위해 나중에도 찾기 쉬운 이름으로 하는게 좋습니다)

트리거(탭) > "새로 만들기" > 날짜를 지정하여 줍니다.

참고로 저는 주식 가격을 수집하기 위한 작업 스케줄이기 때문에 평일(월~금)이면서  주식 시장이 완전히 끝난 오후 4:30분에 작업이 시작하도록 설정하였습니다.

동작(탭) > "새로 만들기" 를 선택합니다.

윈도우 작업 스케줄러로 파이썬을 실행하시려는 분들의 경우

1) "프로그램/스크립트" 부분에는 python.exe의 경로를 적고

2) "인수 추가(옵션)" 부분에는 파이썬 파일(.py)의 경로를 적어야 합니다.

이제 작업 스케줄러에서 지정한 시간이 되면 팝업창이 하나 뜨면서 자동 실행되는 것을 확인할 수 있습니다.

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

caul334@gmail.com

  net user 를 활용한 비밀번호 초기화 방법

윈도우 10을 사용하면서 항상 PIN번호를 이용해 로그인 하다가 암호 변경을 위해 윈도우 > 설정 > 로그인 옵션 > 비밀번호 변경으로 들어갔습니다.

암호 변경을 위해 현재 비밀번호를 입력하라고 나오는데 암호를 까먹어서 그런지 계속 암호가 틀렸다고 나옵니다.

이렇게 비밀번호를 잃어버렸을 때 어떻게 해야 하는지 해결하는 방법에 대해 말씀드리겠습니다.

왼쪽 아래 Ctrl 키 옆에 있는 윈도우(win) 버튼을 누른 후 "cmd"를 입력합니다.

명령 프롬프트 앱이 나오면 오른쪽 마우스로 클릭한 후 관리자 권한으로 실행합니다.

*주의! : 관리자 권한으로 실행하지 않으면 암호를 변경할 수 없습니다.

명령어 프롬프트가 뜨면 "net user"을 입력하여 암호를 변경하고 싶은 계정을 확인합니다.

계정을 확인 했으면 net user 명령 뒤에 계정명과 그 뒤 별표(*)를 입력합니다.

명령어 : net user <계정명> *

계정 뒤에 별표(*)를 입력하면 그 계정의 비밀번호를 초기화 할 수 있습니다.

이렇게 입력해주면 새로 바꿀 비밀번호를 입력하라고 나오는데 똑같이 두번 입력해주면 됩니다.

"명령을 잘 실행했습니다." 라는 메시지가 나오면 해결된 겁니다~!

이제 암호를 분실해도 위 net user명령어만 알고 있으면 초기화 할 수 있으니 걱정할 필요가 없습니다.

혹시라도 자신이 새로 입력한 비밀번호가 잘 입력되었는지 확인하고 싶다면

맨 처음 그림과 같이 설정 > 로그인 옵션으로 가서 암호변경 버튼을 클릭한 후 새로 입력했던 암호를 입력해보면 됩니다.

비밀번호를 올바르게 입력했다면 다음과 같은 창이 뜰겁니다.

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

caul334@gmail.com

  컴퓨터 계정 이름 변경(로그인 화면)

윈도우10에서 로그인 시 보이는 계정 이름을 바꾸는 방법에 대해 말씀드리겠습니다.

현재 컴퓨터의 이름은 nick으로 되어 있는데 이것을 john으로 변경해 보겠습니다.

제어판에 들어갑니다. 제어판 들어가는 방법은 아래와 같습니다.

1) 실행(win+R) > control 입력 후 엔터

2) 윈도우 바탕화면 검색 > 제어판 입력 > 클릭

제어판에서 '사용자 계정'을 클릭합니다.

'계정 이름 변경' 클립합니다.

저는 nick에서 john으로 바꾸기로 했기 때문에 john을 입력했습니다.

바꾸고 싶은 이름을 입력한 후 '이름 변경'을 클릭합니다.

그럼 아래와 같이 바로 적용되는 것을 확인할 수 있습니다.

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

caul334@gmail.com

파워쉘 스크립트를 실행하는 방법에 대해 말씀드리겠습니다.

윈도우는 기본적으로 파워쉘 스크립트를 실행하지 못하게 막아놓았습니다.

때문에 스크립트를 실행하려면 기본 PowerShell 실행 정책을 변경해야 합니다.

기본 실행 정책인 Restricted는 로컬 컴퓨터에 쓰는 스크립트를 포함하여 모든 스크립트가 실행되지 않도록 합니다.

  현재 PowerShell 실행 정책 확인 명령어

  스크립트(.ps1) 실행 정책 변경 방법

스크립트(.ps1)를 실행하기 위해서

현재 정책인 Restricted를 -> RemoteSigned 또는 AllSigned 로 바꾸면 스크립트를 실행 할 수 있습니다.

Step 1. 관리자 권한으로 Power Shell 실행

Step 2. Set-ExecutionPolicy 명령으로 기본 정책 변경

Set-ExecutionPolicy RemoteSigned 명령어를 입력 후 Y를 입력하시면 됩니다.

*위 방법으로 스크립트가 실행되지 않을 때에는 Set-ExecutionPolicy AllSigned 명령으로 재시도 해보시기 바랍니다.

Step 3. 스크립트 실행 확인

기본 실행 정책을 변경한 후 기존에 실행되지 않았던 스크립트를 실행하여 봅니다.

내용이 유용하셨다면 좋아요&댓글 부탁드립니다.
이 블로그를 이끌어갈 수 있는 강력한 힘입니다!

caul334@gmail.com

[참고 자료]

https://docs.microsoft.com/ko-kr/powershell/module/microsoft.powershell.core/about/about_scripts?view=powershell-7.2 

https://docs.microsoft.com/ko-kr/powershell/module/microsoft.powershell.core/about/about_execution_policies?view=powershell-7.2