[Stock101] gemini api를 쓰자. - 10일차

미니pc를 구매해서 서버를 돌리는데 내 미니pc 사양은 5625U에 32g렘이다. gpu는 없다.

 

로컬에서 llm을 돌리는게 재밌을것같아서 라마에 qwen 7b를 돌리는데 내가 원하는 답변이 나오는데 10분이 넘어간다.

분기와 반기 공시문서에서 추출한 표 데이터 같은게 많이 들어있어서 그런것같다.

 

이는 도저히 쓸 수 없다. 그래서 1. 그래픽카드를 사던지 2. api를 사서 쓰던지 고민했다. 이래서 gpu가 진짜 귀하구나 언젠가 4090이 보급형이되는날에는 진짜 개인 LLM이 가능하겠구나 싶다. 이래서 엔디비아 물량이 없구나.. 개인도 이렇게 얻고싶어하는데 말이지.

 

암튼 그래서 api를 뭐쓸지 고민하다가 개인 프로젝트 수준이니까 무료로 제미나이 플레시 1.5수준으로 하기로했다.제일 저렴한건 deep-seek api가 성능대비.  업계 최저가라고 한다. 

 

 

변경 하는건 langchain4j를 사용했다. 

 

의존성 추가하고 

아래처럼 config를 변경해주면 끝이다. 

@Bean
public ChatLanguageModel chatModel() {
    return GoogleAiGeminiChatModel.builder()
            .modelName("gemini-2.5-flash")
            .apiKey(apiKey)
            .temperature(0.1)
            .maxOutputTokens(8000)  // 긴 리포트 생성을 위해 증가
            .timeout(Duration.ofMinutes(10))
            .responseFormat(ResponseFormat.JSON)  // JSON 응답 형식 강제
            .build();
}

 

AI 리포트 결과물 test시 훨씬 빨라졌다. 돈이 많다면 글카를 사야겠다.