Python과 PyPy는 같은 언어를 다른 엔진으로 돌리는 것으로 볼 수 있다. Python(CPython)은 우리가 흔히 파이썬이라고 부르는 기본 구현체이며 C언어로 작성되어 있다. .py 파일을 실행할 때 실제로 코드를 해석하고 실행하는 것은 CPython 인터프리터다. PyPy는 파이썬언어의 대체 구현체로 자체적인 JIT(Just-In-Time) 컴파일러를 포함하고 있어 실행 속도를 극적으로 높일 수 있다. CPython은 모든 코드를 한 줄 씩 읽고 해석하기 때문에 느리지만 PyPy는 실행 중 자주 반복되는 코드를 기계어로 즉석에서 컴파일(JIT)하기 때문에 이후엔 빠르게 실행한다. CPython = 바이트코드 인터프리터 CPython은 파이썬 코드를 바로 실행할 때는 다음과 같은 일이 일어난..

DEEP THINK WITH CONFIDENCE https://arxiv.org/pdf/2508.15260 Introduction 최근 LLM의 reasoning 과제를 풀 때, test-time scaling 기법을 이용해 모델의 사고 과정을 확장하는 방식이 많이 사용된다. 그 중 병렬적 사고 Parallel thinking은 모델이 한 번의 입력에 대해 여러 개의 추론 경로(reasoning path)를 동시에 혹은 반복적으로 만들어내는 기법이 있다. sampling temperature나 random seed등을 바꿔서 서로 다른 사고 과정을 생성해낸다. 사람이 사고하는 것 처럼 여러 가설을 동시에 떠올리고 가장 많이 나온 혹은 가장 설득력 있는 답변을 선택하는 것이다. Parallel ..

Subliminal Learning:Language models transmit behavioral traits via hidden signals in data https://arxiv.org/pdf/2507.14805 최근에는 모델이 생성한 데이터를 활용해 또 다른 모델을 학습시키는 self-bootstrapping, 즉 자기 증식 구조가 널리 쓰인다.하지만 Anthropic에서 발표한 이 논문은, 이런 구조가 생성된 데이터와 겉으로 아무 연관이 없는 특성이나 성격(trait)을 다른 모델에게 전파할 수 있다는 가능성을 보여준다. 이를 막기 위해서는 마치 백신처럼 작용하여 특성 전파를 억제하는 방어 기법이 반드시 필요하다는 경고를 하고있다. Introduction Subliminal Learni..

Agentic AI system 일반적인 AI 시스템은 사용자의 요청에 단일 응답만을 수동적으로 출력하는 구조이다. Agentic AI는 사용자의 쿼리를 분석해 목표를 이해하고 그 목표를 달성하기 위해 계획을 세우고, 여러 작업을 실행하고 결과를 재평가하는 과정을 스스로 수행하는 시스템을 의미한다. 단일 지시-응답 구조가 아니라 연속적인 의사결정이 필요하다는 점이 큰 포인트이다. 이러한 능동적인 AI system에 있어 유연성이 중요한 반면 그만큼 통제가 어렵다는 문제가 있다. 최근에 OpenAI의 agent sdk를 활용하여 간단한 앱을 구성해보았었다. 아주 단순한 작업임에도 오케스트레이션이 적절한 툴을 호출하지 못하거나, 툴만 호출하고 툴 결과를 재조합해서 답변을 하거나 툴을 호출하지 않았음에도 호출..

Large Language Diffusion Models link : https://arxiv.org/pdf/2502.09992 Overview 기존 대부분의 LLM은 Autoregressive 방식을 따른다. 즉, 주어진 이전 토큰들을 기반으로 다음 토큰을 순차적으로 예측하며 문장을 생성하는 방식이다.이 논문의 저자들은 LLM의 핵심 능력은 Autoregressive 구조에만 의존하지 않으며 다른 생성 방식으로도 기존 SOTA LLM에 필적하는 성능을 낼 수 있다고 주장한다. 이에 따라 저자들은 새로운 접근 방식인 LLaDA (Large Language Diffusion Models)를 제안한다. LLaDA는 전체 문장을 순차적으로 예측하지 않고,일부분이 마스킹된 토큰 시퀀스를 입력으로 받아마스킹된 ..

🍄 알고리즘 시간복잡도 및 요약 카테고리이름시간복잡도설명자료구조유니온 파인드O(α(N))서로소 집합 자료구조, 경로 압축 + union by rank자료구조우선순위 큐 (힙)삽입/삭제: O(log N), 조회: O(1)최대/최소값을 빠르게 관리하는 큐자료구조링크드 리스트삽입/삭제: O(1), 탐색: O(n)노드 포인터 기반 구조, 삽입·삭제 효율적자료구조Trie삽입/탐색: O(L)문자열 저장 트리, 접두사 탐색에 최적완전탐색DFSO(V + E)깊이 우선 탐색, 스택/재귀 기반완전탐색BFSO(V + E)너비 우선 탐색, 큐 기반백트래킹백트래킹O(조건에 따라 다양)상태 공간 트리 탐색, 가지치기 통해 효율화탐색이진 탐색O(log N)정렬된 배열에서 중간 기준 이분 탐색최단경로다익스트라O((V + E) lo..

GRPO(Group Relative Policy Optimization)  link : https://arxiv.org/pdf/2402.03300   DeepSeekMath는 Gemini나 GPT-4 레벨의 성능과 다른 open LLM보다 뛰어난 MATH bechmark 성능은 달성하면서 외부 toolkits나 voting techiniques를 사용하지 않았다고 한다.  여기서 사용된 RL tuning알고리즘은 GRPO(Group Relative Policy Optimization)이며 해당 논문에서 처음 제안하는 알고리즘이다. GRPO는 PPO(Proximal Policy Optimization)의 variant 중 하나로 PPO의 메모리 사용량을 최적화하면서 mathmatical reasoning ..

그동안 알고리즘 공부하며 공부한 것들 정리 🍄 문제 풀면서 느낀 팁파이썬은 1초에 대충 2천만 번 연산 가능하다고 보면 됨시간 복잡도는 꼭 계산해보기구현 문제일수록 문제 꼼꼼히 봐야 함테스트 케이스 다양하게 넣어보기. 특히 최소, 최대, 엣지 케이스 🍄 자주 쓰는 파이썬 내장 함수/모듈itertools: permutations, combinations, count heapq: 우선순위 큐 구현할 때 bisect: 이진 탐색할 때collections: deque, Counter math: factorial, sqrt, gcd, pi, sin, cos 등등 sum, min, max 이런 기본 함수들도 은근 많이 씀 🍄 파이썬 팁 mutable / immutable 정리 mutable: list, di..