Agentic AI system 일반적인 AI 시스템은 사용자의 요청에 단일 응답만을 수동적으로 출력하는 구조이다. Agentic AI는 사용자의 쿼리를 분석해 목표를 이해하고 그 목표를 달성하기 위해 계획을 세우고, 여러 작업을 실행하고 결과를 재평가하는 과정을 스스로 수행하는 시스템을 의미한다. 단일 지시-응답 구조가 아니라 연속적인 의사결정이 필요하다는 점이 큰 포인트이다. 이러한 능동적인 AI system에 있어 유연성이 중요한 반면 그만큼 통제가 어렵다는 문제가 있다. 최근에 OpenAI의 agent sdk를 활용하여 간단한 앱을 구성해보았었다. 아주 단순한 작업임에도 오케스트레이션이 적절한 툴을 호출하지 못하거나, 툴만 호출하고 툴 결과를 재조합해서 답변을 하거나 툴을 호출하지 않았음에도 호출..

Large Language Diffusion Models link : https://arxiv.org/pdf/2502.09992 Overview 기존 대부분의 LLM은 Autoregressive 방식을 따른다. 즉, 주어진 이전 토큰들을 기반으로 다음 토큰을 순차적으로 예측하며 문장을 생성하는 방식이다.이 논문의 저자들은 LLM의 핵심 능력은 Autoregressive 구조에만 의존하지 않으며 다른 생성 방식으로도 기존 SOTA LLM에 필적하는 성능을 낼 수 있다고 주장한다. 이에 따라 저자들은 새로운 접근 방식인 LLaDA (Large Language Diffusion Models)를 제안한다. LLaDA는 전체 문장을 순차적으로 예측하지 않고,일부분이 마스킹된 토큰 시퀀스를 입력으로 받아마스킹된 ..

Cursor를 활용해 코드 한 줄 작성하지 않고, 앱 기본 구조나 동작 함수 아무 것도 생성하지 않고자연어 명령어만으로 슬랙 봇을 개발해보았다.   [Cursor] 커서로 Slack 액션 아이템 생성 봇(feat.llm) 만든 후기Cursor로 Slack 액션 아이템 생성 봇 만든 후기   Cursor는 VSCode에 AI를 결합한 형태의 개발툴이다Slack 봇은 처음 만들어보는 데 Cursor로 개발하니까 1-2시간 정도 걸린 것 같다  만들게 된 배경 Cursorebbnflow.tistory.com  프로그래밍 방식의 변화  위 작업을 통해 AI 도구를 활용한 프로그래밍 방식의 변화를 느낄 수 있었는데  기존에 코딩하던 방식은, 무엇을 만들지 먼저 생각하고 → 필요한 개념이나 기술을 검색하고→ 관련된..

Cursor로 Slack 액션 아이템 생성 봇 만든 후기   Cursor는 VSCode에 AI를 결합한 형태의 개발툴이다Slack 봇은 처음 만들어보는 데 Cursor로 개발하니까 1-2시간 정도 걸린 것 같다  만들게 된 배경 Cursor로 얼마나 빠르게 무언가를 만들어볼 수 있을지 궁금했음.슬랙 봇처럼 외부 API와 연동하는 작업은 문서나 예제를 찾아보면서 만들 수는 있지만, 평소에 하던 작업이 아니다 보니 꽤 귀찮게 느껴졌음.게다가 메신저에서 "~~해주세요" > "네 알겠습니다" 식으로 대화가 지나가면, 나중에 뭘 하기로 했는지 기억 안 나는 경우가 많았음.그래서 이런 요청들을 자동으로 정리해주는 봇이 있으면 좋겠다고 생각했음.마침 Cursor로 실험해보기 좋은 주제라고 판단해서 시작하게 되었음. ..

🍄 알고리즘 시간복잡도 및 요약 카테고리이름시간복잡도설명자료구조유니온 파인드O(α(N))서로소 집합 자료구조, 경로 압축 + union by rank자료구조우선순위 큐 (힙)삽입/삭제: O(log N), 조회: O(1)최대/최소값을 빠르게 관리하는 큐자료구조링크드 리스트삽입/삭제: O(1), 탐색: O(n)노드 포인터 기반 구조, 삽입·삭제 효율적자료구조Trie삽입/탐색: O(L)문자열 저장 트리, 접두사 탐색에 최적완전탐색DFSO(V + E)깊이 우선 탐색, 스택/재귀 기반완전탐색BFSO(V + E)너비 우선 탐색, 큐 기반백트래킹백트래킹O(조건에 따라 다양)상태 공간 트리 탐색, 가지치기 통해 효율화탐색이진 탐색O(log N)정렬된 배열에서 중간 기준 이분 탐색최단경로다익스트라O((V + E) lo..

GRPO(Group Relative Policy Optimization)  link : https://arxiv.org/pdf/2402.03300   DeepSeekMath는 Gemini나 GPT-4 레벨의 성능과 다른 open LLM보다 뛰어난 MATH bechmark 성능은 달성하면서 외부 toolkits나 voting techiniques를 사용하지 않았다고 한다.  여기서 사용된 RL tuning알고리즘은 GRPO(Group Relative Policy Optimization)이며 해당 논문에서 처음 제안하는 알고리즘이다. GRPO는 PPO(Proximal Policy Optimization)의 variant 중 하나로 PPO의 메모리 사용량을 최적화하면서 mathmatical reasoning ..

그동안 알고리즘 공부하며 공부한 것들 정리 🍄 문제 풀면서 느낀 팁파이썬은 1초에 대충 2천만 번 연산 가능하다고 보면 됨시간 복잡도는 꼭 계산해보기구현 문제일수록 문제 꼼꼼히 봐야 함테스트 케이스 다양하게 넣어보기. 특히 최소, 최대, 엣지 케이스 🍄 자주 쓰는 파이썬 내장 함수/모듈itertools: permutations, combinations, count heapq: 우선순위 큐 구현할 때 bisect: 이진 탐색할 때collections: deque, Counter math: factorial, sqrt, gcd, pi, sin, cos 등등 sum, min, max 이런 기본 함수들도 은근 많이 씀  🍄 파이썬 팁 mutable / immutable 정리 mutable: list, di..

The Case for Co-Designing Model Architectures with Hardware link : https://arxiv.org/pdf/2401.14489  ✲ Introduction 딥러닝 모델을 설계할 때 GPU 구조의 영향을 간과하는 경우가 많으며 모델을 하드웨어에 더 적합하게 수정하면 학습 및 추론 능력을 향상시킬 수 있다고 제안하는 논문이다. 이를 위해 Transformer 성능을 극대화하기 위한 가이드라인을 제공한다. 이 가이드라인은 다양한 하이퍼파라미터가 GPU의 기본 계산 커널의 효율성에 미치는 영향을 고려하여 작성되었다고 한다. GEMM(General Matrix Multiplication) 최적화의 기본 원리를 사용해 Transformer 모델의 개별 부분을 최적..