위성도 애자일하게 만들 수 있을까 Planet Labs 라는 위성 기업하나가 2026년 7월 7일 Pelican 이라는 위성 하나를 궤도에 올렸다.이름은 Pelican-11. 최근 상장으로 유명한 SpaceX의 로켓이 궤도에 올리는 역할을 담당했다.스펙만 보면 그리 특별할 게 없어 보인다. 상업용 데이터도 만들지 않을 위성이라니.그런데 이 위성 하나가 Planet이라는 회사의 개발 철학을 가장 압축적으로 보여준다.소프트웨어 개발자라면 익숙할 그 단어, ‘애자일’을…
스킬, 툴, MCP, 서브에이전트 — 이것들은 어떻게 함께 작동하는가 스킬은 혼자 존재하지 않는다. 툴, MCP, 서브에이전트와 함께 작동할 때 비로소 강력한 에이전트 워크플로우가 만들어진다. MCP는 ‘외부 세계와의 연결’이다 에이전트 생태계에는 MCP, 스킬, 툴, 서브 에이전트처럼 다양한 기술 요소가 공존한다. 특히 스킬과 툴이 헷갈릴 수있다. 각각의 역할을 명확히 구분해서 이해하는 것이 중요하다 할 수 있다. MCP(모델…
언제부터인가 ChatGPT와 Claude 등의 AI 에게 질문을 하면 마치 사람이 생각하는 것처럼 어떤 일을 하고 있는지 표시 된다. 예를들어 수학 문제를 풀게 하면 답을 내기 전까지 “먼저 조건을 정리해 보겠습니다.”, “…이런 식으로 변형하고 있습니다”, “답안을 정리하고 있습니다” 이런 식으로 답을 하는 것을 볼 수 있다. 마치 사람이 생각하는 것처럼 보인다. 어쩔때는 내가 생각하지도 못한 부분까지…
클로드 스킬. 다시 말해 “AI 에이전트”와 “스킬”. 두 단어를 따로 떼어 생각해 보면 이야기가 쉬워진다. 에이전트는 “나 대신” 일을 처리하는 사람이다. 스포츠 매니지먼트 에이전트가 전형적인 예다. 선수 대신 계약하고, 협상하고, 일정을 조율한다. 선수는 경기에만 집중한다. 스킬은 특정 영역을 이해하고 처리하는 능력이다. 사람이 이런 능력을 갖추려면 시간이 필요하다. 지식을 쌓아야 하고, 문제에 적용해 본 경험도 있어야…
트랜스포머 모델 중요성 재조명하기 – 조련하기 지금까지 두차례의 포스팅을 통하여 트랜스포머 모델이 어떻게 출력을 만들어 내는지 리뷰해 보았다. 요약하자면 트랜스포머란 주어진 텍스트에 대한 답변을 한 단어씩 가장 확률이 높은 조합으로 완성해가는 프로그램이라 할 수있다. 결국 우리가 해야 할 일은 AI 와 함께 진실을 논하는 것이 아니라 내가 가진 문제에 대한 가장 확률이 높은 결과를 유도해야…
지난번 포스팅에서는 우리가 현업에서 사용하는 트랜스포머 모델들의 입력 프롬프트가 만들어지는 과정을 보았다. 아울러 전체 프롬프트를 기반으로 답이 생성되는 과정은 토큰이 하나씩 순차적으로 결정되는 과정이며 이러한 토큰의 생성은 모델이 훈련된 구성을 바탕으로 한 토큰씩 가장 확률이 높은 토큰을 생성해 내는 과정이라는 것을 다루었다. 그렇다면 의문점을 가질 수 있다. 구성된 정보의 순서 (연속된 토큰 들의 모임)에도 불구하고…
왜 다시 트랜스포머 모델인가? 트랜스포머 모델, 실제로 연구는 구글에서 했지만 OpenAI에서 상용화하여 세상을 떠들석하게 만든 논문 하나가 있다. “Attention is all you need”. 트랜스포머라고 불리는 새로운 AI 모델을 제안하여 유명해진 모델로 현재 우리가 쓰고 있는 주요 AI 서비스의 근간이 되는 모델을 제안한 논문이다. AI가 챗봇 형태의 서비스를 넘어 에이전트로 바뀌고 있는 요즘 트랜스포머 모델이 어떻게…
AI Native 엔지니어링 팀을 리드하기 위해서는 과거와는 다른 접근이 필요하다. 과거 통신 시스템에서 동작하는 소프트웨어를 만들어 납품하던 시절, 병목은 이른바 배포판을 만드는 것이었다.별도의 서버가 있었고, 코드의 성격에 따라 commit을 해야 하는 일정도 달랐다.이렇게 만들어진 배포판을 수정하고 다시 손질을 하여 고객에게 납품하기 까지 상당한 시간이 걸렸다.그 후 CI/CD 개념이 도입되었고, 클라우드가 등장했다. 소프트웨어 코딩 에이전트가 실무에…
Pull Request와 Merge Request 관점의 차이 이름 차이와 그 안에 내포된 협업의 서로 다른 관점 GitHub, GitLab등의 플랫폼상에서 협업하는 개발자라면 누구나 한 번쯤 이 질문 앞에 멈춰 선다.GitHub에서는 ‘Pull Request’, GitLab에서는 ‘Merge Request’.철자만 다를 뿐 같은 개념 아닐까? 그게 그거지 뭐. 이런 생각이 드는 것은 당연하다.하지만 이름의 차이는 단순한 용어 선택의 문제가 아니다.그 안에는 두…
MCP 란 Model Context Protocol의 준말로 LLM에 외부에서 사용되는 Context를 쉽게 제공하기 위해 제안된 통신 프로토콜입니다. 최근 LLM(거대언어모델) 응용 프로그램 개발 분야에서 가장 뜨거운 화두는 “모델이 어떻게 외부 시스템의 데이터와 실시간으로 상호작용할 것인가”입니다. 오늘 리뷰할 Anthropic의 MCP 교육 과정은 이 난제를 해결할 혁신적인 표준 규격을 다루고 있습니다. 본 포스팅에서는 강의 내용을 바탕으로 MCP의 계층적 구조부터…
플래닝(Planning)은 어떤 자원들을 가지고 있고 할 수 있는 일이 무엇이 있으며 제약사항에 주의하여 원하는 결과를 얻을 수 있도록 작업의 순서를 만드는 일입니다. 추론 LLM의 추론 기능을 플래닝 과정에도 적용할 수 있습니다. 본 리뷰는 Deeplearning AI사와 OpenAI사가 공동으로 마련한 ChatGPT O1강좌 내용중 O1을 플래닝에 적용하는 강의에 대한 내용입니다. 위의 예제를 설명하는 강의에서는 O1-mini 모델과 gpt-4o-mini모델을 사용하여…
추론 LLM 개발 비용으로 세상을 놀라게 한 딥시크의 발표가 있었습니다. 연산의 크기를 효과적으로 줄이고 계산과정을 최적화하여 생성형 AI의 개발과 운용에 반드시 필요한 GPU의 개수를 줄일 수 있다는 주장이 등장하였습니다. 이로 인하여 현재 빅테크 주도로 진행되고 있는 인공지능의 인프라 관련 투자가 많은 논란이 되고 있어 기본 LLM모델과 추론이 가능한 LLM모델과의 차이점에 대해 정리 해보려고 합니다. Deeplearning…
O1 프롬프트, 어떻게 작성하는 것이 좋을까요? 최근 DeepSeek의 여파로 추론이 가능한 LLM 모델에 대한 관심이 높아졌습니다. 그러나 정작 기존에 OpenAI사에서 발표된 O1과 같은 고성능 LLM 모델을 어떻게 효율적으로 사용할 지에 대해서는 논의가 부족한 것 같습니다. 최근 Deeplearning 사가 OpenAI사와 공동으로 준비한 O1 교육내에서 공유된 O1 프롬프트 를 잘 작성하기 위한 기본 4가지 원칙에 관련된 포스팅입니다….
생성형 AI가 직업 및 기업에 미치는 영향 논의가 최근 활발합니다. 앤트로픽에서는 자사 블로그를 통해 “앤트로픽 이코노믹 인덱스”라고 하는 백서를 논문 형식으로 발표했습니다. 구글 또한 구글 클라우드의 프로모션 목적으로 생성형 AI의 ROI라는 제목으로 산업보고서를 발간하였습니다. 두 문서가 결이 다르지만 구글과 앤트로픽 공통으로 생성형 AI도입과 이로 인한 업무와 기업의 변화에 대해 이야기 하고 있습니다. 이의 차이점과 공통점들…
Fine tuning에 필요한 Data 준비 작업 에 대한 강의 리뷰가 오늘의 포스팅입니다.LLM을 Prompting에 기반하여 접근하는 방식은 조금 다루어 보았으니 이제는 Fine tuning에 대해 알아보려고 합니다.Fine tuning을 말 그대로 번역하면 미세조정 정도로 번역해 볼 수 있습니다.모든 Base model에는 Base model을 학습시킬 때 사용한 파라미터들이 있고 그 외에 여분의 파라미터들을 제공합니다.Fine tuning에서는 기존에 학습된 파라미터를 건드리지 않고…
Prompt 엔지니어링 LMM을 사용한 Chatbot 에 관련한 별도의 posting 입니다. Deeplearning AI 사에서 제공하는 무료 교육을 수강하고 배운점과 느낀점을 적어 보았습니다. Prompt 엔지니어링과 베이스 LLM을 사용하여 Customized 된 App을 쉽게 만드는 좋은 예가 바로 Chatbot입니다. 이 포스팅에서는 Prompt 엔지니어링 ChatGPT API code를 사용하여 어떻게 간단한 customized 된 chat bot을 만드는 지에 대한 강의 과정을 리뷰해…
개발을 위한 prompt 엔지니어링 에 대하여 Deeplearning AI와 OpenAI 사가 공동으로 준비한 강의내용에 대한 리뷰를 써 보았습니다. 개발과 관련된 LLM 적용은 이른바 Copilot과 관련된 자동 코드 작성 툴을 생각하기 쉬우나 의외로 기본적인 prompt engineering을 사용하여 많은 어플리케이션을 빠르게 작성하고 배포할 수 있습니다. 현업에 적용할 수 있는 경우는 실제로 prompt engineering을 개발에 적용하는 경우 내부에서 공유할…
Vector DB 를 사용한 LLM RAG 실습과정을 리뷰합니다. Vector를 구성하는 기본 embedding의 정의를 다루고 Vector DB에서 유사성에 기반한 검색 알고리즘을 소개합니다. 아울러 이를 통한 RAG과정을 리뷰하고 prompt engineering과의 비교합니다. Vector DB 기본-어떻게 하면 데이터를 Vector로 표현할 수 있을까 벡터 embedding은 데이터에서 “의미”를 끄집어 내는 일입니다.아울러 이러한 의미를 컴퓨터에서 처리할 수 있도록 이른바 기계가 읽을 수…
On-device 생성형 AI. 현재 각광을 받고 있는 생성형 AI의 다음 세대 서비스로 각광을 받고 있는 아이템입니다. 오늘은 Qualcomm사에서 제공을 하고 있는 On-device 개발 프레임워크를 써보고 주목해야 할 점들과 앞으로 AP 제공업체들이 On-device AI app 개발자 에코시스템 활성화를 위해 제공해야 할 기능들에 대한 사항들을 정리해 보려 합니다. 사용할 Use case와 Model 스마트폰에서 수행되는 On-device AI 실습을…
함수 호출 생성형 AI 는 주어진 프롬프트로 내가 정의한 함수에 대한 입력을 맥락에 맞도록 자동적으로 만들어 주는 fine tuning된 생성형 AI입니다. 최근 생성형 AI에 대한 기대감은 예전 인터넷이 발명된 시기와 비교될 정도로 뜨겁습니다. 인터넷은 정보에 대한 무제한 접근성과 전세계를 대상으로 24시간 서로 사람들을 연결하게 만들어 새로운 산업혁명에 비견될 만큼의 생산성을 이끌어 내었습니다. 전 세계는 생성형…
젠슨 황 키노트 인사이트 정리가 새롭게 발표된 루빈이나 100조 시장 규모보다 중요하다고 생각합니다. 앞으로 생성형 AI가 다음 세대의 산업변화를 이끌어 나갈 중요 동력이라면 단순 몇년안의 로드맵이나 시장 규모 보다는 그가 가진 20년 동안의 경험과 현재 AI 업계에서 가장 중추적인 역할을 하고 있는 회사의 CEO로서의 인사이트가 현재의 상황 그리고 앞으로 벌어질 미래에 대한 중요한 방향을 제시할…
인피니밴드 사용 이유. 인터넷기술이 발전한 요즈음, HPC환경하에 인피니밴드란 특수한 기술이 논의되어 온 배경에 대한 포스팅입니다. 우리가 일반적으로 사용하는 TCP/IP와 최근 ML/AI의 성장으로 각광받는 데이터센터 네트워킹 기술인 Infiniband는 모두 데이터 네트워크 프로토콜입니다. 이 둘의 목적은 모두 응용 프로그램에서 사용하는 데이터를 손실 없이 전송하는 것이다. 그러나 이 프로토콜은 설계된 목적과 특성이 다릅니다. 우리가 일반적으로 알고 있는 TCP/IP…
ML/AI 네트워크 는 기존의 네트워크와는 결이 약간 다른 분야입니다. 결론부터 이야기하면 이더넷은 생성형 인공지능 솔루션을 구축하기 위한 클라우드 네트워킹 솔루션으로서 가장 훌륭한 기술입니다. 현재 상용서비스 수준의 품질을 제공하는 100G, 200G, 400G, 800G의 빠른 스위칭 용량이 지원되는 상용서비스 품질의 제품들이 이미 시장에 출시되어 있읍니다. 아울러 기술의 로드맵상 1.6T 까지 속도까지로도 확장이 가능합니다. 인피니밴드는 HPC 클러스터에서 일반적으로…
반도체 기판 은 시스템 반도체만큼이나 중요한 기술 요소입니다. 아무리 고성능의 시스템 반도체가 있다고 하더라도 이 기능부를 주기판, 즉 마더보드와 원활하게 연결해 줄 수 있는 연결부가 없으면 제품으로 쓰일 수 없습니다. 기판은 칩을 연결해 주는 판처럼 생긴 전자 부품 전기회로를 만들기 위해서는 전기로 동작하는 구성요소들을 연결하여 전기가 흘러다닐 수 있는 길을 만들어 주어야 합니다. 전선으로 만들…
구글 클라우드 특장점 에 대하여 크게 네가지 카테고리로 나누어 살펴 보는 글입니다. 이번 포스팅은 최근 구글 클라우드 코리아가 개최한 구글 클라우드 온보딩행사에 다녀온 뒤 각 소개 세션에 대해 느낀점을 정리해 보았습니다.
GTC 2024 키노트 리뷰 내용 중 전반 부 젠슨 황 사장의 기조 연설 내용 중 새로운 칩의 스펙소개 보다는 개인적으로 이른바 인사이트라고 느낀 부분의 포스팅입니다.
텍스트를 만들어 내는 생성형 AI 프로그램이 창의적인 표현을 출력할 수 있는 모델 제어 매개 변수에 관한 포스팅입니다. 대표적인 파라미터로 온도를 예를 들어 값을 변화시켜 가며 어떻게 표현이 달라지는지 시험한 결과입니다.
허깅페이스의 모델과 Tranformer 라이브러리를 이용하여 LLM 프로그램을 만들고 비교적 간단한 작업의 경우 프롬프트 엔지니어링을 통해 원하는 출력에 접근해 가는 LLM 실험 및 결과에 관한 포스팅입니다.