ドイツ発のOSS「Haystack」がGitHubスター2万5千を突破した。単なる人気指標ではない。これは、社内文書を燃料にした業務LLMを、SaaS課金ではなく自社サーバーで組み立てる潮流が本番運用フェーズに入ったことを意味する。RAG設計の内製化力が、3年後の企業コスト構造を分岐させる。

何が起きたか

deepset-aiが開発するオープンソースフレームワーク「Haystack」のGitHubスターが25,792に到達した。Haystackは、LLMアプリケーションを「部品組み立て型」で構築するオーケストレーションフレームワークだ。検索(Retriever)、記憶(Memory)、応答生成(Generator)といったコンポーネントをパイプラインとして繋ぎ、社内マニュアル・契約書・議事録などの文書資産を読み込ませて質問応答AIを構築できる。特徴は、プロトタイプではなく「production-ready」を明確に掲げている点で、金融や製造の本番運用基盤として採用が進んでいる。同種のフレームワークとしてはLangChainやLlamaIndexが有名だが、Haystackはドイツ企業らしくモジュール設計と運用性に重心を置いている点で差別化されている。

なぜこのニュースが重要か

エンジニア視点で見ると、2.5万スターという数字は「LLMアプリのアーキテクチャが標準化フェーズに入った」ことのシグナルだ。2023年から2024年前半までは、生成AIをどう業務に組み込むかは各社の手探りで、Python + OpenAI API直叩きのプロトタイプが乱立していた。しかし本番運用に持ち込もうとした瞬間に、リトライ、レート制御、ベクトルDBの入れ替え、モデル差し替え、監査ログ、といった「地味なインフラ層」が全部必要になる。Haystackがスターを集めているのは、まさにこの地味な部分を抽象化しているからだ。

もう一つ重要なのは、これがOSSであるという事実だ。ChatGPT Enterpriseや各種SaaS RAGサービスに月額課金し続けるモデルと、Haystackで内製する道は、2〜3年で数千万円単位のコスト差を生む。しかもモデル層はOpenAI、Anthropic、ローカルのLlama系まで差し替え可能で、ベンダーロックインを回避できる。これは経営判断としても、技術負債の観点としても、極めて大きい。

技術的な深掘り

Haystackの設計思想で注目したいのは「Pipeline」という抽象だ。従来のLangChain的なChain抽象は、シーケンシャルな処理を素直に書ける反面、分岐や並列、条件付きループが混じった瞬間に可読性が崩壊する傾向があった。Haystack 2.xはこれをDAG(有向非巡回グラフ)として明示的に扱う設計で、YAMLでパイプライン定義を外出しできる。これは仕様書ベースで動作を検証したいエンジニアには極めて重要な特性だ。

さらに「context engineering」という用語をリポジトリ説明に据えている点も見逃せない。プロンプトエンジニアリングが個別の呪文書きに終始したのに対し、context engineeringは「LLMに何を、どの順で、どの粒度で見せるか」を設計論として扱う。RAGの本質はベクトル検索の精度ではなく、検索結果をどう再ランクし、どう圧縮し、どう構造化してプロンプトに詰めるかにある。Haystackはこの層をコンポーネントとして分離しており、精度改善のイテレーションを高速に回せる。逆に言えば、この設計思想を理解せず「とりあえずベクトルDBに突っ込む」実装は、3年以内に必ず作り直しになる。

経営者として次に取るべき動き

第一に、社内の文書資産の棚卸しを今月中に始めることだ。マニュアル、議事録、過去の問い合わせログ、契約書。これらがどのフォーマットで、どのシステムに、どの権限で眠っているかを可視化しないと、RAGの燃料が調達できない。

第二に、SaaS型AIサービスへの年間支出と、Haystackベースの内製構築コスト(初期開発+運用エンジニア2名の人件費を推定)を並べて比較する試算を経営会議に上げること。月額数十万円のサービスを複数契約している企業なら、2年で内製が黒字化する試算になるケースが多い。

第三に、RAG設計人材を社内で育てる意思決定を今下すこと。外注に丸投げした企業は、モデルが世代交代するたびに刷新費用を払い続ける構造にはまる。内製チームを持つ企業とのコスト差は、3年後に一桁違ってくる。