オンプレミスLLM導入支援
機密情報を社外に出さずに生成AIを使いたい企業に向けて、自社環境内にLLM（大規模言語モデル）を置くオンプレミス型の構成を支援します。クラウド型・閉域接続型とあわせて比較し、扱う情報と費用の両面から、業務に合う構成を決めます。
- 提供範囲
- 構成の選定 〜 設計・構築
扱う情報と費用の両面で、生成AIを使える業務が広がらない
次のような状態でご相談をいただくことが多いサービスです。
社外に出せない情報を扱う業務では、生成AIを使えない
顧客情報や設計情報など、社外に出せない情報を扱う業務はクラウド型の生成AIの対象から外され、AIを使える業務が限られています。
利用が広がるほど、従量課金の費用が積み上がる
クラウド型は初期費用を抑えられる一方、使い続けるかぎり従量課金が発生します。利用者や対象業務が増えるほど、費用の見通しが立てにくくなります。
どの構成が自社に合うかを判断できない
クラウド型・閉域接続型・オンプレミス型で、初期費用・ランニングコスト・データの置き場所が異なります。比較の軸がないまま、検討が止まっています。
先送りした場合に起きること
判断を先送りすると、社外に出せない情報を扱う業務は生成AIの対象外のまま残り、AIを使える業務と使えない業務の差が広がります。クラウド型だけで利用を広げた場合は、従量課金の費用が利用の拡大とともに増え続け、あとから構成を見直す範囲も大きくなります。
クラウド型・閉域接続型・オンプレミス型の違い
生成AIの構成は、大きく3つに分かれます。扱う情報と利用規模によって、合う構成が変わります。
| 構成 | 主な使いどころ | 初期費用 | ランニングコスト | データの置き場所 |
|---|---|---|---|---|
| クラウド型 | 文書作成・調査・要約など、社外に出しても支障のない情報を扱う業務 | 小 | 大（従量課金） | クラウド |
| 閉域接続型 | クラウド側のモデルを使いつつ、専用線やプライベート接続で通信経路を閉じたい場合 | 中（接続構成の分） | 中 | クラウド（閉域） |
| オンプレミス型 | 社外に出せない情報を扱う業務。自社環境内にモデルを置く | 大（GPU基盤） | 小（自社資産） | 社内のみ |
扱う情報の整理から、構成の選定・構築まで
対象業務と扱う情報の整理
生成AIを使いたい業務と、そこで扱う情報を洗い出し、社外に出せる情報と出せない情報を分けます。
構成の選定
クラウド型・閉域接続型・オンプレミス型を、扱う情報・利用規模・費用の見通しから比較し、業務ごとの使い分けを含めて構成を決めます。
設計・構築
計算資源（GPU）を含むサーバを構築し、社内のネットワーク・認証と接続します。アクセス権限とログの設計もあわせて行います。
業務への展開
利用者向けのハンズオンと利用ルールの雛形を用意し、お客様が業務へ展開する準備を支援します。ハードウェアの保守には、メーカーの保守サービスをご利用いただきます。
導入前には、検証用のオンプレミス環境の実機で、想定業務での動きを確かめられます。AI基盤は、社内のネットワークや認証と切り離さずに設計・構築します。
役割の分担
| ジェイズ・テクノロジー | ・業務に合う構成とモデルの選定・サーバの構築とハンズオン・社内のネットワーク・認証との接続・実機を使った検証・ワークショップの実施 |
|---|---|
| お客様 | ・費用対効果をふまえた投資判断・社外に出せる情報と出せない情報の区分の決定・業務への展開 |
よくあるご質問
オンプレミスLLM導入支援のご検討にあたって、確認が必要になりやすい点をまとめました。
クラウド型とオンプレミス型、どちらを選ぶべきですか？
どちらか一方に決める必要はありません。社外に出せない情報を扱う業務はオンプレミス型、それ以外の業務はクラウド型というように、業務ごとに使い分ける構成も選べます。扱う情報と利用規模から比較してご提案します。
オンプレミス型は初期費用が大きくなりませんか？
計算資源（GPU）を含む基盤の初期投資が必要です。一方で、導入後は自社の資産として使えるため、利用が広がるほどランニングコストを抑えやすくなります。利用規模と期間から費用の見通しを比較し、ご判断いただけるよう整理します。
特定のメーカーの製品を前提にしていますか？
特定のメーカーを前提にはしていません。扱う情報・利用規模・既存の環境に合わせて、構成と製品を中立に選定します。
小さく始めることはできますか？
対象業務を絞った小規模な構成から始め、効果を確かめたうえで対象を広げる進め方も選べます。
導入前に、実際の動きを確認できますか？
検証用のオンプレミス環境の実機を使って、動作の確認やワークショップを行えます。想定される業務で実際に動かし、応答の速さや精度、運用時の手間を確認したうえでご判断いただけます。形式や費用などの詳細は、お問い合わせください。
現状構成と検討テーマの整理から、
商談前の情報収集、現状構成の整理、製品比較、概算相談まで、情報システム部門の検討段階に合わせて対応します。
内容を確認のうえ、必要に応じて担当者よりご連絡いたします。