リモート可
【Python/AIチャットボット/】公共系向けオンプレLLM基盤（vLLM＋GPU）構築・AIチャットボット開発支援
雇用形態
業務委託(フリーランス)
業務内容
【作業内容】
・H100 クラス相当 GPU を搭載したオンプレサーバ 3 台による ローカル LLM 推論環境（vLLM）構築
・GitLab Duo 等の AI コーディング支援機能をオンプレ環境で利用するための LLM 推論基盤整備
・GPU 調達待ち期間における プロンプトエンジニアリング中心の事前検証
・将来的な RAG 構築／ファインチューニング の検討・実装
・LLM 活用による AI チャットボットの開発支援（会話設計・意図判定・プロンプト整備）
・物理サーバ作業に伴う三鷹拠点での初期セットアップ対応
求めるスキル
- ■必須スキル：
- ・LLM を活用したシステム開発または検証経験 ・プロンプトエンジニアリング、RAG、モデル評価など ・Linux サーバ構築・運用スキル ・Python による開発経験（規模不問） ・新技術のキャッチアップに前向きに取り組める方 ・公共系システムでのセキュリティ要件・制約下での開発に前向きに取り組める方
- ■歓迎スキル：
- ・GitLab（CI/CD）の利用経験 ・オンプレ環境でのサーバ構築・NW・ストレージの基本知識 ・vLLM によるオンプレ LLM 推論基盤の構築・運用経験 ・LLM ベースのチャットボット開発経験