定義
スモール言語モデルは、コストとレイテンシのために一般的な能力を交換します。狭いタスク(分類、構造化抽出、シンプルなQ&A)の場合、ファインチューニングされた7BモデルがフロンティアモデルをコストのRGB分で上回ることがあります。SLMは大量ユースケースとオンデバイスAIに重要です。
例
請求書抽出用にファインチューニングされたPhi-3(3.8Bパラメータ)が、1日10万リクエストを各$0.0001で実行します。
Vedwixでの使用方法
ほとんどの本番AI機能はファインチューニングされたSLMとして終わります。フロンティアモデルから始めて、下に卒業します。