メインコンテンツにスキップ

Fin Visionはどのように画像を理解しますか?

Fin Visionは画像を瞬時に分析し、問題を診断し、解決策を提供し、会話を前進させる重要な詳細を捉えます。

Fin VisionはFin AI Agentの組み込み機能で、顧客が送信したスクリーンショット、写真、ドキュメントなどの画像をチャットやメールの会話内で直接分析・理解します。

有効化や設定は不要で、追加費用もかかりません。

Fin Visionは以下を支援します:

  • 問題の迅速な診断

  • 長い顧客説明の必要を排除

  • エラーメッセージ、領収書、製品の欠陥などの視覚的内容を抽出・理解


Fin Visionの仕組み

Fin Visionはマルチモーダル大規模言語モデル(LLM)を使って画像を理解します。顧客が画像を送信すると、Finは視覚対応LLMを用いて構造化されたテキスト説明を生成します。この書き起こしには以下が含まれます:

  • 抽出されたテキスト(OCR)

  • UI要素と関連ラベル

  • 参照番号、製品詳細、重要なハイライト

  • 画像から得られるコンテキストに基づく洞察

この説明はチャット履歴に追加され、Finが視覚的コンテキストを応答に組み込むことを可能にします。

この理解により、Finは以下が可能です:

  • knowledge baseをより効果的に検索

  • 視覚情報に依存するタスクを解決

  • 顧客の書面入力と同様に、関連性があり実行可能な回答を提供

注意:

  • Finはサポートコンテンツ内の画像(例:記事に埋め込まれた画像)をトレーニングや分析しません。会話中に顧客が積極的に送信した画像のみを処理します。

  • Finは画像を生成しませんが、返信に既存のサポートコンテンツの画像を含めることがあります(Fin Image Answers)。

  • Finは現在、画像内のALTテキストを読み取ることができません。


Fin Visionの活用方法

業界

利用例

FinTech

  • エラーのトラブルシューティング:送金失敗やログイン問題のスクリーンショットがFinの的確なサポートを助けます。

  • 不正警告の確認:Finはフィッシングのスクリーンショットや疑わしい活動を特定します。

SaaS

  • UIバグのトラブルシューティング:顧客がエラーや予期しないUI動作のスクリーンショットを共有し、Finがエラーメッセージを抽出して修正を提供します。

  • オンボーディング支援:Finは共有されたスクリーンショットに基づき、不明瞭なUIフローで顧客を支援します。

  • ライセンス確認:Finはアップロードされた請求書からライセンスキーやアカウント番号を読み取ります。

ecommerce

  • 返品・返金の検証:顧客が破損または誤った商品の画像をアップロードし、FinがTask instructionsに基づき適格性を評価します。

  • 配送問題:顧客が梱包や内容物の写真を共有し、Finが欠品や梱包の損傷を判断します。

  • 請求書処理:Finは領収書や納品書から注文番号や日付を抽出します。

Gaming/Gambling

  • Bug報告:プレイヤーがグリッチやクラッシュのスクリーンショットを送信し、Finが視覚情報を解釈して問題を記録します。

  • 出金問題:顧客が取引失敗のスクリーンショットをアップロードし、Finがタイムスタンプ、金額、取引IDを抽出します。

  • ベットスリップ確認:Finはアップロードされた画像からベットスリップの詳細を読み取り確認します。


Fin Visionの最大活用法

Fin Visionを最大限に活用するには、Finの他の機能と組み合わせてください:

Fin Guidanceと併用

Fin Guidanceを使って、必要に応じてFinに画像を積極的に求めるよう指示できます。スクリーンショットで何を探すかや結果に基づく次のステップも案内可能です。

ガイダンス例:

  • 顧客がスクリーンショットを共有した場合、デバイスの種類を特定し、それに応じた次のステップを提案してください。

  • ユーザーがウェブサイトのエラーや問題を報告した場合、エラーを示すスクリーンショットとそのページのリンクを求めてから支援を提供してください。

  • 顧客に支払い証明(領収書)をスクリーンショットまたは写真で提供するよう依頼してください。


よくある質問

Fin Visionはどの画像フォーマットをサポートしていますか?

Fin Visionは顧客が共有するJPG、PNG、GIF、HEICファイルをサポートしています。

Finは画像内のプライバシーや機密情報をどのように扱いますか?

Finはプライバシーを重視して設計されています。視覚モデルはクレジットカード番号、CVV、身分証明情報などの個人情報や機密情報を抽出しないよう明示的に指示されています。画像は一時的に保存され、短期間で自動的に削除されます。

Finは画像を保存しますか?

画像は安全なクラウド環境に一時的に保存され、短期間で自動的に削除されます。

顧客は画像を特定の方法で送信する必要がありますか?

いいえ、顧客はチャットやメールに画像をアップロードまたは貼り付けるだけで、Finが処理します。

顧客は複数の画像を送信できますか?

はい、Finは各画像を個別に分析し、文脈を活用して応答します。

Finは画像を生成または送信しますか?

Finは画像を生成しませんが、返信に既存のサポートコンテンツの画像を含めることがあります(Fin Image Answers)。

Fin Visionは複数言語に対応していますか?

はい、Finは多くの言語の画像からテキストを抽出できますが、精度は画像の鮮明さや複雑さに依存します。

Fin Visionをオフにできますか?

いいえ、Fin Visionは組み込み機能で無効にできません。会話の理解の一部として自動的に動作します。

FinはHEIC画像を読み取れますか?

はい、Fin VisionはiPhoneのデフォルト写真フォーマットであるHigh Efficiency Image Container(HEIC)ファイルを読み取り処理できます。FinはHEIC画像を読み取り、他の対応画像フォーマットと同様に関連コンテキストで応答します。

こちらの回答で解決しましたか?