メインコンテンツにスキップ

Webサイトを同期して管理する

公開URLからFinをトレーニングする方法。

ウェブサイトのコンテンツでFinをトレーニングしたい場合は、そのサイトの公開URLを同期することで実行できます。


開始する

Train > Content に移動し、"コンテンツを追加" セクションの下にある Website sync を選択します。

ウェブサイトの公開URL(トップレベルの domain)を入力し、Next. をクリックします。

これにより、指定したウェブサイトのURLからすべてのページが取得され、すべてのサブ domain ページが読み取られます。

ヒント:

同期するページを確認する

URLを入力すると、有効でアクセス可能か確認します。その後、同期するページを確認する必要があります。選択した各セクションにリンクされたすべてのサブページが同期されます。関連性があり最新のコンテンツのみを選択してください。

ヒント:

  • ヘルプ記事、ガイド、FAQS のようなサポートコンテンツを含むページやセクションを選択してください。

  • マーケティングページ、製品一覧、または複雑なレイアウトのページは選択しないでください。

  • 選択したセクション内のすべてのリンクされたサブページは自動的に含まれます。

  • 詳細設定で選択をいつでも更新できます。

詳細設定 [optional]

追加のURL、除外するURL、除外するCSSセレクタなどを構成するには、Advanced settings のドロップダウンを選択します。

追加のURL

ウェブサイトの構造はさまざまです。最も関連性の高いコンテンツを同期するために、特定のサブページの追加URLを追加することをお勧めします。

例えば、上でプライマリURLとして https://myhelpcenter.com/help を入力した場合、https://myhelpcenter.com/help/index.html のような特定のURLも追加するとよいでしょう。

除外するURL

同期したくない特定のページを除外するには、URLグロブの一覧を追加できます。

URLグロブとは?

グロブは、ファイルパスやURLにマッチさせるために使用される文字列(リテラルおよび/またはワイルドカード文字)のことです。グロブ操作は、1つ以上のグロブを使用してファイルシステム上のファイルを検索する行為です。URLグロブを使用すると、リクエスト間で一部だけが変わる同じようなURLの範囲を取得するのにも役立ちます。

例えば、このURLグロブ https://{store,docs}.example.com/** は、https://store.example.com/ または https://docs.example.com/ で始まるすべてのURLへのクロールを許可し、https://example.com/**/*\?*foo=* を含みます。

ヒント: 除外したいURLにglobパターンが一致するか不明ですか?適用する前にサンプルURLでパターンをテストするために DigitalOcean's Glob Tool を使用できます。 (これは Intercom が保守していないサードパーティツールです。)

除外するCSSセレクタ

特定のページ要素を除外するには、除外したい特定のセクションや要素のCSSセレクタを使用できます。

これは、関連性の低いページコンテンツをスキップするのに役立ちます。値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクタでなければなりません。デフォルトでは、一般的なナビゲーション要素、ヘッダー、フッター、モーダル、スクリプト、インライン画像は既に削除されます。

クリック可能なCSSセレクタ

これにより、指定したCSSセレクタで識別されたDOM要素が、ウェブ同期プロセス中にクリックされるようになります。

これは、折りたたまれたセクションを展開してそのテキストコンテンツを取得するのに便利です。値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクタでなければなりません。

例: "[aria-expanded=\"false\"]", #expand_section

複雑な条件はCSSセレクタで表現することもできます。CSSでは、セレクタをスペースなしで連結するとANDのような条件になります。例えば .button.blue.small は3つのクラスすべてを持つ要素にのみマッチします。

区切り文字としてカンマ(,)を使用するとORのように機能します。例: .button, .blue, h1 はクラスbutton、またはクラスblue、または見出し(h1)を対象とします。

CSSセレクタの読み込み待ち

ページ上で表示に遅延がある可能性のあるコンテンツを対象にするには、スクレイピングの前に待機するCSSセレクタを追加できます。

これは、アイドルネットワークによるデフォルトのコンテンツ読み込み認識が失敗するページに有用です。このオプションを設定するとデフォルトの動作は完全に無効になり、このセレクタで指定された要素が表示された場合にのみページが処理されます。

注意: 値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクタでなければなりません。

XMLサイトマップ

サイトマップ対応のウェブサイトでより堅牢なwebsyncを実現し、初期URLから到達できないページへのアクセスを可能にします。

このオプションが有効な場合、ウェブスクレイパーは提供されたソースURLのドメインでサイトマップを探し、クロールしたページで見つかったリンクと同様に一致するURLをキューに追加します。https://www.example.com/sitemap.xml のように sitemap.xml ファイルを直接参照することもできます。

プロキシの地域

特定の地域または国に設定されたプロキシでサイトをクロールする必要がある場合、クローラーが使用するプロキシを選択できます。

現在、以下のプロキシをサポートしています:

  • ローテーティング: United States, Germany, France, United Kingdom, Czechia, Hungary

  • スタティック:

    • United States - 119.13.211.225, 161.123.167.215, 94.176.49.232, 185.223.56.90, 154.17.143.135

    • Europe - 178.171.116.231, 206.232.77.243, 206.232.90.11, 209.20.175.180, 45.94.247.149

    • Australia - 154.220.151.84, 173.254.193.121, 160.224.101.213, 160.224.100.176, 212.70.22.41

クロールタイプ

このウェブサイトを同期する際、クローラーが各ページをどの程度レンダリングするかを選択します。

  • ページの同期が空または切り詰められている場合、通常はJavaScriptのレンダリングが原因です。Fullに切り替えて再同期してください。

  • Fullは負荷が高いため、大きなソースはスケジュールが短縮される可能性があります。

  • 既存のソースでこれを変更し、比較のために再同期することができます。

Option

何をするか

使用する状況

Fast

JavaScriptを実行せずにHTMLを読み取ります。

コンテンツが初期HTMLに含まれている場合 — ほとんどのブログ、ドキュメント、help center。

Auto(デフォルト)

必要に応じて当社が選択し、サイトにJavaScriptが必要な場合はFullに切り替えます。

確信がない場合。ほとんどの人に適しています。

Full

ブラウザで各ページを読み込み、JavaScriptを実行します。遅くなります。

コンテンツがスクリプト実行後にのみ表示される場合、シングルページアプリやJavaScript多用のページ。

正規化(canonical)URLを無視する

有効にすると、ウェブスクレイパーはrel="canonical"のリンクタグを無視し、各URLを個別のページとして扱います。このオプションはデフォルトで無効です。

サイトが多くのページを1つの正規URLに指していて、その結果コンテンツが見落とされている場合に役立ちます。

クエリパラメータの除外とrobots.txtの尊重

詳細設定の下にさらに2つのトグルがあります。どちらもデフォルトではオフです。

Respect robots.txt:クローラーがサイトのrobots.txtのdisallowルールに従うようにします。他のクローラーがアクセスできる範囲と同期を一致させたい場合にオンにしてください。robots.txtがFinに取り込みたいコンテンツのパスを禁止している場合、同期される内容は減少します。

Exclude query parameters:クエリ文字列(?)を含むURLをスキップします。追跡、セッション、並べ替えパラメータを付加して多数のほぼ重複ページが生成される場合にオンにしてください。/docs?page=intro のようにクエリ文字列の背後に実際のコンテンツがある場合はオフのままにしてください — それらのページもスキップされます。

対象オーディエンス

Targetステップでは、すべての同期ページに適用するデフォルトのオーディエンスを設定したり、URLパターンに基づいて特定のオーディエンスを自動的に割り当てるルールを作成したりできます — 手動タグ付けは不要です。

最初に、このソースのコンテンツがFin AI Agentおよび/またはCopilotで有効かどうかを決めます。

次に、このソースから同期されたすべてのページに適用するデフォルトのFinオーディエンスを設定するか(デフォルトが設定されていない場合、コンテンツはEveryoneにデフォルトされます)、URLパターンに基づいて特定のオーディエンスを割り当てるルールを作成できます。

例:URLに/ukが含まれる場合、UKオーディエンスを割り当てる。 ルールは同期時に評価されるため、FinとCopilotは常に適切なコンテンツを適切なオーディエンスに提供します。

各ルールは3つのURL比較子をサポートします:

  • Starts with — 指定したプレフィックスで始まるURLに一致します。

  • Ends with — 指定したサフィックスで終わるURLに一致します。

  • Contains — 指定した部分文字列を含むURLに一致します。

注:

  • ライブプレビューは各ルールに一致するページ数を表示し、保存前にルールを検証するのに役立ちます。これはウェブ同期ソースにサイトマップが利用可能であることが必要です。サイトマップがない場合でもルールは適用されますが、一致のプレビューはできません。

  • ルールは作成時に自動命名されますが、名前を変更できます。ウェブ同期ソースごとに最大10個のルールが適用されます。

  • オーディエンスルールは追加のみです:コンテンツにオーディエンスを追加しますが、既存の割り当てを削除することはありません。ルールを削除しても過去の割り当ては元に戻りません。

同期設定の確認

最後に、同期設定を確認してからSync website をクリックして、ウェブサイトコンテンツをIntercomと同期してください。


ウェブサイトソースの管理

同期が完了すると、メール通知を受け取り、ウェブサイトは「コンテンツソース」セクションのTrain > Contentに同期されたソースとして表示されます: Train > Content

ウェブサイトソースをクリックすると、公開URLから同期された個々のページをプレビューおよび管理できます。

注: ウェブサイトソースは読み取り専用で、Finワークスペース内で編集できません。ソース側で編集する必要があります。

設定の構成

ウェブサイトページを表示すると、右側に「詳細」パネルがあり、次の内容が含まれます:

  • データ:コンテンツタイプ、言語、作成日、最終更新日(ソースと最後に同期した日時)を表示します。

  • Fin: Fin AgentおよびFin Copilotの有効/無効を切り替えます。有効にすると、コンテンツはそれぞれ顧客とチームメンバーが利用できるようになります

    • Scheduling: FinとCopilotのオン/オフを特定の日付で切り替えます。

    • Audience: 顧客がFin Agentから自分に関連する回答とコンテンツのみを受け取るようにします。

  • Link: このウェブサイトソースの公開URL。

  • Reports: このコンテンツが会話の解決に関与して使用された頻度を追跡します(Fin Agent)。

  • Tag: ウェブページをグループ化し、コンテンツを整理するためにタグを追加します。

Make it available to Fin or Copilot

To make a website source available to Fin Agent or Fin Copilot, go to Train > Content and click on the website source under the "Content sources" section, then open the relevant webpage you've synced.

From the "Details" panel, scroll down to “Fin” and toggle on:

  • Fin Agent - この設定は、顧客に応答する際にFin AIがウェブページを使用できるようにします(任意のオーディエンスルールを尊重します)。

  • Fin Copilot - この設定は、チームメイトに応答する際にFin Copilotがウェブページを使用できるようにします。

Schedule website availability

同期されたウェブページを将来の日時とタイムゾーンでFinおよびCopilot向けにオン/オフにするスケジュールを設定できます。開始日のみを設定するか、開始と終了の両方を設定して期間限定の利用可能性ウィンドウを作成します。スケジュールは個別ページまたは一括に適用されます。

Schedule a single page

  1. ページを開きます。右側のDetailsパネルで、Finドロップダウン内のSchedulingセクションを見つけます。

  2. Click Schedule availability.

  3. In the modal: select the AI product (Fin for Service or Fin Copilot), set availability (Enable or Disable), and pick a date, time, and timezone.

  4. Optionally toggle Set end date to add an end date and time — the action reverses automatically at that point.

  5. Click Schedule to confirm.

Bulk schedule pages

  1. コンテンツ一覧から複数のページを選択します。

  2. More actionsドロップダウンに移動し、Schedule availabilityを選択します。

  3. The same scheduling modal applies to all selected items.

How scheduling works

  • Start date only: The enable/disable action fires at the scheduled time and stays in effect until you manually change it.

  • Start + end date: Content turns on (or off) at the start time, then automatically reverts at the end time.

  • Manual changes don't cancel a pending schedule: If you manually toggle availability after setting a schedule, the scheduled transition will still fire at its scheduled time and override your manual change.

  • One pending schedule per item per agent: Setting a new schedule replaces the previous one — no duplicates.

  • Deleted content: If a page is deleted before its schedule fires, the schedule simply won't apply and no error is shown.

Make it available to a specific audience

同期されたコンテンツに対して、ウェブ同期作成時にURLベースのルールを使って自動的にオーディエンスを割り当てることも、ページごとに手動で行うこともできます。まず、対象にするオーディエンスを作成して定義する必要があります。

Then go to Train > Content and click on the website source under the "Content sources" section, then open the relevant webpage you've synced.

From the "Details" panel, scroll down to “Fin” and use the audience dropdown to select one of your pre-defined audiences.

Note:

  • The default audience for public URLs is “Everyone”.

  • Fin Agent will also respect any audience you apply to a public URL and only use this article to answer customer questions if they match the audience rules.

Add or edit audience rules on existing syncs

You don't need to recreate a sync to add audience targeting. Go to Train > Content, select the source, click the settings dropdown in the top right, and select Open settings. Navigate to the Target step to add or edit URL-based rules.

Note: When audience rules are added to an existing web sync, they apply retroactively to all content already ingested from that source — not just new content going forward.

Re-sync or remove a website as a source

If you’d like to re-sync or remove a public URL as a source, go to Train > Content, and click on the website source under the "Content sources" section, then open the Settings dropdown in the top right.

Here, you can select whether to Re-sync or Remove this source.

Tip: Updates made on your source website won't appear in Intercom immediately. Website re-syncs happen automatically each week, but you can trigger a manual re-sync at any time to show the latest content sooner.

View website sync history

You can view a list of past website syncs to see when they were last run, which pages were found, and any failed pages. Go to Train > Content, and click on the website source under the "Content sources" section, then select View sync history.


Each row in the table represents a past or active run, and you can filter the runs by status (started, success, failed).

It includes the following information:

  • Sync date

  • Status

  • Synced pages

  • Excluded pages

  • Failed pages

  • 期間

  • 同期が開始されました

同期が失敗した場合、ステータスにカーソルを合わせると失敗理由の詳細が表示されます。

Automatic syncs pause when Fin isn't using a website

新しいソースは最初の90日間は予定どおり同期されます。その後は、以下のいずれかが当てはまる場合に自動的に同期が継続されます:

  • そのページが過去90日間にFinの回答で使用された。

それ以外の場合、予定された同期は一時停止します。

一時停止中:ページはKnowledge Hubに残り、Finと Copilot が利用可能なままです(データが削除されることはありません)。再クロールのみ停止するため、サイトの編集は反映されません。

復旧方法:Sync nowボタンはコンテンツを一度更新しますが、スケジュールを再開するわけではありません。自動同期はFinが再びそのソースを使用すると自動的に再開されます。

クロール負荷が高いウェブサイトは同期頻度が低くなります

非常に大きなサイトや完全なJavaScriptレンダリングを必要とするサイトは、クロールに大きなコストがかかります。リソース負荷の高いソースは週次から14日ごとのスケジュールに移動します。

これはソースごとに自動で行われます。大規模なサイトを高速スケジュールのまま維持するには、URL除外でクロール範囲を狭めるか、ドメイン全体ではなく特定のサブページを追加してください。


ウェブサイト同期のトラブルシューティング

よくある問題

Finを有効にするためにウェブサイトコンテンツをインポートする際は、公開URLを入力する必要があります。これはそのURL配下のすべてのページを検索して、Fin AI Agentが使用できるように同期します。

インポーターが期待したページ数を返さなかった場合、いくつかの理由が考えられます…

指定したURLがトップレベルドメインではない

ウェブサイト同期は、指定したURLにアクセスしてそのURL配下のすべてのページを検索することで動作します。これらのページは、指定したURLと同じURLパターンである必要があります。

たとえば、トップレベルドメインが https://myhelpcenter.com/home の場合、インポートしたいすべてのページはURLに/homeプレフィックスを含む必要があります(例: https://myhelpcenter.com/home/article)。含まれていない場合はプレフィックスを削除して、基本のURL(例: https://myhelpcenter.com)を使用して、再度インポートを試してください。

URLが非公開である

使用したいコンテンツがログインの背後にある場合、Finはアクセスやインポートができません。

ページ制限

ウェブサイト同期には2つの制限があります:

  • Domains: 最大100の異なるトップレベルドメインを同期できます。

  • Pages per source: Finは各ソースから最大4,000ページを同期します。

単一ページに非常に大量のコンテンツが含まれている場合、同期が失敗することがあります。同期が失敗した場合はメールで通知されます。

注:

  • ソースが4,000ページを超える場合は、各ソースが制限以下になるようにいくつかのソースに分割してください:

    • サイトを小さなセクションに分割し、各セクションをそれぞれソースとして追加します。

    • 例として、製品領域やカテゴリごとにURLパスを分けて別々に同期します。

  • これにより各ソースがページ制限以下に保たれ、同期ごとに処理されるコンテンツ量が減ります。

特定の地域IPに制限されたウェブサイト

Fin's website sync (used to add public URLs for Fin AI Agent and Copilot) does not use a dedicated, custom user-agent string at this time.

サイトに厳しいアンチクロール保護がある場合、固定のIPアドレスのセットを許可リストに追加してコンテンツを取り込めるようにするために、static proxyを使用できます。ウェブサイト同期を作成または編集する際に、Advanced settingsでstatic proxyを選択してください。

  • By IP address: サイトが許可リスト登録を必要とする場合は、Advanced settingsでstatic proxyを選択してください — これにより許可リストに追加する固定のIPセットが提供されます。

  • これらのリクエストはウェブサイト同期のためだけに使用されます。Messengerのトラフィックやエンドユーザートラッキングには影響しません。

非英語または国際サイトのページが同期されない

サイトマップに非ASCII文字(アクセント付き文字や中国語やアラビア語のようなスクリプト)が含まれるURLがある場合、それらのページの一部は期待どおりに同期されないことがあります。サイトマップ検出はこれらのURLをサポートしていますが、同期プロセスの他の部分で問題が発生することがあります。手動で再同期してみてください。ページがまだ欠落している場合は、サポートに連絡してください。

ウェブサイト同期エラー

ウェブサイトコンテンツを同期する際、プロセス中に何が起きたかを示すさまざまなステータスが表示されることがあります。ウェブサイトの同期ステータスを確認するには Train > Content に移動し、ウェブサイトソースを選択してから、Status ドロップダウンで以下をフィルタリングしてください:

  • 同期中

  • ライブ

  • 失敗

  • 除外済み

各ステータスの意味と次にできることは次のとおりです:

同期中

ページの同期はまだ進行中です。初回の同期は、コンテンツ量によって数分から1時間以上かかることがあります。

ライブ

ページは正常に同期され、Finと Copilot の有効化が可能です。

: 成功した同期がページ上のすべてのコンテンツをスクレイピングできたとは限りません。完全にカバーされているか確認したい場合は、そのページから期待する回答でFinをプレビューすることをお勧めします。

Excluded

These pages are intentionally not synced because you excluded them in the Advanced sync settings. They can't be retried or included unless otherwise specified.

Failed

These errors mean the sync didn’t complete and may require changes on your side before retrying:

1. Unknown error

  • Message: “This page couldn't be accessed. It may be slow or blocked. Try syncing again, or contact support if it fails.”

  • What it means: Something prevented us from accessing the page, but the cause isn’t clear.

2. Session blocked / Rate limited

  • Message: “The website is preventing us from accessing its content. Check if it's being blocked by an anti-crawler setting or firewall. Check your site configuration and try syncing again. If the issue persists, contact support.”

  • What it means: Your site is actively blocking or limiting our crawler.

3. Network, timeout, or similar errors

  • Message: “This page couldn't be accessed. It may be slow to load or blocked by anti-crawler settings or a firewall. Check your site configuration and try syncing again. If the issue persists, contact support.

  • What it means: The page didn’t load in time or couldn’t be reached due to network issues or blocking.

4. Duplicate

  • Message: “This page has the same content as another that's already synced. Only one version will be included.”

  • What it means: We detected identical content elsewhere, so only one copy is kept.

5. Keyword filtering

  • Message: “Pages with keywords like category, collection, or tag in the URL are excluded by default, as they usually don't contain unique content. If this page should be included, contact support.”

  • What it means: These URLs often represent lists, not standalone content pages.

6. Status code 400

  • Message: “Page content cannot be found. Check that the URL is valid and the page loads without issues.

  • What it means: The URL may be broken or returning an error on your website.

7. Blocked URL

  • Message: “This website domain is blocked from being synced. If you require this, contact support.”

  • What it means: The domain is intentionally excluded from syncing.


​You can retry a failed page sync by hovering over the page, select the three dot menu and then select Resync.

こちらの回答で解決しましたか?