Как превратить сайт в базу знаний

Гайд

1. 1

   Что это делает

   Вы вставляете адрес сайта. FlowCastle находит страницы, читает их, убирает меню и баннеры о куках и сохраняет каждую страницу как документ в базе знаний. Подключите эту базу к блоку AI чат-агент — и бот будет отвечать по вашим настоящим страницам: ваши цены, ваши услуги, ваши правила доставки.

   Это самый быстрый способ наполнить базу знаний и обычно самый точный: текст уже написан так, как вы показываете его клиентам.

2. 2

   Запустить импорт

   Откройте Настройки → Настройки AI и пролистайте до раздела Базы знаний. Нажмите Импортировать с сайта. Кнопка есть в двух местах: вверху раздела (импорт в новую базу) и у выбранной базы (добавить страницы в неё).

   В форме пять полей:

   • Адрес сайта — https://example.com. Более глубокий адрес импортирует только этот раздел: укажите https://example.com/docs, и всё, что вне /docs, останется нетронутым.
   • Куда добавить страницы — в выбранную базу или в новую.
   • Название базы знаний — оставьте пустым, и база будет названа по домену.
   • Включить блог и статьи — включено по умолчанию. Именно статьи отвечают на вопросы «как сделать…». Выключите, если нужна база поменьше, только про продукт и цены.
   • Лимит страниц — 200 по умолчанию, максимум 500. Если подходящих страниц больше лимита, останутся важные: главная, цены, о компании, контакты, услуги, FAQ, затем возможности и документация, потом остальное.

   Нажмите Найти страницы.

3. 3

   Сначала спрашивает, потом читает

   Сначала идёт поиск страниц, и на этом импорт останавливается. Карточка показывает Найдено страниц на example.com: 137. Импортировать? и часть адресов, которые собирается прочитать.

   Этот шаг нужен, чтобы вы успели заметить не тот домен, тестовый сайт или магазин на десять тысяч карточек товара — до того, как что-то будет загружено. Нажмите Импортировать 137 стр., чтобы продолжить, или Отменить импорт.

   Как находятся страницы, по порядку:

   1. robots.txt — читается первым: и ради правил, и ради ссылок на карты сайта.
   2. Карты сайта, на которые он указывает, включая индексы карт.
   3. Если карты сайта нет вовсе — ссылки с главной страницы, на один уровень вглубь. Карточка предупредит об этом, потому что результат обычно беднее.

   Страницы, запрещённые в robots.txt, не загружаются никогда, и карточка покажет, сколько их было пропущено. Обходчик представляется как FlowCastleKBBot/1.0.

4. 4

   Пока импорт идёт

   Карточка показывает этап — Поиск страниц, Чтение страниц, Сохранение страниц, Индексация, затем Готово — и счётчик вида Прочитано 42 из 137 стр.

   Со страницы можно уйти. Импорт продолжается на сервере, и карточка подхватит его, когда вы вернётесь.

5. 5

   Что пропускается и почему

   Не всякая страница полезна в базе знаний. Импорт отбрасывает те, что добавили бы только шум:

   Что вы увидите	Что произошло
   Слишком мало текста	Меньше 60 слов после удаления меню и подвала. Обычно это галерея, редирект или пустая категория.
   Дубликат другой страницы	Такой же текст уже пришёл с другого адреса.
   Рендерится JavaScript	Страница приходит пустой и дорисовывается в браузере. В HTML читать нечего.
   Сверх лимита страниц	Страница подходила, но лимит уже был израсходован.
   Не удалось загрузить	Таймаут, ошибка, это не HTML-страница или слишком большой размер (2 МБ на страницу).

   Корзина, оформление заказа, вход, поиск, страницы тегов и авторов отсеиваются ещё до загрузки — вместе с картинками и файлами.

   Когда импорт закончится, список Страницы, которые не импортированы покажет каждую из них с причиной. Если список длинный и в нём сплошь Рендерится JavaScript — у вас одностраничное приложение. Импорт скажет об этом прямо, а решение одно: вставить ключевой текст документом вручную.

6. 6

   Контакты собираются один раз

   Почта и телефоны обычно стоят в подвале каждой страницы. Если импортировать их 600 раз, бот начнёт отвечать «вот наши контакты» почти на любой вопрос.

   Поэтому они собираются по всему сайту и складываются в один документ: Contact details for example.com. Это обычный документ — его можно открыть, отредактировать и удалить номер, которого не должно быть на виду.

7. 7

   Подключите базу к агенту

   Сама по себе база ни к чему не подключена. Откройте сценарий, кликните по блоку AI чат-агент, перейдите в Настройки → Знания и выберите базу в поле Базы знаний.

   Дождитесь конца индексации, прежде чем тестировать. Документ ищется только со статусом Готово — бот не может ответить по странице, которую ещё не проиндексировал, и слишком ранняя проверка выглядит как «импорт не сработал».

   Остальная настройка — системный промпт, модель, намерения, поведение при отсутствии ответа — в статье Узел «AI чат-агент».

8. 8

   Обход заново, чтобы база не устарела

   Сайты меняются. Нажмите Обойти заново у базы, и всё повторится с теми же настройками.

   Это не импорт с нуля:

   • Страницы без изменений остаются как есть и не индексируются заново.
   • Изменившиеся страницы обновляются на месте.
   • Страницы, которых на сайте больше нет, удаляются из базы.

   Поэтому повторный обход почти статичного сайта стоит дёшево и проходит быстро. Документы, которые вы написали руками, не трогаются — только страницы, пришедшие с этого сайта.

9. 9

   Можно просто попросить AI-ассистента

   Это же можно сказать словами в AI-чате: «сделай ассистента для example.com». Ассистент запустит тот же импорт, покажет, что именно читает, и подключит готовую базу к агенту, которого соберёт. Импорт идёт в фоне, так что диалог можно продолжать.

   У агентов, подключённых по MCP, есть тот же инструмент: import_website_into_knowledge_base запускает обход и возвращает id задачи, а get_website_import показывает прогресс.

10. 10

    Ограничения, о которых стоит знать

    • 500 страниц за импорт, 200 по умолчанию.
    • 2 МБ на страницу, 20 МБ на весь импорт.
    • 20 секунд на запрос, по три страницы одновременно.
    • Только http и https. Внутренние и приватные адреса отклоняются.
    • Если сайт просит паузу между запросами больше 2 секунд, используется 2 секунды, и вам об этом сообщат.
11. 11

    Когда сайт — неподходящий источник

    Импортируйте сайт, если страницы уже говорят то, что должен говорить бот. Пишите документы руками, если нет.

    Публичные страницы написаны, чтобы продавать. Боту поддержки часто нужна скучная версия: точный срок возврата, точные сроки доставки, та самая формулировка, которую вы спокойно отправите клиенту в два часа ночи. Сначала импортируйте сайт, потом добавьте эти несколько документов вручную. Они прекрасно живут в одной базе.

12. 12

    Что дальше

    Один бот на нескольких языках — включая только что импортированные страницы: Мультиязычные боты: один бот, много языков.