Как превратить сайт в базу знаний

Вы вставляете адрес сайта. FlowCastle находит страницы, читает их, убирает меню и баннеры о куках и сохраняет каждую страницу как документ в базе знаний. Подключите эту базу к блоку AI чат-агент — и бот будет отвечать по вашим настоящим страницам: ваши цены, ваши услуги, ваши правила доставки.

Это самый быстрый способ наполнить базу знаний и обычно самый точный: текст уже написан так, как вы показываете его клиентам.

Откройте в левом меню Настройки → AI (страница называется Настройки AI) и пролистайте до раздела Базы знаний. Нажмите Импортировать с сайта. Кнопка есть в двух местах: вверху раздела (импорт в новую базу) и у выбранной базы (добавить страницы в неё).

В форме пять полей:

• Адрес сайта — https://example.com. Более глубокий адрес импортирует только этот раздел: укажите https://example.com/docs, и всё, что вне /docs, останется нетронутым.
• Куда добавить страницы — в выбранную базу или в новую.
• Название базы знаний — оставьте пустым, и база будет названа по домену.
• Включить блог и статьи — включено по умолчанию. Именно статьи отвечают на вопросы «как сделать…». Выключите, если нужна база поменьше, только про продукт и цены.
• Лимит страниц — 200 по умолчанию, максимум 500. Если подходящих страниц больше лимита, останутся важные: главная, цены, о компании, контакты, услуги, FAQ, затем возможности и документация, потом остальное.

Нажмите Найти страницы.

Сначала идёт поиск страниц, и на этом импорт останавливается. Карточка показывает Найдено страниц на example.com: 137. Импортировать? и часть адресов, которые собирается прочитать.

Этот шаг нужен, чтобы вы успели заметить не тот домен, тестовый сайт или магазин на десять тысяч карточек товара — до того, как что-то будет загружено. Нажмите Импортировать 137 стр., чтобы продолжить, или Отменить импорт.

Карточка показывает этап — Поиск страниц, Чтение страниц, Сохранение страниц, Индексация (подготовка страниц к поиску), затем Готово — и счётчик вида Прочитано 42 из 137 стр.

Со страницы можно уйти. Импорт продолжается на сервере, и карточка подхватит его, когда вы вернётесь.

Не всякая страница полезна в базе знаний. Импорт отбрасывает те, что добавили бы только шум:

Корзина, оформление заказа, вход, поиск, страницы тегов и авторов отсеиваются ещё до загрузки — вместе с картинками и файлами.

Когда импорт закончится, список Страницы, которые не импортированы покажет каждую из них с причиной. Если список длинный и в нём сплошь Рендерится JavaScript — ваш сайт собирает страницы прямо в браузере, и импорт не может их прочитать. Импорт скажет об этом прямо, а решение одно: вставить ключевой текст документом вручную.

Почта и телефоны обычно стоят в подвале каждой страницы. Если импортировать их 600 раз, бот начнёт отвечать «вот наши контакты» почти на любой вопрос.

Поэтому они собираются по всему сайту и складываются в один документ: Contact details for example.com. Это обычный документ — его можно открыть, отредактировать и удалить номер, которого не должно быть на виду.

Сама по себе база ни к чему не подключена. Откройте сценарий, нажмите на блок AI чат-агент, перейдите в Настройки → Знания и выберите базу в поле Базы знаний.

Дождитесь конца индексации, прежде чем тестировать. Документ ищется только со статусом Готово — бот не может ответить по странице, которая ещё не готова, и слишком ранняя проверка выглядит как «импорт не сработал».

Остальная настройка — системный промпт, модель, намерения, поведение при отсутствии ответа — в статье Блок «AI чат-агент»: ответы из вашей базы знаний.

Сайты меняются. Нажмите Обойти заново у базы, и всё повторится с теми же настройками.

Это не импорт с нуля:

• Страницы без изменений остаются как есть и не индексируются заново.
• Изменившиеся страницы обновляются на месте.
• Страницы, которых на сайте больше нет, удаляются из базы.

Поэтому повторный обход почти статичного сайта стоит дёшево и проходит быстро. Документы, которые вы написали руками, не трогаются — только страницы, пришедшие с этого сайта.

Это же можно сказать словами в AI-чате: «сделай ассистента для example.com». Ассистент запустит тот же импорт, покажет, что именно читает, и подключит готовую базу к агенту, которого соберёт. Импорт идёт в фоне, так что диалог можно продолжать.

Импортируйте сайт, если страницы уже говорят то, что должен говорить бот. Пишите документы руками, если нет.

Публичные страницы написаны, чтобы продавать. Боту поддержки часто нужна скучная версия: точный срок возврата, точные сроки доставки, та самая формулировка, которую вы спокойно отправите клиенту в два часа ночи. Сначала импортируйте сайт, потом добавьте эти несколько документов вручную. Они прекрасно живут в одной базе.

Как находятся страницы

1. robots.txt — файл, в котором сайт говорит поисковым роботам, что им можно читать. Он читается первым: и ради правил, и ради ссылок на карты сайта.
2. Карты сайта (списки всех его страниц), на которые он указывает, включая сводные карты.
3. Если карты сайта нет вовсе — ссылки с главной страницы, на один уровень вглубь. Карточка предупредит об этом, потому что результат обычно беднее.

Страницы, запрещённые в robots.txt, не загружаются никогда, и карточка покажет, сколько их было пропущено. Сайтам импорт представляется как FlowCastleKBBot/1.0.

Ограничения

• 500 страниц за импорт, 200 по умолчанию.
• 2 МБ на страницу, 20 МБ на весь импорт.
• 20 секунд на запрос, по три страницы одновременно.
• Только http и https. Внутренние и приватные адреса отклоняются.
• Если сайт просит паузу между запросами больше 2 секунд, используется 2 секунды, и вам об этом сообщат.

MCP

MCP — способ подключить к FlowCastle внешнего AI-агента. У агентов, подключённых по MCP, есть тот же инструмент: import_website_into_knowledge_base запускает обход и возвращает id задачи, а get_website_import показывает прогресс.

Один бот на нескольких языках — включая только что импортированные страницы: Мультиязычные боты: один бот, много языков.