Prompt coverage: как оценить присутствие по вопросам
Prompt coverage для GEO: как собрать набор вопросов, посчитать долю присутствия и не улучшать показатель искусственным изменением выборки.
Prompt coverage можно использовать как внутреннюю метрику: долю проверенных вопросов, в ответах на которые выполнено выбранное условие присутствия. Условие и набор вопросов нужно определить заранее. Это показатель вашей выборки, а не доля всего рынка AI-поиска.
- Формат
- Практический гайд
- Тема
- SEO и GEO
Задайте, что считается попаданием
Выберите одно условие для расчёта: корректное упоминание бренда или ссылка на сайт. Не смешивайте их по ситуации. Для другого условия считайте отдельную колонку. Повтор одного и того же вопроса — дополнительное наблюдение, а не новый уникальный запрос.
Посчитайте с понятным знаменателем
Условный пример: из 20 заранее выбранных вопросов на 6 получены корректные ссылки. Покрытие по этому условию равно 6/20, то есть 30%. Если часть проверок не состоялась из-за ошибки сервиса, покажите это отдельно и объясните, включены ли они в знаменатель.
Разделите темы и версии набора
Общая доля может скрыть отсутствие видимости по важной услуге. Посчитайте покрытие по темам и типам вопросов. Когда добавляете новые формулировки, сохраняйте старую версию набора для сопоставимого повторения. Не удаляйте неудобные вопросы только ради роста процента.
Рядом с процентом всегда указывайте размер набора и критерий попадания: без них число почти ничего не объясняет.
Вопросы и ответы
Какой процент считать хорошим?
Универсального порога нет: значение зависит от вопросов, условий попадания и платформы. Сначала сравнивайте собственный устойчивый набор.
Как учитывать несколько повторов вопроса?
Заранее задайте правило: например, показывать частоту попадания по каждому вопросу. Не выбирайте только самый удачный ответ.
