Проверяйте кеш по usage, а не по ощущению, что ответ стал быстрее. В Responses API число входных токенов, прочитанных из кеша, отражается в usage.input_tokens_details.cached_tokens, поле данных о расходе. Prompt caching, кеширование промпта, повторно использует начало входного контекста, а не готовый старый ответ: официальное описание.
Сохраняйте метрики, на которых основан ваш расчёт экономии. Нулевое значение cached_tokens в одном сценарии само по себе не доказывает общую неисправность кеширования.
Что должно совпадать
Кешу нужен одинаковый префикс: начальная часть контекста до подходящей границы. На неё влияют не только видимый текст, но и определения инструментов, их порядок и настройки запроса.
Общие инструкции и справочный материал держите в начале, переменную задачу размещайте после них. Случайный ID или постоянно меняющуюся дату лучше не вставлять перед большим неизменным блоком без необходимости.
Не переносите правила между поколениями. Для GPT-5.6 и новее минимальный кешируемый префикс составляет 1024 видимых входных токена; для более ранних моделей условия отличаются. Параметры срока хранения тоже зависят от модели. Актуальные различия перечислены в таблице кеширования.
Как проверить, почему кеш не сработал
- Сохраните model, настройки, response.id, input_tokens и cached_tokens.
- На поддерживаемых GPT-5.6+ передайте ID завершённого базового ответа в prompt_cache_options.comparison_response_id.
- Посмотрите prompt_cache_diagnostics, результат диагностики: например, tools_changed подсказывает проверить изменения инструментов.
- Сравните не только статус диагностики, но и число реально использованных повторно токенов.
Эта процедура описана в руководстве диагностики.
comparison_response_id только запускает сравнение: он не загружает историю разговора и не заставляет кеш сработать. Даже cache_hit не означает, что весь запрос взят из кеша: новый хвост всё равно обрабатывается.
Как считать экономию, а не только попадания
Учитывайте запись в кеш. Для новых семейств есть cache_write_tokens (число записанных в кеш токенов) и собственный тариф записи. Его нельзя считать бесплатным или добавлять поверх обычного тарифа за те же токены.
Сопоставляйте обычный вход, чтение и запись с тарифами выбранной модели. Один удачный повтор ещё не показывает экономику рабочего сервиса.
Для внутреннего отчёта полезны две разные величины:
- Доля вызовов с cached_tokens больше нуля.
- Доля кешированных токенов во всём входе.
Первая не заменяет вторую.
Проверено 10 ноября 2026 года. Собственные проценты экономии не заявляются.
Последнее редактирование: