Genera una respuesta para un prompt dado con un modelo proporcionado. Este es un endpoint de streaming, por lo que habrá una serie de respuestas. El objeto de respuesta final incluirá estadísticas y datos adicionales de la solicitud.Parámetros#
prompt: el prompt para generar una respuesta
suffix: el texto después de la respuesta del modelo
images: (opcional) una lista de imágenes codificadas en base64 (para modelos multimodales como llava)
Parámetros avanzados (opcional):format: el formato en el que se devolverá una respuesta. El formato puede ser json o un esquema JSON
options: parámetros adicionales del modelo listados en la documentación para el Modelfile como temperaturesystem: mensaje del sistema (anula lo que se define en el Modelfile)
template: la plantilla de prompt a utilizar (anula lo que se define en el Modelfile)
stream: si es false, la respuesta se devolverá como un único objeto de respuesta, en lugar de un flujo de objetos
raw: si es true, no se aplicará ningún formato al prompt. Puede optar por utilizar el parámetro raw si está especificando un prompt con plantilla completa en su solicitud a la API
keep_alive: controla cuánto tiempo el modelo permanecerá cargado en la memoria después de la solicitud (predeterminado: 5m)
context (obsoleto): el parámetro context devuelto de una solicitud anterior a /generate, esto se puede utilizar para mantener una memoria conversacional corta
Salidas estructuradas#
Las salidas estructuradas son compatibles proporcionando un esquema JSON en el parámetro format. El modelo generará una respuesta que coincida con el esquema. Consulte el ejemplo de salidas estructuradas a continuación.Modo JSON#
Habilite el modo JSON estableciendo el parámetro format en json. Esto estructurará la respuesta como un objeto JSON válido. Consulte el ejemplo del modo JSON a continuación.Es importante indicarle al modelo que use JSON en el prompt. De lo contrario, el modelo puede generar grandes cantidades de espacios en blanco. Modified at 2025-03-14 09:14:31