Visión general

POST /api/chat

Genera el siguiente mensaje en un chat con un modelo proporcionado. Este es un endpoint de streaming, por lo que habrá una serie de respuestas. El streaming puede desactivarse usando "stream": false. El objeto de respuesta final incluirá estadísticas y datos adicionales de la solicitud.

Parámetros

model: (obligatorio) el nombre del modelo

messages: los mensajes del chat, esto se puede usar para mantener una memoria del chat

tools: lista de herramientas en JSON para que el modelo las use si es compatible

El objeto message tiene los siguientes campos:

role: el rol del mensaje, ya sea system, user, assistant o tool

content: el contenido del mensaje

images (opcional): una lista de imágenes para incluir en el mensaje (para modelos multimodales como llava)

tool_calls (opcional): una lista de herramientas en JSON que el modelo quiere usar

Parámetros avanzados (opcional):

format: el formato para devolver una respuesta. El formato puede ser json o un esquema JSON.

options: parámetros adicionales del modelo listados en la documentación para el Modelfile como temperature

stream: si es false, la respuesta se devolverá como un único objeto de respuesta, en lugar de un flujo de objetos

keep_alive: controla cuánto tiempo permanecerá el modelo cargado en la memoria después de la solicitud (predeterminado: 5m)

Salidas estructuradas

Las salidas estructuradas son compatibles al proporcionar un esquema JSON en el parámetro format. El modelo generará una respuesta que coincida con el esquema. Consulte el ejemplo Chat request (Structured outputs) a continuación.

Parámetros#

Salidas estructuradas#

Parámetros

Salidas estructuradas