Env var to set Ollama request timeout (#3516)
Signed-off-by: Jesse Bickel <jbickel@gmail.com> Co-authored-by: Jesse Bickel <bickelj@gmail..com>
This commit is contained in:
@@ -13,6 +13,7 @@ use std::time::Duration;
|
|||||||
use url::Url;
|
use url::Url;
|
||||||
|
|
||||||
pub const OLLAMA_HOST: &str = "localhost";
|
pub const OLLAMA_HOST: &str = "localhost";
|
||||||
|
pub const OLLAMA_TIMEOUT: u64 = 600; // seconds
|
||||||
pub const OLLAMA_DEFAULT_PORT: u16 = 11434;
|
pub const OLLAMA_DEFAULT_PORT: u16 = 11434;
|
||||||
pub const OLLAMA_DEFAULT_MODEL: &str = "qwen2.5";
|
pub const OLLAMA_DEFAULT_MODEL: &str = "qwen2.5";
|
||||||
// Ollama can run many models, we only provide the default
|
// Ollama can run many models, we only provide the default
|
||||||
@@ -41,9 +42,10 @@ impl OllamaProvider {
|
|||||||
.get_param("OLLAMA_HOST")
|
.get_param("OLLAMA_HOST")
|
||||||
.unwrap_or_else(|_| OLLAMA_HOST.to_string());
|
.unwrap_or_else(|_| OLLAMA_HOST.to_string());
|
||||||
|
|
||||||
let client = Client::builder()
|
let timeout: Duration =
|
||||||
.timeout(Duration::from_secs(600))
|
Duration::from_secs(config.get_param("OLLAMA_TIMEOUT").unwrap_or(OLLAMA_TIMEOUT));
|
||||||
.build()?;
|
|
||||||
|
let client = Client::builder().timeout(timeout).build()?;
|
||||||
|
|
||||||
Ok(Self {
|
Ok(Self {
|
||||||
client,
|
client,
|
||||||
@@ -104,12 +106,15 @@ impl Provider for OllamaProvider {
|
|||||||
OLLAMA_DEFAULT_MODEL,
|
OLLAMA_DEFAULT_MODEL,
|
||||||
OLLAMA_KNOWN_MODELS.to_vec(),
|
OLLAMA_KNOWN_MODELS.to_vec(),
|
||||||
OLLAMA_DOC_URL,
|
OLLAMA_DOC_URL,
|
||||||
vec![ConfigKey::new(
|
vec![
|
||||||
"OLLAMA_HOST",
|
ConfigKey::new("OLLAMA_HOST", true, false, Some(OLLAMA_HOST)),
|
||||||
true,
|
ConfigKey::new(
|
||||||
false,
|
"OLLAMA_TIMEOUT",
|
||||||
Some(OLLAMA_HOST),
|
false,
|
||||||
)],
|
false,
|
||||||
|
Some(&(OLLAMA_TIMEOUT.to_string())),
|
||||||
|
),
|
||||||
|
],
|
||||||
)
|
)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user