Add cohere2moe to llama-vocab for TINY_AYA (#24601)
This commit is contained in:
+2
-1
@@ -2280,7 +2280,8 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {
|
|||||||
clean_spaces = false;
|
clean_spaces = false;
|
||||||
ignore_merges = true;
|
ignore_merges = true;
|
||||||
} else if (
|
} else if (
|
||||||
tokenizer_pre == "tiny_aya") {
|
tokenizer_pre == "tiny_aya" ||
|
||||||
|
tokenizer_pre == "cohere2moe") {
|
||||||
pre_type = LLAMA_VOCAB_PRE_TYPE_TINY_AYA;
|
pre_type = LLAMA_VOCAB_PRE_TYPE_TINY_AYA;
|
||||||
clean_spaces = false;
|
clean_spaces = false;
|
||||||
} else if (
|
} else if (
|
||||||
|
|||||||
Reference in New Issue
Block a user