model : remove modern-bert iswa template (#18529)
* remove modern-bert iswa template * forgotten
This commit is contained in:
+1
-1
@@ -7457,7 +7457,7 @@ ggml_cgraph * llama_model::build_graph(const llm_graph_params & params) const {
|
|||||||
} break;
|
} break;
|
||||||
case LLM_ARCH_MODERN_BERT:
|
case LLM_ARCH_MODERN_BERT:
|
||||||
{
|
{
|
||||||
llm = std::make_unique<llm_build_modern_bert<true>>(*this, params);
|
llm = std::make_unique<llm_build_modern_bert>(*this, params);
|
||||||
} break;
|
} break;
|
||||||
case LLM_ARCH_NEO_BERT:
|
case LLM_ARCH_NEO_BERT:
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -332,7 +332,6 @@ struct llm_build_mistral3 : public llm_graph_context {
|
|||||||
llm_build_mistral3(const llama_model & model, const llm_graph_params & params);
|
llm_build_mistral3(const llama_model & model, const llm_graph_params & params);
|
||||||
};
|
};
|
||||||
|
|
||||||
template <bool iswa>
|
|
||||||
struct llm_build_modern_bert : public llm_graph_context {
|
struct llm_build_modern_bert : public llm_graph_context {
|
||||||
llm_build_modern_bert(const llama_model & model, const llm_graph_params & params);
|
llm_build_modern_bert(const llama_model & model, const llm_graph_params & params);
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -1,7 +1,6 @@
|
|||||||
#include "models.h"
|
#include "models.h"
|
||||||
|
|
||||||
template <bool iswa>
|
llm_build_modern_bert::llm_build_modern_bert(const llama_model & model, const llm_graph_params & params) : llm_graph_context(params) {
|
||||||
llm_build_modern_bert<iswa>::llm_build_modern_bert(const llama_model & model, const llm_graph_params & params) : llm_graph_context(params) {
|
|
||||||
const int64_t n_embd_head = hparams.n_embd_head_v;
|
const int64_t n_embd_head = hparams.n_embd_head_v;
|
||||||
const int64_t n_embd_gqa = hparams.n_embd_v_gqa();
|
const int64_t n_embd_gqa = hparams.n_embd_v_gqa();
|
||||||
|
|
||||||
@@ -24,13 +23,7 @@ llm_build_modern_bert<iswa>::llm_build_modern_bert(const llama_model & model, co
|
|||||||
auto * inp_attn = build_attn_inp_no_cache();
|
auto * inp_attn = build_attn_inp_no_cache();
|
||||||
|
|
||||||
for (int il = 0; il < n_layer; ++il) {
|
for (int il = 0; il < n_layer; ++il) {
|
||||||
float freq_base_l = 0.0f;
|
float freq_base_l = model.get_rope_freq_base(cparams, il);
|
||||||
|
|
||||||
if constexpr (iswa) {
|
|
||||||
freq_base_l = model.get_rope_freq_base(cparams, il);
|
|
||||||
} else {
|
|
||||||
freq_base_l = freq_base;
|
|
||||||
}
|
|
||||||
|
|
||||||
cur = inpL;
|
cur = inpL;
|
||||||
|
|
||||||
@@ -120,7 +113,3 @@ llm_build_modern_bert<iswa>::llm_build_modern_bert(const llama_model & model, co
|
|||||||
res->t_embd = cur;
|
res->t_embd = cur;
|
||||||
ggml_build_forward_expand(gf, cur);
|
ggml_build_forward_expand(gf, cur);
|
||||||
}
|
}
|
||||||
|
|
||||||
// Explicit template instantiations
|
|
||||||
template struct llm_build_modern_bert<false>;
|
|
||||||
template struct llm_build_modern_bert<true>;
|
|
||||||
|
|||||||
Reference in New Issue
Block a user