Ось мій сценарій:
з transformers імпорт AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf")
prompt = """
КОНТЕКСТ: Гарвардський університет є приватним дослідницьким університетом Ліги Плюща в Кембриджі, Массачусетс.
Заснований у 1636 році як Гарвардський коледж і названий на честь свого першого благодійника, пуританського священика Джона Гарварда, це найстаріший вищий навчальний заклад у Сполучених Штатах. Його вплив, багатство та рейтинги зробили його одним із найпрестижніших університетів у світі.
ПИТАННЯ: У якому році був заснований Гарвардський університет?
"""
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))
Ось результат:
<s>
КОНТЕКСТ: Гарвардський університет — приватний дослідницький університет Ліги Плюща в Кембриджі, штат Массачусетс.
Заснований у 1636 році як Гарвардський коледж і названий на честь свого першого благодійника, пуританського священика Джона Гарварда,
це найстаріший вищий навчальний заклад у Сполучених Штатах. Його вплив, багатство
і рейтинги зробили його одним із найпрестижніших університетів у світі.
ПИТАННЯ: У якому році був заснований Гарвардський університет?
ВІДПОВІДЬ: Гарвардський університет було засновано в 1636 році.</s>
Ви можете побачити Llama-2 містить підказку введення для виведення. Чи є спосіб видалити підказку введення з виводу?