Як просто отримати відповідь від Лами-2, а не повторювати всю підказку?

Ось мій сценарій:

з transformers імпорт AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf")

prompt = """
КОНТЕКСТ: Гарвардський університет є приватним дослідницьким університетом Ліги Плюща в Кембриджі, Массачусетс. 
Заснований у 1636 році як Гарвардський коледж і названий на честь свого першого благодійника, пуританського священика Джона Гарварда, це найстаріший вищий навчальний заклад у Сполучених Штатах. Його вплив, багатство та рейтинги зробили його одним із найпрестижніших університетів у світі.

ПИТАННЯ: У якому році був заснований Гарвардський університет?
"""

input_ids = tokenizer(prompt, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))

Ось результат:

<s> 
КОНТЕКСТ: Гарвардський університет — приватний дослідницький університет Ліги Плюща в Кембриджі, штат Массачусетс. 
Заснований у 1636 році як Гарвардський коледж і названий на честь свого першого благодійника, пуританського священика Джона Гарварда, 
це найстаріший вищий навчальний заклад у Сполучених Штатах. Його вплив, багатство 
і рейтинги зробили його одним із найпрестижніших університетів у світі.

ПИТАННЯ: У якому році був заснований Гарвардський університет?
ВІДПОВІДЬ: Гарвардський університет було засновано в 1636 році.</s>

Ви можете побачити Llama-2 містить підказку введення для виведення. Чи є спосіб видалити підказку введення з виводу?

Previous Article

З ким розділити ліжко: з дитиною чи з чоловіком?

Next Article

Write a Comment

Leave a Comment

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *