Ви знаєте довжину рядка, вікно маркера та довжину маркера, ви повинні мати можливість математично визначити деякі прості межі, наприклад половину, чверть тощо. Це робить задачу легко розпаралелюваною. Виконайте двійковий розподіл рядка (навпіл, на чверть, вісімки, як би глибоко вам не потрібно було зайти, щоб отримати "достатньо короткі" рядки) і токенізуйте кожен рядок паралельно, а потім знову з’єднайте рядки.