Дубликаты и нарезка на пачки

Решение

from itertools import islice


def dedup(items):
    seen = set()
    result = []
    for item in items:
        if item not in seen:
            seen.add(item)
            result.append(item)
    return result


def chunked(iterable, size):
    if size <= 0:
        raise ValueError("size must be positive")

    iterator = iter(iterable)
    while True:
        batch = list(islice(iterator, size))
        if not batch:
            return
        yield batch


# Python 3.12+: то же самое есть в стандартной библиотеке
# from itertools import batched

Почему так

Почему set, а не «item not in result»

• Проверка вхождения в список — O(n), и весь цикл превращается в O(n²): на 100 000 элементов это уже минуты
• Множество даёт O(1) на проверку ценой памяти — классический размен, который здесь и проверяют
• list(dict.fromkeys(items)) — однострочник с тем же эффектом: порядок сохраняется с Python 3.7

Почему islice, а не срезы по индексам

• Срез items[i:i + size] требует список — генератор или файл так не нарезать, а именно ими обычно и приходят данные
• islice тянет ровно size элементов из любого итератора и не читает лишнего
• Решение через yield не держит все пачки в памяти: обработали батч — забыли

Почему iter(iterable) в начале

• islice от самого списка каждый раз начинала бы сначала — получился бы бесконечный цикл из одной и той же пачки
• Явный iter() фиксирует позицию чтения между итерациями
• Это любимая ловушка в этой задаче: если написать без iter, всё «работает», пока не передадут список