Найти и удалить дубликаты

Решение

-- 1. Отчёт: какие email задублировались и сколько раз
SELECT email, COUNT(*) AS copies, MIN(id) AS keep_id
FROM users
GROUP BY email
HAVING COUNT(*) > 1
ORDER BY copies DESC;

-- 2. Удаление лишних: оставляем строку с минимальным id
DELETE FROM users u
WHERE u.id > (
    SELECT MIN(keep.id)
    FROM users keep
    WHERE keep.email = u.email
);

-- 3. Чтобы не повторилось
CREATE UNIQUE INDEX CONCURRENTLY users_email_key ON users (email);

Почему так

Почему HAVING, а не WHERE

• WHERE фильтрует строки до группировки, а COUNT(*) появляется только после неё
• HAVING — это фильтр по результату агрегации, поэтому условие на количество живёт именно там
• Вопрос «в чём разница WHERE и HAVING» задают почти всегда следом

Почему сначала отчёт, потом удаление

• DELETE по живым данным без предварительного просмотра — это способ потерять данные молча
• Отчёт показывает масштаб: пять дублей или пять миллионов — это разные операции и разные окна обслуживания
• На собеседовании эта осторожность читается как опыт: сначала SELECT, потом DELETE, и всё в транзакции

Почему в конце уникальный индекс

• Чистка без ограничения означает, что через неделю задача повторится: причина не устранена
• Уникальный индекс превращает проблему данных в явную ошибку записи — сразу и в нужном месте
• CONCURRENTLY в Postgres строит индекс без долгой блокировки таблицы — на большой таблице это принципиально