Пожалуй, каждый пользователь сталкивался с проблемой удаления повторяющихся значений. К счастью, в самом редакторе Excel предусмотрены средства и инструменты, позволяющие наиболее легко разобраться с подобной неприятностью. В этой статье подробно рассмотрим самые простые и эффективные пути решения этой задачи. Итак, давайте разбираться. Поехали!

Microsoft Excel — это одна из самых популярных программ для работы с числами и таблицами

Второй подход заключается в использовании расширенного фильтра и работает как на новых версиях Microsoft Excel, так и на старых, включая 2003. Тут придётся понажимать несколько больше, однако, такой подход в разы более эффективен. Итак, сначала нужно открыть таблицу, затем перейдите во вкладку «Данные», в блоке «Сортировка и фильтр» выберите пункт «Дополнительно». Перед вами откроется окно, в котором нужно будет задать диапазон (только в том случае, если у вас есть разрывы, в противном случае ничего задавать не нужно) и поставить птичку на пункте «Только уникальные записи». Если вы хотите просто скрыть дубликаты, чтобы иметь возможность ещё поработать с ними в дальнейшем, то выберите фильтрование списка на месте, если же вы укажете «скопировать результат в другое место», то повторяющиеся элементы будут удалены. После нажатия «ОК» таблица будет отфильтрована программой в соответствии с выбранными вами параметрами. Теперь выделите цветом уникальные элементы и нажмите «Очистить». В результате вы увидите все дубликаты, так как они не будут отмечены цветом. Воспользовавшись автофильтром, можно будет получить полный перечень неуникальных значений.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

При этом открывается окно «Выделение дубликатов» , в котором мы переходим на вкладку «По каталогам»

Изначально на вкладке «По каталогам» выделены все каталоги, найденные при поиске

Ставим галочку «Также выбрать подкаталоги(при выделении вручную или по шаблону)» и нажимаем кнопку «Снять со всех» . При этом выделение в списке убирается со всех каталогов

Теперь остается выделить вручную, нажатием мышки, в списке те каталоги, в которых необходимо удалить дублирующиеся файлы. При этом выделятся все подкаталоги в выделенном каталоге

Все, нажимаем кнопку «ОК» и опять попадаем в панель с найденными файлами. Только теперь все нужные дублирующиеся файлы уже помечены красным. Обратите внимание на секцию из трех идентичных файлов. В ней выделены два из трех, как и было нужно.

Все, остается только удалить выделенные файлы стандартными способами TC. Можно нажать на клавиатуре F8 , можно клавишу DEL , можно нажать кнопку «F8 Удаление» на экране. TC вас еще раз переспросит о вашем желании удалить файлы,

нажимаем «Да» и все, файлы удалены! В панели остались только не удаленные уникальные файлы.

Описанный выше способ не является полной инструкции по поиску и удалению дубликатов. В окне «Выделение дубликатов» заложено значительно больше возможностей по выделению файлов. Полное описание заняло бы очень большое место.

Обучающее видео по теме

Пусть данные примеры послужат вам стартовым толчком для начала эффективных манипуляций с вашими файлами.

Вы можете также отметить

24 комментария

Рассмотрим, как найти повторяющиеся значения в Excel , как выделить одинаковые значения словами, знаками , посчитать количество одинаковых значений , узнаем формулу для поиска одинаковых значений в Excel , т.д.
В Excel можно не только выделять и удалять дублирующие данные, но и работать с ними – посчитать дубли перед удалением, обозначить дубли словами, числами, знаками, найти повторяющиеся строки, состоящие из нескольких ячеек, т.д.

Как выделить цветом одинаковые значения в Excel условным форматированием, читайте в статье "Условное форматирование в Excel ".
Рассмотрим, как выделить и обозначить дубли. У нас такая таблица, в которой рассмотрим варианты работы с дублями. Дублирующие данные подкрасили условным форматированием.
Есть два варианта выделять ячейки с одинаковыми данными. Первый вариант, когда выделяются все ячейки с одинаковыми данными. Например, как в таблице (ячейки А5 и А8). Второй вариант – выделяем вторую и следующие ячейки в одинаковыми данными. А первую ячейку не выделять (выделить только ячейку А8). Будем рассматривать оба варианта.
Первый способ.
Как выделить повторяющиеся значения в Excel.
Нам нужно в соседнем столбце напротив данных ячеек написать слово «Да», если есть дубль, у ячеек с уникальными данными написать слово «Нет».
В столбце А устанавливаем фильтр. Как установить и работать с фильтром, смотрите в статье «Фильтр в Excel ». В ячейке B2 пишем слово «Нет».
Нажимаем два раза левой мышкой на зеленый квадратик в правом нижнем углу ячейки (на картинке обведен красным цветом). Слово скопируется вниз по столбцу до последней заполненной ячейки таблицы.
Теперь в столбце A отфильтруем данные – «Фильтр по цвету ячейки». Можно по цвету шрифта, зависит от того, как выделены дубли в таблице.

В таблице остались две строки с дублями. В верхней ячейке отфильтрованного столбца B пишем слово «Да». Копируем по столбцу.Возвращаем фильтром все строки в таблице. Получилось так.
Мы подсветили ячейки со словом «Да» условным форматированием. Вместо слов, можно поставить числа. Получится так.Этот способ подходит, если данные в столбце A не меняются. Или, после изменения, повторить процедуру с обозначением дублей.
Второй способ.
Как выделить повторяющиеся ячейки в Excel.
Установим формулу в столбце D, чтобы автоматически писались слова. Формула такая. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"Да";"Нет")
Копируем формулу по столбцу. Получится так.
Обратите внимание , что такое выделение дублей, выделяет словом «Да» следующие повторы в ячейках, кроме первой ячейки.
Слова в этой формуле можно писать любые или числа, знаки. Например, в столбце E написали такую формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"Повторно";"Впервые")
В столбце F написали формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"+";"-") Получилось так.
Идея.
Можно в таблице использовать формулу из столбца E или F, чтобы при заполнении соседнего столбца было сразу видно, есть дубли в столбце или нет. Например, создаем список фамилий в столбце А. В столбце B установили формулу.
=ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"+";"-") Если в столбце В стоит «+», значит такую фамилию уже написали.
Третий способ.
Посчитать количество одинаковых значений Excel.
Нам нужно не только выделить повторы, но и вести их подсчет, написать в ячейке их количество.
В ячейке G5 пишем такую формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A$10;A5)>1;СЧЁТЕСЛИ(A$5:A5;A5);1) Копируем по столбцу. Получился счетчик повторов.
Изменим данные в столбце А для проверки. Получилось так.
Ещё один способ подсчета дублей описан в статье "Как удалить повторяющиеся значения в Excel ".
Как посчитать данные в ячейках с дублями, а, затем, удалить их, смотрите в статье «Как сложить и удалить ячейки с дублями в Excel» .
Четвертый способ.
Формула для поиска одинаковых значений в Excel.
Нам нужно выделить дубли формулой в условном форматировании. Выделяем ячейки. Вызываем диалоговое окно условного форматирования. Выбираем функцию «Использовать формулу для определения форматируемых ячеек».
В строке «Форматировать формулу для определения форматируемых ячеек» пишем такую формулу. =СЧЁТЕСЛИ($A:$A;A5)>1 Устанавливаем формат, если нужно выбрать другой цвет ячеек или шрифта.
Нажимаем «ОК». Все ячейки с повторяющимися данными окрасились.
Идея.
Можно в условном форматировании установить белый цвет заливки и шрифта. Получится так.
Первые ячейки остались видны, а последующие повторы не видны. При изменении данных в первом столбце меняются и пустые ячейки, в зависимости от того, где находятся дубли.
Пятый способ.
Как найти повторяющиеся строки в Excel.
Нужно сравнить и выделить данные по трем столбцам сразу. У нас такая таблица.
В столбцах A, B, C стоят фамилии, имена и отчества. Чтобы сравнить сразу по трем столбцам, нужно соединить данные трех столбцов в одной ячейке. В ячейке D15 пишем формулу, используя функцию «СЦЕПИТЬ» в Excel. =СЦЕПИТЬ(A15;" ";B15;" ";C15)
Про функцию «СЦЕПИТЬ» читайте

Привет всем. Сегодня я хочу рассказать вам, как найти повторяющиеся значения в Excel и что с ними можно сделать. Если вам приходиться работать с таблицей, где есть дублирующиеся данные, то хотелось бы знать, как их отыскать. Именно этим, в этом уроке, мы и займемся.

Для примера я взял вот такую таблицу. Взял людей из какой-то группы вКонтакте, разделил имена и фамилии, и наделал несколько ячеек с дублями.

Выделяем цветом дубликаты в таблице

Первым способом я покажу вам, каким образом можно найти дубликаты и выделить их цветом. Это может вам потребоваться, для сравнения каких-либо данных без их удаления. В моем примере это будут одинаковые имена и фамилии людей.

Открывает вкладку «Главная», в разделе «Стили» выбираем «Условное форматирование» — «Правила выделения ячеек» — «Повторяющиеся значения».

Открылось окно, в котором есть два пункта: что выделить – уникальные или повторяющиеся значения, и, как их выделить – в какую цветовую гамму. И, конечно же, кнопка «ОК».

Чтобы поиск был осуществлен не по всей таблице, предварительно выделите один или несколько столбцов.

Посмотрите на мой результат. Правда такой способ имеет существенный недостаток: нет выборки, выделяет все, что встречается более одного раза.

Выборочная подсветка или удаление одинаковых значений в Excel

Способ, может быть, банальный, но действенный. Воспользуемся функцией «Поиск».

Открывает вкладку «Главная» — раздел «Редактирование» — «Найти и выделить» (CTRL+F).

В окне в поле «Найти» набираем, что мы ищем. Затем жмем по кнопке «Найти все», нажимаем сочетание клавиш CTRL+A, чтобы выделить все результаты поиска, и выделяю их цветом. Так же их можно удалить, а не выделять.

Удаляем все одинаковые значения в Excel с помощью расширенного фильтра

Для использования расширенного фильтра, выберем любую ячейку в таблице. Я выбрал верхнюю левую. Затем открываем вкладку «Данные», переходим в раздел «Сортировка и фильтр», и жмем по кнопке «Дополнительно».

Теперь нужно настроить в этом окне, каким образом будет произведена фильтровка. Можно скопировать результаты фильтра в другое место (ставим галочку и указываем место, куда скопируется результат), либо результат оставить в том же месте. И, обязательно, ставим галочку «Только уникальные значения».

Вот мой результат применения к таблице расширенного фильтра. Как видим, в результате Excel смог найти и удалить дубликаты.

Еще один способ быстро удалить дубли в таблице

Этот способ удалит все одинаковые значения, которые встречаются в таблице. Если вам нужен поиск только в некоторых столбцах, то выделите их.

Теперь откройте вкладку «Данные», раздел «Работа с данными», «Удалить дубликаты».

Расставим нужные галочки. Мне нужен поиск по двум столбцам, потому оставляю, как есть, и жму на кнопку «ОК».

На этом метод закончился. Вот мой результат его работы.

Спасибо за прочтение. Не забывайте делиться с друзьями с помощью кнопок социальных сетей, и комментируйте.

Из исходной таблицы с повторяющимися значениями отберем только те значения, которые имеют повторы. Теперь при добавлении новых значений в исходный список, новый список будет автоматически содержать только те значения, которые повторяются.

Пусть в столбце А имеется список с значениями, например список с названиями компаний. В некоторых ячейках исходного списка имеются повторы.

Задача

Создадим новый список, который содержит только те значения, которые повторяются. Дополнительное условие: при добавлении новых значений в исходный список, новый список должен автоматически включать только повторяющиеся значения.

Решение

Список значений, которые повторяются, создадим в столбце B с помощью . (см. файл примера ).

Введем в ячейку B5 :
=ЕСЛИОШИБКА(ИНДЕКС(ИсхСписок;
ПОИСКПОЗ(0;СЧЁТЕСЛИ(B4:$B$4;ИсхСписок)+ ЕСЛИ(СЧЁТЕСЛИ(ИсхСписок;ИсхСписок)>1;0;1);0)
);"")

Вместо ENTER нужно нажать CTRL + SHIFT + ENTER .

Скопируйте формулу вниз с помощью (размерность списка значений имеющих повторы должна совпадать с размерностью исходного списка).

В файле примера также приведены перечни, содержащие неповторяющиеся значения и уникальные значения.

С помощью в исходном списке можно выделить повторяющиеся значения.

Тестируем

1. Добавьте в исходный список название новой компании (в ячейку А20 введите ООО Кристалл)

2. Список неповторяющихся значений (столбец С) автоматически будет обновлен, чтобы включить новое название

3. Добавьте в исходный список название новой компании еще раз (в ячейку А21 снова введите ООО Кристалл)

4. Список неповторяющихся значений автоматически будет обновлен, новое название будет исключено