Python удалить дубликаты из списка

Список — это контейнер, содержащий различные объекты Python, которые могут быть целыми числами, словами, значениями и т. д. В других языках программирования он эквивалентен массиву.

Итак, здесь мы рассмотрим различные способы удаления дубликатов из заданного списка.

Из этого руководства вы узнаете:

Удалить дубликаты из списка с помощью Set
Удаление дубликатов из списка с помощью временного списка.
Удалить дубликаты из списка с помощью Dict
Удаление дубликатов из списка с помощью цикла for
Удаление дубликатов из списка с помощью генератора списков
Удаление дубликатов из списка с помощью метода Numpy unique().
Удалить дубликаты из списка с помощью методов Pandas
Удаление дубликатов с помощью enumerate() и понимания списка

Удалить дубликаты из списка с помощью Set

Чтобы удалить дубликаты из списка, вы можете использовать встроенную функцию set(). Особенность метода set() в том, что он возвращает отдельные элементы.

У нас есть список:[1,1,2,3,2,2,4,5,6,2,1]. В списке много дубликатов, которые нам нужно удалить и вернуть только отдельные элементы. Список передается встроенной функции set(). Позже окончательный список отображается с помощью встроенной функции list(), как показано в примере ниже.

На выходе мы получаем отдельные элементы, из которых удаляются все повторяющиеся элементы.

Вывод:

Удалить дубликаты из списка с помощью временного списка

Чтобы удалить дубликаты из данного списка, вы можете использовать пустой временный список. Для этого сначала вам нужно будет просмотреть список с дубликатами и добавить уникальные элементы во временный список. В дальнейшем временный список присваивается основному списку.

Вот рабочий пример использования временного списка.

Вывод:

Удалить дубликаты из списка с помощью Dict

Мы можем удалить дубликаты из данного списка, импортировав OrderedDict из коллекций. Он доступен начиная с python2.7. OrderedDict позаботится о том, чтобы вернуть вам отдельные элементы в том порядке, в котором присутствует ключ.

Давайте воспользуемся списком и используем метод fromkeys(), доступный в OrderedDict, чтобы получить уникальные элементы из списка.

Чтобы использовать метод OrderedDict.fromkey(), вам необходимо импортировать OrderedDict из коллекций, как показано ниже:

Вот пример удаления дубликатов с помощью метода OrderedDict.fromkeys().

Вывод:

Начиная с Python 3.5+, мы можем использовать обычный dict.fromkeys() для получения отдельных элементов из списка. Методы dict.fromkeys() возвращают уникальные ключи и помогают избавиться от повторяющихся значений.

Пример, который показывает работу dict.fromkeys() со списком для получения уникальных элементов, выглядит следующим образом:

Вывод:

Удалить дубликаты из списка с помощью цикла for

Используя цикл for, мы пройдемся по списку элементов, чтобы удалить дубликаты.

Сначала инициализируйте массив пустым, т.е. myFinallist =[]. Внутри цикла for добавьте проверку, существуют ли элементы в списке в массиве myFinallist. Если элементы не существуют, добавьте элемент в массив myFinallist с помощью append () метод.

Поэтому всякий раз, когда встречается повторяющийся элемент, он уже будет присутствовать в массиве myFinallist и не будет вставлен. Давайте теперь проверим то же самое в примере ниже:

Вывод:

105

Удалить дубликаты из списка, используя генератор списка

Генераторы списков — это функции Python, которые используются для создания новых последовательностей (таких как списки, словари и т. д.) с использованием уже созданных последовательностей. Это поможет вам сократить количество длинных циклов и упростить чтение и поддержку кода.

Давайте воспользуемся пониманием списка, чтобы удалить дубликаты из заданного списка.

Вывод:

Удалить дубликаты из списка с помощью метода Numpy unique().

Метод unique() из модуля Numpy может помочь нам удалить дубликаты из заданного списка.

Чтобы работать с модулем Numpy для первого импорта numpy, вам необходимо выполнить следующие действия:

Шаг 1 ) Импорт модуля Numpy

Шаг 2) Используйте свой список с дубликатами внутри уникального метода, как показано ниже. Вывод преобразуется обратно в формат списка с помощью метода tolist().

Шаг 3) Наконец, распечатайте список, как показано ниже:

Окончательный код с выводом выглядит следующим образом:

Вывод:

Удалить дубликаты из списка с помощью методов Pandas

Модуль Pandas имеет метод unique(), который даст нам уникальные элементы из заданного списка.

Для работы с модулем Pandas вам необходимо выполнить следующие действия:

Шаг 1) Импорт Модуль панд

Шаг 2) Используйте свой список с дубликатами внутри метода unique(), как показано ниже:

Шаг 3) Распечатайте список, как показано ниже:

Окончательный код с выводом выглядит следующим образом:

Вывод:

Удаление дубликатов с помощью enumerate() и понимания списка

Здесь комбинация понимания списка и перечисления для удаления повторяющихся элементов. Enumerate возвращает объект со счетчиком для каждого элемента в списке. Например (0,1), (1,2) и т. д. Здесь первое значение — это индекс, а второе значение — элемент списка. В

Проверяется каждый элемент, если он есть в списке, и если да, то он удаляется из списка.

Вывод:

Обзор

Чтобы удалить дубликаты из списка, вы можете использовать встроенную функцию set(). Особенность метода set() в том, что он возвращает отдельные элементы.
Вы можете удалить дубликаты из заданного списка, импортировав коллекции OrderedDictfrom. Он доступен начиная с python2.7. OrderedDictdict позаботится о том, чтобы вернуть вам отдельные элементы в том порядке, в котором присутствует ключ.
Вы можете использовать цикл for, в котором мы пройдемся по списку элементов, чтобы удалить дубликаты.
Метод unique() из модуля Numpy может помочь нам удалить дубликаты из заданного списка.
В модуле Pandas есть метод unique(), который предоставит нам уникальные элементы из заданного списка.
Комбинация понимания списка и перечисления используется для удаления повторяющихся элементов из списка. Enumerate возвращает объект со счетчиком для каждого элемента в списке.

Счетчик списка Python() с ПРИМЕРАМИ Удалить элемент из СПИСКА Python [clear, pop, remove, del]

Python