diff --git a/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%83%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BE%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9-%D0%B2-%D1%80%D0%B5%D0%B6%D0%B8%D0%BC%D0%B5-%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE-%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%B8%7C%D0%A2%D0%BE%D0%BF-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%81%D0%BE%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85.md b/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%83%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BE%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9-%D0%B2-%D1%80%D0%B5%D0%B6%D0%B8%D0%BC%D0%B5-%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE-%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%B8%7C%D0%A2%D0%BE%D0%BF-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%81%D0%BE%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85.md new file mode 100644 index 0000000..bb5785a --- /dev/null +++ b/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%83%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BE%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9-%D0%B2-%D1%80%D0%B5%D0%B6%D0%B8%D0%BC%D0%B5-%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE-%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%B8%7C%D0%A2%D0%BE%D0%BF-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%81%D0%BE%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85.md @@ -0,0 +1,17 @@ +Sort и Uniq: Организация и уникализация +Хотя это не чисто колоночные утилиты, они неразрывно связаны с конвейерной обработкой. **sort** позволяет упорядочивать данные по заданной колонке, а **uniq** — находить или исключать повторяющиеся строки, что часто следует после сортировки. + +sort -k2,2n -t',' data.csv — упорядочивание CSV по 2-й колонке как числовую (n), разделитель — запятая. +cut -d' ' -f1 log.txt sort uniq -c sort -nr — классическийстандартныйтипичный конвейерпайплайн для подсчетаопределения топсамых частыхнаиболее популярных IP-адресов в логелог-файле. + + +Итог: оптимальное ликвидация дубликатов — это легко +Очевидно, что задача удаления дубликатов в списках предполагает целый ряд подходов. Подбор наилучшего метода обусловлен определённых условий: размера данных, потребности в быстродействии, необходимости сохранять порядок и особенностей языка программирования. Овладев ключевыми методами, вы сможете обеспечивать аккуратность и непротиворечивость информации в ваших приложениях. Начните с простого подхода через множество, а для более сложных случаев обратитесь к алгоритмам, которые не меняют порядок. Регулярная практика сделает эту обыденную задачу привычн + + +Основные способы для удаления дубликатов в списках Python +Один из наиболее простых и популярных методов считается использование функционала типа данных "набор" (set). Во многих языков программирования сет автоматически отбрасывает дублирующиеся элементы. Можно превратить свой массив в множество, а затем, при необходимости, обратно в лист. Это скоростной и элегантный способ удаления повторов в списках. Но у него имеется существенный момент: исходный порядок следования элементов может оказаться утрачен, поскольку сеты обычно не сохраняют порядок. Если сохранение исходного последовательности является критично, этот метод не будет работа + +Ежедневно, профессиональной и творческой деятельности мы постоянно встречаем потребностью произвести случайный выбор. Определить порядок выступлений ораторов, распределить задания среди команды, избрать победителя в конкурсе или даже решить, какую почитать последующей. Перебирать бумажки в шапке или крутить рулетку — способы прошедшей эпохи. Сейчас выручить появляется умный и бесплатный инструмент — рандомайзер списка онлайн. Это профильный сервис, что мгновенно обрабатывает ваш список элементов и генерирует абсолютно объективный результат. + +Принцип действия генератора случайных [обработка списков текста онлайн](https://diakov.net/user/Ashleigh3715/) в сети базируется на продвинутых механизмах генерации псевдослучайных чисел. Пользователю не требуется разбираться в тонкостях программирования. Интерфейс подобных сервисов специально создан очень простым. Достаточно просто перейти на сайт, отыскать текстовое поле и вписать или скопировать нужный список. Каждая строка обычно указывается на отдельной строке. Далее одним кликом кнопки, которая часто носит название «Случайный порядок», вы активируете функцию. Мощный механизм сервиса быстро рандомизирует все строки, как колоду карт, и показывает абсолютно случайный порядок. Отдельные продвинутые рандомайзеры списков онлайн включают дополнительные функции, включая выбор случайного элемента без перемешивания всех строк, функцию исключения дубликатов или даже настройку весов для определенных элементов, что делает их еще более гибкими. \ No newline at end of file