Способ сравнения в алфавитном порядке является наиболее распространенным, но иногда требуется произвести сравнение в числовом порядке, флаг
– n
сортирует по числовому значению, а флаг
– r
изменяет смысл на противоположный любого условия. Итак, имеем
$ ls | sort -f
Сортировка имен файлов в алфавитном порядке
$ ls -s | sort -n
Сортировка в порядке возрастания размеров файлов
$ ls -s | sort -nr
Сортировка в порядке убывания размеров файлов
Программа
sort
обычно сортирует целые строки, но ее можно заставить работать только с определенными полями. Обозначение
+m
показывает, что при сравнении
пропускается m полей, а
+0
обозначает начало строки, например:
$ ls -l | sort +3nr
Сортировка по счетчику байтов в порядке убывания
размеров
$ who | sort +4nr
Сортировка по времени входа в систему, в порядке
возрастания размеров файлов
Еще одним полезным флагом программы является
– о
, задающий имя файла для выходного потока (это может быть один из входных файлов), и флаг
– u
, который удаляет все, за исключением одной из строк, совпадающих в сортируемых полях. Можно использовать несколько флагов, как показано в примере на странице
sort(1)
справочного руководства:
$ sort +0f +0 -u filenames
здесь флаг
+0f
сортирует строку, совмещая строчные и прописные буквы, но идентичные строки могут не быть соседними. Поэтому вводится второй флаг
+0
, который сортирует одинаковые строки после первой сортировки в обычном порядке ASCII. Наконец, флаг
– u
выбрасывает все, кроме одной из соседних повторяющихся строк. Таким образом, получив список слов по одному в строке, команда выдает неповторяющиеся слова. Указатель для этой книги был подготовлен с помощью сходной команды
sort
, обладающей еще большими возможностями (см. руководство по
sort(1)
).
Создание команды
uniq
явилось стимулом для введения флага
– u
в команде
sort
: флаг отбрасывает все строки, кроме одной, из группы соседних повторяющихся строк. Выведение отдельной программы для этой операции позволяет выполнять ее независимо от сортировки. Например,
uniq
удалит повторяющиеся пустые строки, независимо от того, сортируется входной поток или нет. Флаги предусматривают специальные способы обработки повторяющихся строк:
uniq -d
печатает только повторяющиеся строки,
uniq -u
— только уникальные, т.е. неповторяющиеся строки;
uniq -c
подсчитывает число вхождений каждой строки, в чем вскоре вы убедитесь на примере.
Программа
comm
служит для сравнения файлов. Получив два отсортированных входных файла
f1
и
f2
, она выдает выходной поток в три столбца: строки, встречающиеся только в
f1
, строки, встречающиеся только в
f2
, и строки, встречающиеся в обоих файлах. С помощью флага можно убрать любой из этих столбцов:
$ comm -12 f1 f2
выдает только строки, содержащиеся в обоих файлах, а
$ comm -23 f1 f2
выдает строки, которые есть только в первом, но не во втором файле. Это удобно для сравнения каталогов и списка слов со словарем.
Команда
tr
проводит транслитерацию символов своего входного потока. Наиболее часто они используются для преобразования строчных букв в прописные и обратно:
$ tr a-z A-Z
Перевести строчные буквы в прописные
$ tr A-Z a-z
Перевести прописные буквы в строчные
Несколько отличается от всех рассмотренных выше команд
dd
. Эта команда предназначена прежде всего для обработки данных на магнитной ленте, полученных из других систем — само ее название служит напоминанием о языке управлений заданиями OS/360. Команда
dd
выполняет преобразование прописных букв в строчные, и наоборот (в нотации, отличной от нотации команды
tr
).
Она осуществляет перевод из множества символов ASCII в EBCDIC, и наоборот; может читать и писать данные в формате записей фиксированного размера с дополнением пробелами, что характерно для отличных от UNIX систем. На практике команду
dd
часто используют для работы с исходными неотформатированными данными, откуда бы они ни были получены; она реализует набор средств для работы с двоичными данными.
Посмотрим, чего можно достичь с помощью взаимодействия фильтров на примере конвейера, который печатает 10 наиболее часто встречающихся во входном потоке слов:
cat $* |
tr -sc A-Za-z '\012' |
Сжимаем все небуквы в перевод строки
sort |
uniq -с |
sort -n |
tail |
5
Команда
cat
собирает файлы, поскольку
tr
может читать только стандартный входной поток. Команда
tr
действует, как указано в справочном руководстве: она сжимает соседние, отличные от букв, символы в символы перевода строк, преобразуя таким образом входной поток в строки из одного слова. Затем слова сортируются и с помощью
uniq -с
каждая группа идентичных слов сжимается в одну строку, начинающуюся со счетчика, который используется как сортируемое поле в команде
sort -n
. (Эта последовательность двух команд сортировки, между которыми находится команда uniq, применяется так часто, что уже стала идиомой.) В результате получаются неповторяющиеся слова, отсортированные в порядке возрастания частоты появления в документе. Команда
tail
отбирает 10 наиболее часто встречающихся слов (т.е. конец отсортированного файла) и команда
5
печатает их в пять столбцов.
Заметьте, кстати, что введение символа
|
в конце строки — это законный способ ее продолжения.
Упражнение 4.3
Используя средства этого раздела и файл
/usr/dict/words
, составьте простой анализатор правильности написания текста на английском языке. Каковы его недостатки и как их исправить?
Упражнение 4.4
Напишите программу подсчета слов на предпочитаемом вами языке программирования. Сравните ее размер, скорость и самодокументированность с соответствующим конвейером. Насколько легко вы можете преобразовать эту программу в программу проверки правильности написания текста?
4.3 Потоковый редактор
sed
Вернемся теперь к редактору
sed
. Поскольку он происходит непосредственно от
ed
, вы легко изучите его и закрепите свои знания о редакторе
ed
. Основа редактора
sed
проста:
$ sed 'список команда ed' имена_файлов...
Читаются строки по одной из входных файлов; команды из списка применяются к каждой строке по одной в указанном порядке и результат редактирования записывается в стандартный выходной поток. Например, можно заменить в любом из указанных файлов
UNIX
на
UNIX (TM)
с помощью команды:
$ sed 's/\UNIX/\UNIX\ (TM)/g' имена_файлов...> выходной поток
Нужно правильно понимать действие команды. Она не изменяет содержимое своих входных файлов, а лишь пишет в стандартный выходной поток; исходные же файлы не изменяются. Вы уже достаточно разобрались в интерпретаторе, чтобы понять, что
$ sed '...' файл > файл
не лучшее решение: для замены содержимого файлов нужно задействовать временный файл или другую программу. В дальнейшем мы рассмотрим программу, реализующую задачу записи в существующий файл; обратитесь к команде