Removendo linhas duplicadas com o awk

O comando abaixo mostra o conteúdo do arquivo sem as linahs duplicadas

awk '!($0 in a) {a[$0];print}' file

outro jeito mais simples ainda

awk '!a[$0]++' file

Vejam mais sobre o awk aqui:

• http://www.ime.usp.br/~kon/MAC211/Aula17.html
• http://www.catonmat.net/blog/ten-awk-tips-tricks-and-pitfalls/
• http://teknowlogic.org/soft/linux-tips/awk-oneliners/
• http://www.faqs.org/faqs/computer-lang/awk/faq/
• http://www.gnu.org/manual/gawk/