Linux Shell Usuń zduplikowane wiersze z pliku

Bash jest jedną z najpopularniejszych skorup i jest używany przez wielu użytkowników Linuksa. Jedną z wielkich rzeczy, które możesz zrobić z Bash, jest usunięte zduplikowane wiersze z plików. To świetny sposób na odrzucenie pliku i sprawienie, by wyglądał na czystszy i bardziej zorganizowany. Można to zrobić za pomocą prostego polecenia w skorupce Bash.

Wszystko, co musisz zrobić, to wpisać polecenie „Sort -u” a następnie nazwa pliku. To przyjmie plik i sortuje treść, a następnie użyje polecenia „Uniq” Aby usunąć wszystkie duplikaty. To łatwy i wydajny sposób na usunięcie duplikatów plików z plików. Jeśli jesteś użytkownikiem Linuksa, jest to świetne narzędzie do posiadania w arsenale. Więc następnym razem, gdy będziesz musiał wyczyścić plik, spróbuj tego polecenia bash i zobacz, jak to dla Ciebie działa!

Usuwanie zduplikowanych wierszy z pliku

Aby usunąć zduplikowane wiersze z pliku w BASH, możesz użyć poleceń Sort i Uniq.

Oto przykład tego, jak to zrobić:

sortować plik.txt | UNIQ> Wyjście.tekst  

To sortuje linie w plik.tekst, Usuń duplikaty i zapisz wynik na nowym pliku o nazwie wyjście.tekst.

Możesz także użyć -u Opcja polecenia sort, aby osiągnąć ten sam wynik:

sort -u plik.txt> wyjście.tekst  

Jeśli chcesz usunąć duplikaty na miejscu, bez tworzenia nowego pliku, możesz użyć polecenia TEE, aby przekierować dane wyjściowe do oryginalnego pliku:

sortować plik.txt | uniq | Plik koszulki.tekst  [LUB] sort -u plik.txt | Plik koszulki.tekst  

Pamiętaj, że te polecenia usuną duplikaty tylko wtedy, gdy linie są dokładnie takie same. Jeśli chcesz zignorować wiodącą lub kończącą białą przestrzeń lub różnice w przypadkach, możesz użyć -I, -B, I -F odpowiednio opcje. Na przykład:

sort -f -u.txt> wyjście.tekst  

To usunie duplikaty, ignorując różnice przypadków.

sort -f -b -u.txt> wyjście.tekst  

To usunie duplikaty, ignorując różnice przypadków i wiodącą/trasy białą przestrzeń.