Marek Kowalski | 30 grudnia 2015, 03:16

Jak usunąć duplikaty plików z komputera?

Wszyscy mamy na swoich komputerach nadmiarowe dane i zwielokrotnione pliki. Wielu z nas wykonuje kopie zapasowe, jednak bez spójnej strategii backupu zwykle kończy się na powielaniu plików w różnych miejscach i w efekcie zamiast ochrony mamy bałagan. Również wiele programów tworzy automatycznie kopie zapasowe podczas pracy, a my sami, pobierając z internetu zbiory danych często otrzymujemy zaśmiecamy sobie dyski wieloma kopiami tych samych plików. Krótko mówiąc im dłużej korzystamy z komputera i nie przeprowadzamy żadnych działań konserwacyjnych, tym większa szansa na to, że spory odsetek pojemności dysku/SSD zajmują pliki, których mogłoby w ogóle nie być - powielone zbiory już wcześniej istniejących danych. Oczywiście samodzielne, ręczne przeszukiwanie dysków i folderów w poszukiwaniu niepotrzebnych, nadmiarowych danych to istna mordęga. Ale od czego odpowiednie oprogramowanie?

Teoretycznie do wyszukiwania duplikatów plików można posłużyć się nawet Eksploratorem plików, czyli wbudowanym standardowo w system Windows (we wszystkie jego odmiany) menedżerem plików (za chwilę wam pokażemy jak to zrobić), ale problem z namierzeniem duplikatów plików polega nie tylko na tym, aby odnaleźć pliki o dokładnie identycznych parametrach (nazwie, typie, wielkości itp.). Duplikaty to również takie pliki, które mogą się różnić poszczególnymi parametrami, ale w dalszym ciągu zawierają identyczne, bądź prawie identyczne dane. Celowo wprowadzamy te rozróżnienie, gdyż dla komputera pliki "identyczne" to takie, które są zgodne co do pojedynczego bita. Dla nas - ludzi - sytuacja nie jest już tak oczywista. Jedni będą chcieli usunąć z systemu nadmiarowe, dokładne kopie konkretnych plików, innym nie będą potrzebne nawet dane, które de facto nie są dosłownie kopiami, ale zawierają w istocie tę samą informację. Wielu użytkowników za dane nadmiarowe uzna również pliki, które mogą de facto różnić się rozmiarami, nazwą, formatem zapisu itp., a mimo to zawierają tę samą (ale nie taką samą) informację: np. to samo zdjęcie, ta sama piosenka, ten sam film itp. W sensie technicznym takie pliki są różnymi plikami, a jednak zgodzimy się co do tego, że w większości przypadków raczej nie potrzebujemy zapychać dysku/SSD komputera piętnastoma plikami zawierającymi tę samą piosenkę (nawet jeżeli jest ona zapisana w różnych formatach o porównywalnych parametrach jakościowyc), czy wieloma wersjami zdjęć przedstawiających dokładnie to samo zdjęcie. Zatem jak widać, usuwanie "duplikatów" - choć tu należałoby raczej napisać - "danych nadmiarowych" - to nie takie znowu "hop!". Bez obaw - z naszą pomocą okiełznacie rozpasane pliki i zaprowadzicie właściwy porządek w kontrolowanych przez was zasobach komputera. Do dzieła! 

Na początek - siłami systemu, czyli Eksplorator w natarciu

Jeżeli nazwa pliku, co do którego mamy obawy, że rozpanoszył się po naszym systemie w wielu niepotrzebnych kopiach jest nam znana, to do odnalezienia tych kopii nie trzeba instalować jakiegokolwiek dodatkowego oprogramowania. Wystarczy posłużyć się standardowym menedżerem plików systemu Windows, czyli Eksploratorem i wbudowaną w niego wyszukiwarką.

Chcąc odnaleźć wiele kopii tego samego pliku o znanej użytkownikowi nazwie wystarczy otworzyć okno Eksploratora (np. klikając ikonkę tego narzędzia umieszczoną na pasku zadań Windows lub otwierając dowolne okno folderu). Następnie musimy określić obszar przeszukiwania, czyli gdzie będziemy poszukiwać duplikatów pliku o znanej nazwie. Jeżeli chcemy przeszukać wszystkie dostępne danemu komputerowi zasoby (wszystkie dyski, partycje, podłączone pendrive'y, karty pamięci itp.), to należy z panelu nawigacyjnego widocznego po lewej stronie wybrać pozycję Ten komputer (w Windows 10; w poprzednich generacjach ten element miał nazwę Mój komputer, bądź po prostu Komputer). Jeżeli jednak jesteśmy pewni, że poszukiwanego pliku nie ma np. na niektórych podłączonych do komputera nośnikach, warto zawęzić pole wyszukiwania otwierając np. okno konkretnego dysku i dopiero wtedy skorzystanie z zaznaczonego na ilustracji pola wyszukiwania.

Po ustaleniu zakresu przeszukiwania wpisujemy po prostu nazwę poszukiwanego pliku w pole systemowej wyszukiwarki. Nie musimy wpisywać pełnej nazwy - wyniki wyszukiwania będą się wyświetlać już w trakcie wpisywania pierwszych liter nazwy, choć lepiej wprowadzić pełną, gdyż dodawanie kolejnych liter resetuje mechanizm wyszukiwawczy (system po wprowadzeniu znaku rozpoczyna od nowa wyszukiwanie).

Chcąc sprawdzić empirycznie mechanizm systemowej wyszukiwarki (w zakresie jej sprawności w odnajdywaniu duplikatów plików) utworzyliśmy na naszej testowej maszynie celowo kilka (dokładnie siedem) kopii krótkiego pliku tekstowego o nazwie "testduplikatów.txt" i umieściliśmy je w różnych miejscach. Jak widać na powyższej ilustracji, Eksplorator plików nie tylko odnalazł wszystkie siedem kopii, ale dodatkowo na liście wyników pojawiły się dodatkowe wpisy: dwa z nich to wygenerowane automatycznie przez system operacyjny (Windows 10) skróty do ostatnio otwieranego pliku (a traf chciał, że był to właśnie poszukiwany plik). Oprócz tego w dolnej części listy widoczne są wpisy zawierające co prawda nazwę poszukiwanego pliku, ale nie będące duplikatami tego pliku lecz odsyłaczami do przeglądarki, w której można podejrzeć zawartość odnalezionego pliku (kliknięcie tego elementu uruchamia przeglądarkę internetową i wyświetla zawartość poszukiwanego pliku). Chcąc np. usunąć nadmiarowe kopie widoczne na liście wyników wystarczy po prostu zaznaczyć (najwygodniej klikając z wciśniętym klawiszem [Ctrl]) te kopie, które chcemy usunąć, a następnie użyć klawisza [Del] lub przeciągnąć zaznaczony zbiór do systemowego Kosza.

Eksplorator jest narzędziem wystarczającym do odnalezienia w komputerze duplikatów plików o tej samej nazwie. Pamiętajmy jednak, że nie zawsze dwa pliki o tej samej nazwie są swoimi kopiami, wiele aplikacji tworzy pliki tymczasowe o takich samych nazwach, ale zawartość tych plików może być zupełnie różna. Eksplorator nie analizuje różnic w treści plików, jedynie odnajduje zbiory, które w nazwie zawierają poszukiwaną frazę. Pewną wskazówką co do identyczności pliku może być kolumna Rozmiar, w której wyświetlana jest wielkość danego pliku, ale nawet  w przypadku gdy znajdziemy pliki o tej samej nazwie i wielkości, ich zawartość może być różna. Generalnie możliwości Eksploratora w zakresie poszukiwania faktycznych duplikatów są ograniczone i zalecamy stosowanie tego narzędzia jedynie w odniesieniu do plików znanych użytkownikowi, o znanych mu nazwach (nie będących nazwami automatycznie wygenerowanymi przez system czy działające w nim aplikacje). Gdy chcemy skutecznie uprzątnąć nadmiarowe kopie danych, lepszym rozwiązaniem jest skorzystanie z innych, przedstawionych poniżej narzędzi. Bardzo ważne: absolutnie nie należy usuwać duplikatów plików znajdujących się w systemowym folderze Windows. Uwaga ta w znacznej części dotyczy również miejsca, gdzie instalowane są aplikacje, z których korzystamy. Duplikatów najlepiej poszukiwać 

dupeGuru i jego warianty

Narzędziem, którym chcemy was zainteresować jest wieloplatformowy, dostępny dla wszystkich wersji Windows,  a także dla systemu Apple OS X czy Linuksa (Ubuntu, Arch Linux) program o nazwie dupeGuru. Program jest kodem otwartoźródłowym, co oznacza że jest nie tylko udostępniany za darmo, ale też nie zawiera żadnych "niespodzianek" w postaci ukrytych pasków zadań i innych zbędnych dodatków. Tak naprawdę, chcemy tu przedstawić nie tylko główny program dupeGuru, ale również jego dwie wersje specjalne: dupeGuru Music Edition oraz dupeGuru Picture Edition. Pierwsza z tych wersji specjalnych zawiera dodatkowe funkcje ułatwiające "namierzenie" duplikatów plików muzycznych, natomiast druga będzie szczególnie przydatna do wyszukania takich samych zdjęć. Zacznijmy jednak od podstawowej wersji, czyli programu dupeGuru.

Program instalowany jest w sposób klasyczny, tj. za pomocą prowadzącego krok po kroku przez etapy instalacji kreatora.

Jeżeli nie modyfikowaliśmy żadnych ustawień kreatora instalacji (nie ma takiej potrzeby), to program zostanie automatycznie uruchomiony. Nie załamujmy się "rozbudowanym" wizualnie interfejsem ;-), graficzny sznyt programu ma w interesujących nas tu zadaniach naprawdę drugorzędne znaczenie. Pierwszym zadaniem użytkownika po uruchomieniu dupeGuru jest wybór lokalizacji, w której program będzie poszukiwał duplikatów. Klikamy zaznaczony na ilustracji symbol +. Spowoduje to otwarcie standardowego okna wyboru lokalizacji w Eksploratorze. Wskazujemy konkretny folder, który ma być przez program analizowany. Jeżeli chcemy przeskanować np. cały dysk, należy po prostu kliknąć dwukrotnie ikonę dysku w Eksploratorze i kliknąć przycisk Wybierz folder mając otwarty katalog główny interesującego nas dysku. W naszym przykładzie postanowiliśmy uprzątnąć duplikaty z jednego z zewnętrznych dysków.

Dodany dysk/folder pojawi się na liście wyświetlanej w centralnej części okna programu. Możemy do tej listy dodać dowolną liczbę dysków i folderów (warunek: wszystkie one muszą być osiągalne dla programu w trakcie skanowania). Gdy wybierzemy już miejsce poszukiwania duplikatów uruchamiamy skanowanie klikając przycisk Scan.

Pierwszy etap skanowania to analiza ilości plików we wskazanym przez użytkownika miejscu. Jeżeli - tak jak w naszym przykładzie - jako skanowaną przestrzeń wskazaliśmy cały dysk, przez chwilę okno Scanning for duplicates może wydawać się "martwe", a program jakby się zawiesił - bez obaw, zachowajmy cierpliwość. Po chwili zaczną wyświetlać się dodatkowe informacje.

Po znalezieniu i oszacowaniu ilości plików, program odczytuje rozmiary poszczególnych plików.

Po tym następuje już właściwe skanowanie w poszukiwaniu duplikatów. W zależności od tego, ile danych znajduje się we wskazanej do skanowania lokalizacji, czas skanowania może być dość długi. W przypadku całych dysków twardych o pojemności setek GB należy się liczyć nawet ze skanowaniem trwającym kilkadziesiąt minut i dłużej. Z drugiej strony to i tak pomijalny czas w porównaniu z tym, jaki stracilibyśmy na "ręczne" wyszukiwanie duplikatów plików.

Gdy skanowanie zostanie zakończone, program wygeneruje odrębne okienko dupeGuru Results zawierające wyniki skanowania, czyli po prostu listę duplikatów. Powyższa ilustracja stanowi dowód, dlaczego nie warto bagatelizować kwestii usuwania duplikatów, zwłaszcza z nośników, które nigdy nie były (lub wyjątkowo rzadko) porządkowane. W naszym przypadku program dupeGuru wykrył 5353 duplikaty zajmujące na powierzchni skanowanego dysku nieco ponad 23 GB przestrzeni. Ponadto, co jest szczególnie istotne, aplikacja nie bazuje wyłącznie na nazwie pliku, ale również skanuje jego zawartość, dzięki czemu nawet pliki o różnych nazwach zawierające tę samą treść będą poprawnie zakwalifikowane jako duplikaty.

Kilka słów na temat tego, jak interpretować wyniki skanowania i co robić, by przypadkowo nie skasować za dużo. Na szczęście program nie pozwala usunąć zbyt dużo, czyli np. duplikatów razem z oryginałem pliku (w przypadku opisanego wcześniej przeszukiwania za pomocą Eksploratora jest to niestety możliwe). Zwróćmy uwagę, że niektóre pozycje na liście wyników oznaczone są na niebiesko - to pliki oznaczone przez program jako oryginały - z poziomu aplikacji dupeGuru nie da się ich usunąć. Natomiast elementy pozbawione wyróżnienia kolorem i charakteryzujące się tym, że po lewej stronie nazwy widoczne jest (domyślnie niezaznaczone) pole wyboru to właśnie duplikaty. 

Co można zrobić z duplikatami? Odpowiedzi na to pytanie dostarcza menu Actions (te same polecenia otrzymamy również klikając element listy prawym klawiszem myszki). Zaletą programu jest szerokie zastosowanie skrótów klawiszowych, co przy odrobinie wprawy ze strony użytkownika znacznie ułatwia pracę. Najważniejsze są pierwsze cztery polecenia widocznego tu menu odnoszą się bezpośrednio do zaznaczonych (poprzez aktywne pole wyboru) duplikatów na liście. Możemy je - kolejno (od góry) - usunąć do systemowego Kosza, przenieść do wybranego folderu (odpowiednie okno wyboru folderu zostanie wyświetlone po wybraniu tego polecenia), skopiować do wybranego folderu, a także usunąć zaznaczone duplikaty z listy wyników programu dupeGuru.

Przydatne jest również polecenie Open Selected with Default Application - po zaznaczeniu elementów na liście wyników (poprzez kliknięcie na nich, a nie zaznaczenie pola wyboru; zaznaczyć możemy zarówno duplikaty, jak i oryginały) i wybraniu tego polecenia zaznaczone pliki zostaną otwarte w aplikacji, która dla danego typu pliku jest ustawiona w systemie użytkownika jako domyślna. To przydatne rozwiązanie pozwalające sprawdzić, czy faktycznie interesujące nas pliki są duplikatami.

No dobrze, jak zatem najszybciej pozbyć się duplikatów po skanowaniu opisywanym programem? To proste, po zakończeniu skanowania używamy skrótu [Ctrl]+[A] (zaznaczenie wszystkich duplikatów na liście wyników), a następnie skrótu [Ctrl]+[D] i gotowe - wszystkie duplikaty lądują w Koszu.

Jeszcze jedna istotna uwaga - ponieważ skanowanie potrafi trwać dość długo (zwłaszcza w sytuacji, gdy jako skanowaną przestrzeń wskazaliśmy cały dysk), warto zachować jego wyniki. Wystarczy z menu File wybrać polecenie Save Results... (alternatywnie można użyć skrótu klawiszowego [Ctrl]+[S]) i wskazać miejsce zapisu pliku z raportem.

Duplikaty w plikach muzycznych

Jeżeli interesuje nas uprzątnięcie z nadmiarowych plików naszej komputerowej fonoteki, warto użyć specjalnej wersji dupeGuru Music Edition.

Program instalowany jest odrębnie, ale wygląda niemal identycznie jak wersja podstawowa. W taki sam sposób dodajemy foldery/dyski do skanowania, również proces skanowania przebiega podobnie. Ponieważ jednak w tym przypadku jest to wersja dedykowana do wyszukiwania duplikatów w plikach audio, sugerujemy, by nie wybierać całych dysków, lecz tylko foldery z muzyką (no chyba, że mamy na tyle bogatą fonotekę, iż zajmuje cały dysk). Edycja "muzyczna" wyszukiwarki duplikatów działa nieco wolniej w stosunku do wersji uniwersalnej, co wynika z tego, że w tym wydaniu program dokładnie skanuje metadane plików audio, dzięki czemu jest w stanie wykryć duplikaty nie tylko na podstawie nazwy czy zawartości, ale również właśnie metadanych.

Różnice ujawniają się, gdy zobaczymy listę z wynikami wyszukiwania. W wersji "muzycznej" dupeGuru poszczególnym elementom na liście towarzyszą szczegółowe dane dotyczące czasu trwania danego utworu, formatu, prędkości bitowej kodowania itp. Jeżeli chodzi o sposób postępowania z duplikatami, mamy podobne możliwości, co w opisanej wcześniej wersji uniwersalnej. Warto zaznaczyć, że program jako pliki oryginalne traktuje te, które charakteryzują się najwyższą jakością (największa prędkość bitowa - bitrate - kodowania), dzięki temu usuwając duplikaty mamy pewność, że nie pozbędziemy się lepszych jakościowo piosenek na rzecz ich gorszych odpowiedników.

Zduplikowane zdjęcia

 Druga specjalna wersja programu to dupeGuru Picture Edition - jest narzędziem ułatwiającym "namierzenie" duplikatów (lub bardzo podobnych) plików zawierających cyfrowe zdjęcia. 

 Procedura instalacji tej wersji, podobnie jak i interfejs głównego okna samego programu są identyczne jak w przypadku wcześniej opisywanych odmian dupeGuru. Podobnie też dodajemy foldery do listy skanowanych miejsc - oczywiście ponieważ mamy tu do czynienia z wersją wyspecjalizowaną pod kątem przeszukiwania duplikatów zdjęć cyfrowych należy wskazać tylko te foldery, w których faktycznie znajdują się zdjęcia.

Proces analizy, podobnie jak w przypadku wersji "muzycznej" programu dupeGuru, trwa znacznie dłużej niż w przypadku wersji uniwersalnej, ale taka jest cena możliwie dokładnego porównywania zdjęć w badanej puli. Dzięki temu program wykrywa faktyczne duplikaty nie bazując wyłącznie na nazwach plików czy ich rozmiarach.

Wygenerowana lista z duplikatami zdjęć wygląda podobnie do analogicznych list w dwóch poprzednich wersjach programu dupeGuru, oczywiście dane wyświetlane w wersji "fotograficznej" dotyczą cyfrowych obrazów. Program wykrywa duplikaty niezależnie od formatu zapisu, ponadto podobnie jak w wersji "muzycznej" jako oryginał traktowana jest kopia danej fotografii charakteryzująca się najlepszą jakością (największa rozdzielczość, bezstratny format zapisu itp.). Działania na duplikatach wykonujemy analogicznie jak w opisanej wyżej wersji uniwersalnej, tj. korzystając z poleceń menu kontekstowego lub menu Actions.

VisiPics - wyszukiwanie duplikatów zdjęć z podglądem

Zamiast podsumowania chcemy wam zaproponować jeszcze jedno użyteczne narzędzie ułatwiające wykrycie i usunięcie zbędnych duplikatów cyfrowych fotografii. Mowa o programie VisiPics. Jest to również aplikacja udostępniana bezpłatnie (licencja donationware - czyli twórcy oczekują jakiegoś dobrowolnego wsparcia, ale nawet gdy użytkownik takowego nie udzieli, może korzystać z programu bez żadnych ograniczeń).

Interfejs VisiPics jest znacznie bardziej zróżnicowany niż w przypadku dupeGuru, ale praca w tym programie przebiega podobnie jak we wcześniej przedstawionej aplikacji. Zaczynamy od wskazania lokalizacji, w której program ma wyszukiwać duplikaty zdjęć. Należy rozwinąć menu File i wybrać z niego polecenie Add Folder..., a następnie w wyświetlonym oknie dialogowym wskazać folder z cyfrowymi fotografiami, których nadmiaru (duplikatów) chcemy się pozbyć. Po wskazaniu folderu proces skanowania uruchamiamy klikając oznaczony na powyższej ilustracji symbol zielonego trójkąta (taki Play w każdym odtwarzaczu).

 Przewagą VisiPics nad dupeGuru jest to, że nie trzeba czekać na zakończenie procesu skanowania, aby móc oznaczać duplikaty przeznaczone do usunięcia. Ponadto kolejną zaletą tego programu jest to, że możemy od razu podejrzeć fotografie w wykrytych grupach identycznych, bądź bardzo podobnych zdjęć. Wzdłuż lewej krawędzi okna widoczna jest lista (podzielona na "strony") grup duplikatów. Kliknięcie miniatury zdjęcia w danej grupie oznacza go jako ilustrację do usunięcia (powtórne kliknięcie usuwa znacznik usunięcia), ponadto miniatura wskazywana (nie trzeba klikać) przez wskaźnik myszy będzie automatycznie wyświetlona w obszarze podglądu fotografii w centralnej części okna programu.

Na zakończenie jeszcze trik - jeżeli chcemy usunąć nie tylko identyczne fotografie, ale również delikatnie zmodyfikowane warianty tego samego zdjęcia (np. obrócony kadr, lekko przycięty itp.) to w celu zmiany "tolerancji" silnika wykrywającego podobieństwa analizowanych zdjęć można posłużyć się pionowym suwakiem widocznym na karcie Filter (ponad obszarem podglądu zdjęcia). Gdy suwak jest w górnej pozycji oznaczonej jako Strict program będzie traktował jako duplikaty wyłącznie zdjęcia absolutnie identyczne, z kolei suwak w pozycji Loose uzna za duplikaty zdjęcia podobne, zmodyfikowane itp. 

Mamy nadzieję, że powyższe wskazówki i proponowane narzędzia pozwolą odzyskać całe gigabajty przestrzeni z posiadanych dysków bez utraty absolutnie żadnej informacji - w końcu usuwany jest tylko nadmiar danych.

Komentarze
sewegiel
14 listopada 2016, 19:29
Witam chciałbym wyrazić moją wdzięczność autorowi P Markowi Kowalskiemu
za tak rzetelne opracowanie tego Poradnika. Długo szukałem programów do
usuwania duplikatów i dużo ich instalowałem, ale jako emeryt, nie mogłem sobie
poradzić, bo skąd mogłem wiedzieć, które mogę usunąć. Gdy zdesperowany
wpisałem wprost pytanie 'jak usunąć duplikaty z komputera' nie mogłem oczom
uwierzyć że coś takiego znalazłem. Nie znam języka angielskiego, ale tłumacz
Google pomógł mi się połapać w temacie. Pobrałem wszystkie wersje Dupe Guru
i usunąłem wszystkie duplikaty na ponad 15 GB.
Edytowane przez autora (2016.11.14, 19:32)
0
sewegiel
14 listopada 2016, 19:39
14, 19:29Witam chciałbym wyrazić moją wdzięczność autorowi P Markowi Kowalskiemu
za tak rzetelne opracowanie tego Poradnika. Długo szukałem programów do
usuwania duplikatów i dużo ich instalowałem, ale jako emeryt, nie mogłem sobie
poradzić, bo skąd mogłem wiedzieć, które mogę usunąć. Gdy zdesperowany
wpisałem wprost pytanie 'jak usunąć duplikaty z komputera' nie mogłem oczom
uwierzyć że coś takiego znalazłem. Nie znam języka angielskiego, ale tłumacz
Google pomógł mi się połapać w temacie. Pobrałem wszystkie wersje Dupe Guru
i usunąłem wszystkie duplikaty na ponad 15 GB.
Edytowane przez autora (2016.11.14, 19:32)
0
sewegiel
14 listopada 2016, 19:40
egiel2016.11.14, 19:3914, 19:29Witam chciałbym wyrazić moją wdzięczność autorowi P Markowi Kowalskiemu
za tak rzetelne opracowanie tego Poradnika. Długo szukałem programów do
usuwania duplikatów i dużo ich instalowałem, ale jako emeryt, nie mogłem sobie
poradzić, bo skąd mogłem wiedzieć, które mogę usunąć. Gdy zdesperowany
wpisałem wprost pytanie 'jak usunąć duplikaty z komputera' nie mogłem oczom
uwierzyć że coś takiego znalazłem. Nie znam języka angielskiego, ale tłumacz
Google pomógł mi się połapać w temacie. Pobrałem wszystkie wersje Dupe Guru
i usunąłem wszystkie duplikaty na ponad 15 GB.
Edytowane przez autora (2016.11.14, 19:32)
0
Zaloguj się, by móc komentować