Comments on: Kasowanie plików w bardzo dużym katalogu http://www.jakubiak.eu/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html Moje przeżycia związane z: FLEX, JEE, EJB, JSF, FreeBSD, PostgreSQL i PHP i Windows ;) Wed, 08 Feb 2012 16:47:26 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: Anonymous http://www.jakubiak.eu/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-23 Anonymous Sat, 10 Jun 2006 10:49:00 +0000 http://www.jakubiak.info/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-23 W trybie async update'y katalogu zostaną opóźnione (wykonane hurtem, zamiast na koniec każdej zmiany) co kilkukrotnie przyśpieszy operację.<br/><br/>FSCK miałby ciut więcej do roboty niż zwykle gdyby w tym momencie nastąpił crash, ale zyski z przyśpieszenia i tak to rekompensują. Po wykonaniu operacji usuwam flagę async.<br/><br/>Nawet bez montowania w trybie async zysk masz spory - fork/exec('rm') jest wykonywane dla grup plików, zamiast dla każdego pliku z osobna.<br/>W skład takiej grupy wejdzie tyle plików, ile nazw zmieści się w buforze o wielkości ARG_MAX - 4096b.<br/><br/>//m W trybie async update’y katalogu zostaną opóźnione (wykonane hurtem, zamiast na koniec każdej zmiany) co kilkukrotnie przyśpieszy operację.

FSCK miałby ciut więcej do roboty niż zwykle gdyby w tym momencie nastąpił crash, ale zyski z przyśpieszenia i tak to rekompensują. Po wykonaniu operacji usuwam flagę async.

Nawet bez montowania w trybie async zysk masz spory – fork/exec(‘rm’) jest wykonywane dla grup plików, zamiast dla każdego pliku z osobna.
W skład takiej grupy wejdzie tyle plików, ile nazw zmieści się w buforze o wielkości ARG_MAX – 4096b.

//m

]]> By: Antoni Jakubiak http://www.jakubiak.eu/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-18 Antoni Jakubiak Thu, 01 Jun 2006 12:48:00 +0000 http://www.jakubiak.info/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-18 Dzieki, za rade. Nie pomyślałem o takim wariancie.<br/><br/>Asynchroniczne zamontowanie katalogu, na pewno przyspieszy wykonanie skryptu. Ale, czy po każdej operacji usunięcia pliku, FS nie zechce przebudować katalogu?<br/><br/>Nie polecał bym tego na serwerze produkcyjnym. Tymbardzie, że w man mount można czytać:<br/><br/>async All I/O to the file system should be done asynchronously. This is a dangerous flag to set, and should not be used unless you are prepared to recreate the file system should your system crash. Dzieki, za rade. Nie pomyślałem o takim wariancie.

Asynchroniczne zamontowanie katalogu, na pewno przyspieszy wykonanie skryptu. Ale, czy po każdej operacji usunięcia pliku, FS nie zechce przebudować katalogu?

Nie polecał bym tego na serwerze produkcyjnym. Tymbardzie, że w man mount można czytać:

async All I/O to the file system should be done asynchronously. This is a dangerous flag to set, and should not be used unless you are prepared to recreate the file system should your system crash.

]]> By: Anonymous http://www.jakubiak.eu/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-3 Anonymous Tue, 23 May 2006 14:10:00 +0000 http://www.jakubiak.info/2006/04/kasowanie-plikw-w-bardzo-duym-katalogu.html#comment-3 mount -u -o async /thisfs<br/>xargs rm < pliki_do_usuniecia<br/>mount -u -o noasync /thisfs<br/><br/>;)<br/><br/>Parametry do mounta z frybzdy, nie chce mi się zaglądać do linuksowego mana, zapewne podobnie.<br/><br/>//m mount -u -o async /thisfs
xargs rm < pliki_do_usuniecia
mount -u -o noasync /thisfs

;)

Parametry do mounta z frybzdy, nie chce mi się zaglądać do linuksowego mana, zapewne podobnie.

//m

]]>