]> git.madduck.net Git - code/myrepos.git/blob - mr

madduck's git repository

Every one of the projects in this repository is available at the canonical URL git://git.madduck.net/madduck/pub/<projectpath> — see each project's metadata for the exact URL.

All patches and comments are welcome. Please squash your changes to logical commits before using git-format-patch and git-send-email to patches@git.madduck.net. If you'd read over the Git project's submission guidelines and adhered to them, I'd be especially grateful.

SSH access, as well as push access can be individually arranged.

If you use my repositories frequently, consider adding the following snippet to ~/.gitconfig and using the third clone URL listed for each project:

[url "git://git.madduck.net/madduck/"]
  insteadOf = madduck:

reword
[code/myrepos.git] / mr
1 #!/usr/bin/perl
2
3 =head1 NAME
4
5 mr - a Multiple Repository management tool
6
7 =head1 SYNOPSIS
8
9 B<mr> [options] checkout
10
11 B<mr> [options] update
12
13 B<mr> [options] status
14
15 B<mr> [options] commit [-m "message"]
16
17 B<mr> [options] record [-m "message"]
18
19 B<mr> [options] push
20
21 B<mr> [options] diff
22
23 B<mr> [options] log
24
25 B<mr> [options] run command [param ...]
26
27 B<mr> [options] bootstrap url [directory]
28
29 B<mr> [options] register [repository]
30
31 B<mr> [options] config section ["parameter=[value]" ...]
32
33 B<mr> [options] action [params ...]
34
35 B<mr> [options] [online|offline]
36
37 B<mr> [options] remember action [params ...]
38
39 =head1 DESCRIPTION
40
41 B<mr> is a Multiple Repository management tool. It can checkout, update, or
42 perform other actions on a set of repositories as if they were one combined
43 repository. It supports any combination of subversion, git, cvs, mercurial,
44 bzr, darcs and fossil repositories, and support for other version
45 control systems can easily be added.
46
47 B<mr> cds into and operates on all registered repositories at or below your
48 working directory. Or, if you are in a subdirectory of a repository that
49 contains no other registered repositories, it will stay in that directory,
50 and work on only that repository,
51
52 B<mr> is configured by .mrconfig files, which list the repositories. It
53 starts by reading the .mrconfig file in your home directory, and this can
54 in turn chain load .mrconfig files from repositories. It also automatically
55 looks for a .mrconfig file in the current directory, or in one of its
56 parent directories.
57
58 These predefined commands should be fairly familiar to users of any version
59 control system:
60
61 =over 4
62
63 =item checkout (or co)
64
65 Checks out any repositories that are not already checked out.
66
67 =item update
68
69 Updates each repository from its configured remote repository.
70
71 If a repository isn't checked out yet, it will first check it out.
72
73 =item status
74
75 Displays a status report for each repository, showing what
76 uncommitted changes are present in the repository.
77
78 =item commit (or ci)
79
80 Commits changes to each repository. (By default, changes are pushed to the
81 remote repository too, when using distributed systems like git. If you
82 don't like this default, you can change it in your .mrconfig, or use record
83 instead.)
84
85 The optional -m parameter allows specifying a commit message.
86
87 =item record
88
89 Records changes to the local repository, but does not push them to the
90 remote repository. Only supported for distributed version control systems.
91
92 The optional -m parameter allows specifying a commit message.
93
94 =item push
95
96 Pushes committed local changes to the remote repository. A no-op for
97 centralized version control systems.
98
99 =item diff
100
101 Show a diff of uncommitted changes.
102
103 =item log
104
105 Show the commit log.
106
107 =item run command [param ...]
108
109 Runs the specified command in each repository.
110
111 =back
112
113 These commands are also available:
114
115 =over 4
116
117 =item bootstrap url [directory]
118
119 Causes mr to download the url, and use it as a .mrconfig file
120 to checkout the repositories listed in it, into the specified directory.
121
122 The directory will be created if it does not exist. If no directory is
123 specified, the current directory will be used.
124
125 If the .mrconfig file includes a repository named ".", that
126 is checked out into the top of the specified directory.
127
128 =item list (or ls)
129
130 List the repositories that mr will act on.
131
132 =item register
133
134 Register an existing repository in a mrconfig file. By default, the
135 repository in the current directory is registered, or you can specify a
136 directory to register.
137
138 The mrconfig file that is modified is chosen by either the -c option, or by
139 looking for the closest known one at or in a parent of the current directory.
140
141 =item config
142
143 Adds, modifies, removes, or prints a value from a mrconfig file. The next
144 parameter is the name of the section the value is in. To add or modify
145 values, use one or more instances of "parameter=value". Use "parameter=" to
146 remove a parameter. Use just "parameter" to get the value of a parameter.
147
148 For example, to add (or edit) a repository in src/foo:
149
150   mr config src/foo checkout="svn co svn://example.com/foo/trunk foo"
151
152 To show the command that mr uses to update the repository in src/foo:
153
154   mr config src/foo update
155
156 To see the built-in library of shell functions contained in mr:
157
158   mr config DEFAULT lib
159
160 The mrconfig file that is used is chosen by either the -c option, or by
161 looking for the closest known one at or in a parent of the current directory.
162
163 =item offline
164
165 Advises mr that it is in offline mode. Any commands that fail in
166 offline mode will be remembered, and retried when mr is told it's online.
167
168 =item online
169
170 Advices mr that it is in online mode again. Commands that failed while in
171 offline mode will be re-run.
172
173 =item remember
174
175 Remember a command, to be run later when mr re-enters online mode. This
176 implicitly puts mr into offline mode. The command can be any regular mr
177 command. This is useful when you know that a command will fail due to being
178 offline, and so don't want to run it right now at all, but just remember
179 to run it when you go back online.
180
181 =item help
182
183 Displays this help.
184
185 =back
186
187 Actions can be abbreviated to any unambiguous substring, so
188 "mr st" is equivalent to "mr status", and "mr up" is equivalent to "mr
189 update"
190
191 Additional parameters can be passed to most commands, and are passed on
192 unchanged to the underlying version control system. This is mostly useful
193 if the repositories mr will act on all use the same version control
194 system.
195
196 =head1 OPTIONS
197
198 =over 4
199
200 =item -d directory
201
202 =item --directory directory
203
204 Specifies the topmost directory that B<mr> should work in. The default is
205 the current working directory.
206
207 =item -c mrconfig
208
209 =item --config mrconfig
210
211 Use the specified mrconfig file. The default is to use both F<~/.mrconfig>
212 as well as look for a F<.mrconfig> file in the current directory, or in one
213 of its parent directories.
214
215 =item -v
216
217 =item --verbose
218
219 Be verbose.
220
221 =item -q
222
223 =item --quiet
224
225 Be quiet. This suppresses mr's usual output, as well as any output from
226 commands that are run (including stderr output). If a command fails,
227 the output will be shown.
228
229 =item -k
230
231 =item --insecure
232
233 Accept untrusted SSL certificates when bootstrapping.
234
235 =item -s
236
237 =item --stats
238
239 Expand the statistics line displayed at the end to include information
240 about exactly which repositories failed and were skipped, if any.
241
242 =item -i
243
244 =item --interactive
245
246 Interactive mode. If a repository fails to be processed, a subshell will be
247 started which you can use to resolve or investigate the problem. Exit the
248 subshell to continue the mr run.
249
250 =item -n [number]
251
252 =item --no-recurse [number]
253
254 If no number if specified, just operate on the repository for the current
255 directory, do not recurse into deeper repositories.
256
257 If a number is specified, will recurse into repositories at most that many
258 subdirectories deep. For example, with -n 2 it would recurse into ./src/foo,
259 but not ./src/packages/bar.
260
261 =item -j [number]
262
263 =item --jobs [number]
264
265 Run the specified number of jobs in parallel, or an unlimited number of jobs
266 with no number specified. This can greatly speed up operations such as updates.
267 It is not recommended for interactive operations.
268
269 Note that running more than 10 jobs at a time is likely to run afoul of
270 ssh connection limits. Running between 3 and 5 jobs at a time will yield
271 a good speedup in updates without loading the machine too much.
272
273 =item -t
274
275 =item --trust-all
276
277 Trust all mrconfig files even if they are not listed in F<~/.mrtrust>.
278 Use with caution.
279
280 =item -p
281
282 =item --path
283
284 This obsolete flag is ignored.
285
286 =back
287
288 =head1 MRCONFIG FILES
289
290 Here is an example F<.mrconfig> file:
291
292   [src]
293   checkout = svn checkout svn://svn.example.com/src/trunk src
294   chain = true
295
296   [src/linux-2.6]
297   checkout = git clone git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6.git &&
298         cd linux-2.6 &&
299         git checkout -b mybranch origin/master
300
301 The F<.mrconfig> file uses a variant of the INI file format. Lines
302 starting with "#" are comments. Values can be continued to the
303 following line by indenting the line with whitespace.
304
305 The C<DEFAULT> section allows setting default values for the sections that
306 come after it.
307
308 The C<ALIAS> section allows adding aliases for actions. Each parameter
309 is an alias, and its value is the action to use.
310
311 All other sections add repositories. The section header specifies the
312 directory where the repository is located. This is relative to the directory
313 that contains the mrconfig file, but you can also choose to use absolute
314 paths. (Note that you can use environment variables in section names; they
315 will be passed through the shell for expansion. For example, 
316 C<[$HOSTNAME]>, or C<[${HOSTNAME}foo]>).
317
318 Within a section, each parameter defines a shell command to run to handle a
319 given action. mr contains default handlers for "update", "status",
320 "commit", and other standard actions.
321
322 Normally you only need to specify what to do for "checkout". Here you
323 specify the command to run in order to create a checkout of the repository.
324 The command will be run in the parent directory, and must create the
325 repository's directory. So use C<git clone>, C<svn checkout>, C<bzr branch>
326 or C<bzr checkout> (for a bound branch), etc.
327
328 Note that these shell commands are run in a C<set -e> shell
329 environment, where any additional parameters you pass are available in
330 C<$@>. All commands other than "checkout" are run inside the repository,
331 though not necessarily at the top of it.
332
333 The C<MR_REPO> environment variable is set to the path to the top of the
334 repository. (For the "register" action, "MR_REPO" is instead set to the 
335 basename of the directory that should be created when checking the
336 repository out.)
337
338 The C<MR_CONFIG> environment variable is set to the .mrconfig file
339 that defines the repo being acted on, or, if the repo is not yet in a config
340 file, the F<.mrconfig> file that should be modified to register the repo.
341
342 The C<MR_ACTION> environment variable is set to the command being run
343 (update, checkout, etc).
344
345 A few parameters have special meanings:
346
347 =over 4
348
349 =item skip
350
351 If the "skip" parameter is set and its command returns true, then B<mr>
352 will skip acting on that repository. The command is passed the action
353 name in C<$1>.
354
355 Here are two examples. The first skips the repo unless
356 mr is run by joey. The second uses the hours_since function
357 (included in mr's built-in library) to skip updating the repo unless it's
358 been at least 12 hours since the last update.
359
360   [mystuff]
361   checkout = ...
362   skip = test `whoami` != joey
363
364   [linux]
365   checkout = ...
366   skip = [ "$1" = update ] && ! hours_since "$1" 12
367  
368 Another way to use skip is for a lazy checkout. This makes mr skip
369 operating on a repo unless it already exists. To enable the 
370 repo, you have to explicitly check it out (using "mr -d foo checkout").
371
372   [foo]
373   checkout = ...
374   skip = lazy
375
376 =item order
377
378 The "order" parameter can be used to override the default ordering of
379 repositories. The default order value is 10. Use smaller values to make
380 repositories be processed earlier, and larger values to make repositories
381 be processed later.
382
383 Note that if a repository is located in a subdirectory of another
384 repository, ordering it to be processed earlier is not recommended.
385
386 =item chain
387
388 If the "chain" parameter is set and its command returns true, then B<mr>
389 will try to load a F<.mrconfig> file from the root of the repository.
390
391 =item include
392
393 If the "include" parameter is set, its command is ran, and should output
394 additional mrconfig file content. The content is included as if it were
395 part of the including file.
396
397 Unlike all other parameters, this parameter does not need to be placed
398 within a section.
399
400 B<mr> ships several libraries that can be included to add support for
401 additional version control type things (unison, git-svn, vcsh, git-fake-bare,
402 git-subtree). To include them all, you could use:
403
404   include = cat /usr/share/mr/*
405
406 See the individual files for details.
407
408 =item deleted
409
410 If the "deleted" parameter is set and its command returns true, then
411 B<mr> will treat the repository as deleted. It won't ever actually delete
412 the repository, but it will warn if it sees the repository's directory.
413 This is useful when one mrconfig file is shared among multiple machines,
414 to keep track of and remember to delete old repositories.
415
416 =item lib
417
418 The "lib" parameter can specify some shell code that will be run
419 before each command, this can be a useful way to define shell
420 functions for other commands to use. 
421
422 Unlike most other parameters, this can be specified multiple times, in
423 which case the chunks of shell code are accumulatively concatenated
424 together.
425
426 =item fixups
427
428 If the "fixups" parameter is set, its command is run whenever a repository
429 is checked out, or updated. This provides an easy way to do things
430 like permissions fixups, or other tweaks to the repository content,
431 whenever the repository is changed.
432
433 =item VCS_action
434
435 When looking for a command to run for a given action, mr first looks for
436 a parameter with the same name as the action. If that is not found, it
437 looks for a parameter named "VCS_action" (substituting in the name of the
438 version control system and the action). The name of the version control
439 system is itself determined by running each defined "VCS_test" action,
440 until one succeeds.
441
442 Internally, mr has settings for "git_update", "svn_update", etc. To change
443 the action that is performed for a given version control system, you can
444 override these VCS specific actions. To add a new version control system,
445 you can just add VCS specific actions for it.
446
447 =item pre_ and post_
448
449 If a "pre_action" parameter is set, its command is run before mr performs the
450 specified action. Similarly, "post_action" parameters are run after mr
451 successfully performs the specified action. For example, "pre_commit" is
452 run before committing; "post_update" is run after updating.
453
454 =item _append
455
456 Any parameter can be suffixed with C<_append>, to add an additional value
457 to the existing value of the parameter. In this way, actions 
458 can be constructed accumulatively.
459
460 =back
461
462 =head1 UNTRUSTED MRCONFIG FILES
463
464 Since mrconfig files can contain arbitrary shell commands, they can do
465 anything. This flexibility is good, but it also allows a malicious mrconfig
466 file to delete your whole home directory. Such a file might be contained
467 inside a repository that your main F<~/.mrconfig> checks out. To
468 avoid worries about evil commands in a mrconfig file, mr defaults to
469 reading all mrconfig files other than the main F<~/.mrconfig> in untrusted
470 mode. In untrusted mode, mrconfig files are limited to running only known
471 safe commands (like "git clone") in a carefully checked manner.
472
473 To configure mr to trust other mrconfig files, list them in F<~/.mrtrust>.
474 One mrconfig file should be listed per line. Either the full pathname
475 should be listed, or the pathname can start with F<~/> to specify a file
476 relative to your home directory.
477
478 =head1 OFFLINE LOG FILE
479
480 The F<~/.mrlog> file contains commands that mr has remembered to run later,
481 due to being offline. You can delete or edit this file to remove commands,
482 or even to add other commands for 'mr online' to run. If the file is
483 present, mr assumes it is in offline mode.
484
485 =head1 EXTENSIONS
486
487 mr can be extended to support things such as unison and git-svn. Some
488 files providing such extensions are available in F</usr/share/mr/>. See
489 the documentation in the files for details about using them.
490
491 =head1 EXIT STATUS
492
493 mr returns nonzero if a command failed in any of the repositories.
494
495 =head1 AUTHOR
496
497 Copyright 2007-2011 Joey Hess <joey@kitenet.net>
498
499 Licensed under the GNU GPL version 2 or higher.
500
501 http://kitenet.net/~joey/code/mr/
502
503 =cut
504
505 use warnings;
506 use strict;
507 use Getopt::Long;
508 use Cwd qw(getcwd abs_path);
509
510 # things that can happen when mr runs a command
511 use constant {
512         OK => 0,
513         FAILED => 1,
514         SKIPPED => 2,
515         ABORT => 3,
516 };
517
518 # configurables
519 my $config_overridden=0;
520 my $verbose=0;
521 my $quiet=0;
522 my $stats=0;
523 my $insecure=0;
524 my $interactive=0;
525 my $max_depth;
526 my $no_chdir=0;
527 my $jobs=1;
528 my $trust_all=0;
529 my $directory=getcwd();
530
531 $ENV{MR_CONFIG}=find_mrconfig();
532
533 # globals :-(
534 my %config;
535 my %configfiles;
536 my %knownactions;
537 my %alias;
538 my (@ok, @failed, @skipped);
539
540 main();
541
542 my %vcs;
543 sub vcs_test {
544         my ($action, $dir, $topdir, $subdir) = @_;
545
546         if (exists $vcs{$dir}) {
547                 return $vcs{$dir};
548         }
549
550         my $test="set -e\n";
551         foreach my $vcs_test (
552                         sort {
553                                 length $a <=> length $b 
554                                           ||
555                                        $a cmp $b
556                         } grep { /_test$/ } keys %{$config{$topdir}{$subdir}}) {
557                 my ($vcs)=$vcs_test=~/(.*)_test/;
558                 $test="my_$vcs_test() {\n$config{$topdir}{$subdir}{$vcs_test}\n}\n".$test;
559                 $test.="if my_$vcs_test; then echo $vcs; fi\n";
560         }
561         $test=$config{$topdir}{$subdir}{lib}."\n".$test
562                 if exists $config{$topdir}{$subdir}{lib};
563         
564         print "mr $action: running vcs test >>$test<<\n" if $verbose;
565         my $vcs=`$test`;
566         chomp $vcs;
567         if ($vcs=~/\n/s) {
568                 $vcs=~s/\n/, /g;
569                 print STDERR "mr $action: found multiple possible repository types ($vcs) for ".fulldir($topdir, $subdir)."\n";
570                 return undef;
571         }
572         if (! length $vcs) {
573                 return $vcs{$dir}=undef;
574         }
575         else {
576                 return $vcs{$dir}=$vcs;
577         }
578 }
579         
580 sub findcommand {
581         my ($action, $dir, $topdir, $subdir, $is_checkout) = @_;
582         
583         if (exists $config{$topdir}{$subdir}{$action}) {
584                 return $config{$topdir}{$subdir}{$action};
585         }
586
587         if ($is_checkout) {
588                 return undef;
589         }
590
591         my $vcs=vcs_test(@_);
592
593         if (defined $vcs && 
594             exists $config{$topdir}{$subdir}{$vcs."_".$action}) {
595                 return $config{$topdir}{$subdir}{$vcs."_".$action};
596         }
597         else {
598                 return undef;
599         }
600 }
601
602 sub fulldir {
603         my ($topdir, $subdir) = @_;
604         return $subdir =~ /^\// ? $subdir : $topdir.$subdir;
605 }
606
607 sub action {
608         my ($action, $dir, $topdir, $subdir, $force_checkout) = @_;
609         my $fulldir=fulldir($topdir, $subdir);
610
611         $ENV{MR_CONFIG}=$configfiles{$topdir};
612         my $lib=exists $config{$topdir}{$subdir}{lib} ?
613                        $config{$topdir}{$subdir}{lib}."\n" : "";
614         my $is_checkout=($action eq 'checkout');
615         my $is_update=($action =~ /update/);
616
617         ($ENV{MR_REPO}=$dir) =~ s!/$!!;
618         $ENV{MR_ACTION}=$action;
619         
620         foreach my $testname ("skip", "deleted") {
621                 my $testcommand=findcommand($testname, $dir, $topdir, $subdir, $is_checkout);
622
623                 if (defined $testcommand) {
624                         my $test="set -e;".$lib.
625                                 "my_action(){ $testcommand\n }; my_action '$action'";
626                         print "mr $action: running $testname test >>$test<<\n" if $verbose;
627                         my $ret=system($test);
628                         if ($ret != 0) {
629                                 if (($? & 127) == 2) {
630                                         print STDERR "mr $action: interrupted\n";
631                                         return ABORT;
632                                 }
633                                 elsif ($? & 127) {
634                                         print STDERR "mr $action: $testname test received signal ".($? & 127)."\n";
635                                         return ABORT;
636                                 }
637                         }
638                         if ($ret >> 8 == 0) {
639                                 if ($testname eq "deleted") {
640                                         if (-d $dir) {
641                                                 print STDERR "mr error: $dir should be deleted yet still exists\n";
642                                                 return FAILED;
643                                         }
644                                 }
645                                 print "mr $action: skip $dir skipped\n" if $verbose;
646                                 return SKIPPED;
647                         }
648                 }
649         }
650
651         if ($is_checkout) {
652                 if (! $force_checkout) {
653                         if (-d $dir) {
654                                 print "mr $action: $dir already exists, skipping checkout\n" if $verbose;
655                                 return SKIPPED;
656                         }
657         
658                         $dir=~s/^(.*)\/[^\/]+\/?$/$1/;
659                 }
660         }
661         elsif ($is_update) {
662                 if (! -d $dir) {
663                         return action("checkout", $dir, $topdir, $subdir);
664                 }
665         }
666
667         my $command=findcommand($action, $dir, $topdir, $subdir, $is_checkout);
668
669         if ($is_checkout && ! -d $dir) {
670                 print "mr $action: creating parent directory $dir\n" if $verbose;
671                 system("mkdir", "-p", $dir);
672         }
673
674         if (! $no_chdir && ! chdir($dir)) {
675                 print STDERR "mr $action: failed to chdir to $dir: $!\n";
676                 return FAILED;
677         }
678         elsif (! defined $command) {
679                 my $vcs=vcs_test(@_);
680                 if (! defined $vcs) {
681                         print STDERR "mr $action: unknown repository type and no defined $action command for $fulldir\n";
682                         return FAILED;
683                 }
684                 else {
685                         print STDERR "mr $action: no defined action for $vcs repository $fulldir, skipping\n";
686                         return SKIPPED;
687                 }
688         }
689         else {
690                 my $actionmsg;
691                 if (! $no_chdir) {
692                         $actionmsg="mr $action: $fulldir";
693                 }
694                 else {
695                         my $s=$directory;
696                         $s=~s/^\Q$fulldir\E\/?//;
697                         $actionmsg="mr $action: $fulldir (in subdir $s)";
698                 }
699                 print "$actionmsg\n" unless $quiet;
700
701                 my $hookret=hook("pre_$action", $topdir, $subdir);
702                 return $hookret if $hookret != OK;
703
704                 $command="set -e; ".$lib.
705                         "my_action(){ $command\n }; my_action ".
706                         join(" ", map { s/\\/\\\\/g; s/"/\"/g; '"'.$_.'"' } @ARGV);
707                 print "mr $action: running >>$command<<\n" if $verbose;
708                 my $ret;
709                 if ($quiet) {
710                         my $output = qx/$command 2>&1/;
711                         $ret = $?;
712                         if ($ret != 0) {
713                                 print "$actionmsg\n";
714                                 print STDERR $output;
715                         }
716                 }
717                 else {
718                         $ret=system($command);
719                 }
720                 if ($ret != 0) {
721                         if (($? & 127) == 2) {
722                                 print STDERR "mr $action: interrupted\n";
723                                 return ABORT;
724                         }
725                         elsif ($? & 127) {
726                                 print STDERR "mr $action: received signal ".($? & 127)."\n";
727                                 return ABORT;
728                         }
729                         print STDERR "mr $action: failed ($ret)\n" if $verbose;
730                         if ($ret >> 8 != 0) {
731                                 print STDERR "mr $action: command failed\n";
732                                 if (-e "$ENV{HOME}/.mrlog" && $action ne 'remember') {
733                                         # recreate original command line to
734                                         # remember, and avoid recursing
735                                         my @orig=@ARGV;
736                                         @ARGV=('-n', $action, @orig);
737                                         action("remember", $dir, $topdir, $subdir);
738                                         @ARGV=@orig;
739                                 }
740                         }
741                         elsif ($ret != 0) {
742                                 print STDERR "mr $action: command died ($ret)\n";
743                         }
744                         return FAILED;
745                 }
746                 else {
747                         if ($is_checkout && ! -d $dir) {
748                                 print STDERR "mr $action: $dir missing after checkout\n";;
749                                 return FAILED;
750                         }
751
752                         my $ret=hook("post_$action", $topdir, $subdir);
753                         return $ret if $ret != OK;
754                         
755                         if (($is_checkout || $is_update)) {
756                                 my $ret=hook("fixups", $topdir, $subdir);
757                                 return $ret if $ret != OK;
758                         }
759                         
760                         return OK;
761                 }
762         }
763 }
764
765 sub hook {
766         my ($hook, $topdir, $subdir) = @_;
767
768         my $command=$config{$topdir}{$subdir}{$hook};
769         return OK unless defined $command;
770         my $lib=exists $config{$topdir}{$subdir}{lib} ?
771                        $config{$topdir}{$subdir}{lib}."\n" : "";
772         my $shell="set -e;".$lib.
773                 "my_hook(){ $command\n }; my_hook";
774         print "mr $hook: running >>$shell<<\n" if $verbose;
775         my $ret;
776         if ($quiet) {
777                 my $output = qx/$shell 2>&1/;
778                 $ret = $?;
779                 if ($ret != 0) {
780                         print STDERR $output;
781                 }
782         }
783         else {
784                 $ret=system($shell);
785         }
786         if ($ret != 0) {
787                 if (($? & 127) == 2) {
788                         print STDERR "mr $hook: interrupted\n";
789                         return ABORT;
790                 }
791                 elsif ($? & 127) {
792                         print STDERR "mr $hook: received signal ".($? & 127)."\n";
793                         return ABORT;
794                 }
795                 else {
796                         return FAILED;
797                 }
798         }
799
800         return OK;
801 }
802
803 # run actions on multiple repos, in parallel
804 sub mrs {
805         my $action=shift;
806         my @repos=@_;
807
808         $| = 1;
809         my @active;
810         my @fhs;
811         my @out;
812         my $running=0;
813         while (@fhs or @repos) {
814                 while ((!$jobs || $running < $jobs) && @repos) {
815                         $running++;
816                         my $repo = shift @repos;
817                         pipe(my $outfh, CHILD_STDOUT);
818                         pipe(my $errfh, CHILD_STDERR);
819                         my $pid;
820                         unless ($pid = fork) {
821                                 die "mr $action: cannot fork: $!" unless defined $pid;
822                                 open(STDOUT, ">&CHILD_STDOUT") || die "mr $action cannot reopen stdout: $!";
823                                 open(STDERR, ">&CHILD_STDERR") || die "mr $action cannot reopen stderr: $!";
824                                 close CHILD_STDOUT;
825                                 close CHILD_STDERR;
826                                 close $outfh;
827                                 close $errfh;
828                                 exit action($action, @$repo);
829                         }
830                         close CHILD_STDOUT;
831                         close CHILD_STDERR;
832                         push @active, [$pid, $repo];
833                         push @fhs, [$outfh, $errfh];
834                         push @out, ['',     ''];
835                 }
836                 my ($rin, $rout) = ('','');
837                 my $nfound;
838                 foreach my $fh (@fhs) {
839                         next unless defined $fh;
840                         vec($rin, fileno($fh->[0]), 1) = 1 if defined $fh->[0];
841                         vec($rin, fileno($fh->[1]), 1) = 1 if defined $fh->[1];
842                 }
843                 $nfound = select($rout=$rin, undef, undef, 1);
844                 foreach my $channel (0, 1) {
845                         foreach my $i (0..$#fhs) {
846                                 next unless defined $fhs[$i];
847                                 my $fh = $fhs[$i][$channel];
848                                 next unless defined $fh;
849                                 if (vec($rout, fileno($fh), 1) == 1) {
850                                         my $r = '';
851                                         if (sysread($fh, $r, 1024) == 0) {
852                                                 close($fh);
853                                                 $fhs[$i][$channel] = undef;
854                                                 if (! defined $fhs[$i][0] &&
855                                                     ! defined $fhs[$i][1]) {
856                                                         waitpid($active[$i][0], 0);
857                                                         print STDOUT $out[$i][0];
858                                                         print STDERR $out[$i][1];
859                                                         record($active[$i][1], $? >> 8);
860                                                         splice(@fhs, $i, 1);
861                                                         splice(@active, $i, 1);
862                                                         splice(@out, $i, 1);
863                                                         $running--;
864                                                 }
865                                         }
866                                         $out[$i][$channel] .= $r;
867                                 }
868                         }
869                 }
870         }
871 }
872
873 sub record {
874         my $dir=shift()->[0];
875         my $ret=shift;
876
877         if ($ret == OK) {
878                 push @ok, $dir;
879                 print "\n" unless $quiet;
880         }
881         elsif ($ret == FAILED) {
882                 if ($interactive) {
883                         chdir($dir) unless $no_chdir;
884                         print STDERR "mr: Starting interactive shell. Exit shell to continue.\n";
885                         system((getpwuid($<))[8], "-i");
886                 }
887                 push @failed, $dir;
888                 print "\n" unless $quiet;
889         }
890         elsif ($ret == SKIPPED) {
891                 push @skipped, $dir;
892         }
893         elsif ($ret == ABORT) {
894                 exit 1;
895         }
896         else {
897                 die "unknown exit status $ret";
898         }
899 }
900
901 sub showstats {
902         my $action=shift;
903         if (! @ok && ! @failed && ! @skipped) {
904                 die "mr $action: no repositories found to work on\n";
905         }
906         print "mr $action: finished (".join("; ",
907                 showstat($#ok+1, "ok", "ok"),
908                 showstat($#failed+1, "failed", "failed"),
909                 showstat($#skipped+1, "skipped", "skipped"),
910         ).")\n" unless $quiet;
911         if ($stats) {
912                 if (@skipped) {
913                         print "mr $action: (skipped: ".join(" ", @skipped).")\n" unless $quiet;
914                 }
915                 if (@failed) {
916                         print STDERR "mr $action: (failed: ".join(" ", @failed).")\n";
917                 }
918         }
919 }
920
921 sub showstat {
922         my $count=shift;
923         my $singular=shift;
924         my $plural=shift;
925         if ($count) {
926                 return "$count ".($count > 1 ? $plural : $singular);
927         }
928         return;
929 }
930
931 # an ordered list of repos
932 sub repolist {
933         my @list;
934         foreach my $topdir (sort keys %config) {
935                 foreach my $subdir (sort keys %{$config{$topdir}}) {
936                         push @list, {
937                                 topdir => $topdir,
938                                 subdir => $subdir,
939                                 order => $config{$topdir}{$subdir}{order},
940                         };
941                 }
942         }
943         return sort {
944                 $a->{order}  <=> $b->{order}
945                              ||
946                 $a->{topdir} cmp $b->{topdir}
947                              ||
948                 $a->{subdir} cmp $b->{subdir}
949         } @list;
950 }
951
952 sub repodir {
953         my $repo=shift;
954         my $topdir=$repo->{topdir};
955         my $subdir=$repo->{subdir};
956         my $ret=($subdir =~/^\//) ? $subdir : $topdir.$subdir;
957         $ret=~s/\/\.$//;
958         return $ret;
959 }
960
961 # Figure out which repos to act on.  Returns a list of array refs
962 # in the format:
963 #
964 #   [ "$full_repo_path/", "$mr_config_path/", $section_header ]
965 sub selectrepos {
966         my @repos;
967         foreach my $repo (repolist()) {
968                 my $topdir=$repo->{topdir};
969                 my $subdir=$repo->{subdir};
970
971                 next if $subdir eq 'DEFAULT';
972                 my $dir=repodir($repo);
973                 my $d=$directory;
974                 $dir.="/" unless $dir=~/\/$/;
975                 $d.="/" unless $d=~/\/$/;
976                 next if $dir ne $d && $dir !~ /^\Q$d\E/;
977                 if (defined $max_depth) {
978                         my @a=split('/', $dir);
979                         my @b=split('/', $d);
980                         do { } while (@a && @b && shift(@a) eq shift(@b));
981                         next if @a > $max_depth || @b > $max_depth;
982                 }
983                 push @repos, [$dir, $topdir, $subdir];
984         }
985         if (! @repos) {
986                 # fallback to find a leaf repo
987                 foreach my $repo (reverse repolist()) {
988                         my $topdir=$repo->{topdir};
989                         my $subdir=$repo->{subdir};
990                         
991                         next if $subdir eq 'DEFAULT';
992                         my $dir=repodir($repo);
993                         my $d=$directory;
994                         $dir.="/" unless $dir=~/\/$/;
995                         $d.="/" unless $d=~/\/$/;
996                         if ($d=~/^\Q$dir\E/) {
997                                 push @repos, [$dir, $topdir, $subdir];
998                                 last;
999                         }
1000                 }
1001                 $no_chdir=1;
1002         }
1003         return @repos;
1004 }
1005
1006 sub expandenv {
1007         my $val=shift;
1008         
1009
1010         if ($val=~/\$/) {
1011                 $val=`echo "$val"`;
1012                 chomp $val;
1013         }
1014         
1015         return $val;
1016 }
1017
1018 my %trusted;
1019 sub is_trusted_config {
1020         my $config=shift; # must be abs_pathed already
1021
1022         # We always trust ~/.mrconfig.
1023         return 1 if $config eq abs_path("$ENV{HOME}/.mrconfig");
1024
1025         return 1 if $trust_all;
1026
1027         my $trustfile=$ENV{HOME}."/.mrtrust";
1028
1029         if (! %trusted) {
1030                 $trusted{"$ENV{HOME}/.mrconfig"}=1;
1031                 if (open (TRUST, "<", $trustfile)) {
1032                         while (<TRUST>) {
1033                                 chomp;
1034                                 s/^~\//$ENV{HOME}\//;
1035                                 $trusted{abs_path($_)}=1;
1036                         }
1037                         close TRUST;
1038                 }
1039         }
1040
1041         return $trusted{$config};
1042 }
1043
1044
1045 sub is_trusted_repo {
1046         my $repo=shift;
1047         
1048         # Tightly limit what is allowed in a repo name.
1049         # No ../, no absolute paths, and no unusual filenames
1050         # that might try to escape to the shell.
1051         return $repo =~ /^[-_.+\/A-Za-z0-9]+$/ &&
1052                $repo !~ /\.\./ && $repo !~ /^\//;
1053 }
1054
1055 sub is_trusted_checkout {
1056         my $command=shift;
1057         
1058         # To determine if the command is safe, compare it with the
1059         # *_trusted_checkout config settings. Those settings are
1060         # templates for allowed commands, so make sure that each word
1061         # of the command matches the corresponding word of the template.
1062         
1063         my @words;
1064         foreach my $word (split(' ', $command)) {
1065                 # strip quoting
1066                 if ($word=~/^'(.*)'$/) {
1067                         $word=$1;
1068                 }
1069                 elsif ($word=~/^"(.*)"$/) {
1070                         $word=$1;
1071                 }
1072
1073                 push @words, $word;
1074         }
1075
1076         foreach my $key (grep { /_trusted_checkout$/ }
1077                          keys %{$config{''}{DEFAULT}}) {
1078                 my @twords=split(' ', $config{''}{DEFAULT}{$key});
1079                 next if @words > @twords;
1080
1081                 my $match=1;
1082                 my $url;
1083                 for (my $c=0; $c < @twords && $match; $c++) {
1084                         if ($twords[$c] eq '$url') {
1085                                 # Match all the typical characters found in
1086                                 # urls, plus @ which svn can use. Note
1087                                 # that the "url" might also be a local
1088                                 # directory.
1089                                 $match=(
1090                                         defined $words[$c] &&
1091                                         $words[$c] =~ /^[-_.+:@\/A-Za-z0-9]+$/
1092                                 );
1093                                 $url=$words[$c];
1094                         }
1095                         elsif ($twords[$c] eq '$repo') {
1096                                 # If a repo is not specified, assume it
1097                                 # will be the last path component of the
1098                                 # url, or something derived from it, and
1099                                 # check that.
1100                                 if (! defined $words[$c] && defined $url) {
1101                                         ($words[$c])=$url=~/\/([^\/]+)\/?$/;
1102                                 }
1103
1104                                 $match=(
1105                                         defined $words[$c] &&
1106                                         is_trusted_repo($words[$c])
1107                                 );
1108                         }
1109                         elsif (defined $words[$c] && $words[$c]=~/^($twords[$c])$/) {
1110                                 $match=1;
1111                         }
1112                         else {
1113                                 $match=0;
1114                         }
1115                 }
1116                 return 1 if $match;
1117         }
1118
1119         return 0;
1120 }
1121
1122 my %loaded;
1123 sub loadconfig {
1124         my $f=shift;
1125         my $dir=shift;
1126         my $bootstrap_url=shift;
1127
1128         my @toload;
1129
1130         my $in;
1131         my $trusted;
1132         if (ref $f eq 'GLOB') {
1133                 $dir="";
1134                 $in=$f;
1135                 $trusted=1;
1136         }
1137         else {
1138                 my $absf=abs_path($f);
1139                 if ($loaded{$absf}) {
1140                         return;
1141                 }
1142                 $loaded{$absf}=1;
1143
1144                 $trusted=is_trusted_config($absf);
1145
1146                 if (! defined $dir) {
1147                         ($dir)=$f=~/^(.*\/)[^\/]+$/;
1148                         if (! defined $dir) {
1149                                 $dir=".";
1150                         }
1151                 }
1152
1153                 $dir=abs_path($dir)."/";
1154                 
1155                 if (! exists $configfiles{$dir}) {
1156                         $configfiles{$dir}=$f;
1157                 }
1158
1159                 # copy in defaults from first parent
1160                 my $parent=$dir;
1161                 while ($parent=~s/^(.*\/)[^\/]+\/?$/$1/) {
1162                         if ($parent eq '/') {
1163                                 $parent="";
1164                         }
1165                         if (exists $config{$parent} &&
1166                             exists $config{$parent}{DEFAULT}) {
1167                                 $config{$dir}{DEFAULT}={ %{$config{$parent}{DEFAULT}} };
1168                                 last;
1169                         }
1170                 }
1171                 
1172                 if (! -e $f) {
1173                         return;
1174                 }
1175
1176                 print "mr: loading config $f\n" if $verbose;
1177                 open($in, "<", $f) || die "mr: open $f: $!\n";
1178         }
1179         my @lines=<$in>;
1180         close $in unless ref $f eq 'GLOB';
1181
1182         my $section;
1183
1184         # Keep track of the current line in the config file;
1185         # when a file is included track the current line from the include.
1186         my $lineno=0;
1187         my $included=undef;
1188
1189         my $line;
1190         my $nextline = sub {
1191                 if ($included) {
1192                         $included--;
1193                 }
1194                 else {
1195                         $included=undef;
1196                         $lineno++;
1197                 }
1198                 $line=shift @lines;
1199                 chomp $line;
1200                 return $line;
1201         };
1202         my $lineerror = sub {
1203                 my $msg=shift;
1204                 if (defined $included) {
1205                         die "mr: $msg at $f line $lineno, included line: $line\n";
1206                 }
1207                 else {
1208                         die "mr: $msg at $f line $lineno\n";
1209                 }
1210         };
1211         my $trusterror = sub {
1212                 my $msg=shift;
1213                 my ($err, $file, $lineno, $url)=@_;
1214         
1215                 if (defined $bootstrap_url) {
1216                         die "mr: $err in untrusted $bootstrap_url line $lineno\n".
1217                                 "(To trust this url, --trust-all can be used; but please use caution;\n".
1218                                 "this can allow arbitrary code execution!)\n";
1219                 }
1220                 else {
1221                         die "mr: $err in untrusted $file line $lineno\n".
1222                                 "(To trust this file, list it in ~/.mrtrust.)\n";
1223                 }
1224         };
1225
1226         while (@lines) {
1227                 $_=$nextline->();
1228
1229                 if (! $trusted && /[[:cntrl:]]/) {
1230                         $trusterror->("illegal control character");
1231                 }
1232
1233                 next if /^\s*\#/ || /^\s*$/;
1234                 if (/^\[([^\]]*)\]\s*$/) {
1235                         $section=$1;
1236
1237                         if (! $trusted) {
1238                                 if (! is_trusted_repo($section) ||
1239                                     $section eq 'ALIAS' ||
1240                                     $section eq 'DEFAULT') {
1241                                         $trusterror->("illegal section \"[$section]\"");
1242                                 }
1243                         }
1244                         $section=expandenv($section) if $trusted;
1245                         if ($section ne 'ALIAS' &&
1246                             ! exists $config{$dir}{$section} &&
1247                             exists $config{$dir}{DEFAULT}) {
1248                                 # copy in defaults
1249                                 $config{$dir}{$section}={ %{$config{$dir}{DEFAULT}} };
1250                         }
1251                 }
1252                 elsif (/^(\w+)\s*=\s*(.*)/) {
1253                         my $parameter=$1;
1254                         my $value=$2;
1255
1256                         # continued value
1257                         while (@lines && $lines[0]=~/^\s(.+)/) {
1258                                 $value.="\n$1";
1259                                 chomp $value;
1260                                 $nextline->();
1261                         }
1262
1263                         if (! $trusted) {
1264                                 # Untrusted files can only contain a few
1265                                 # settings in specific known-safe formats.
1266                                 if ($parameter eq 'checkout') {
1267                                         if (! is_trusted_checkout($value)) {
1268                                                 $trusterror->("illegal checkout command \"$value\"");
1269                                         }
1270                                 }
1271                                 elsif ($parameter eq 'order') {
1272                                         # not interpreted as a command, so
1273                                         # safe.
1274                                 }
1275                                 elsif ($value eq 'true' || $value eq 'false') {
1276                                         # skip=true , deleted=true etc are
1277                                         # safe.
1278                                 }
1279                                 else {
1280                                         $trusterror->("illegal setting \"$parameter=$value\"");
1281                                 }
1282                         }
1283
1284                         if ($parameter eq "include") {
1285                                 print "mr: including output of \"$value\"\n" if $verbose;
1286                                 my @inc=`$value`;
1287                                 if ($?) {
1288                                         print STDERR "mr: include command exited nonzero ($?)\n";
1289                                 }
1290                                 $included += @inc;
1291                                 unshift @lines, @inc;
1292                                 next;
1293                         }
1294
1295                         if (! defined $section) {
1296                                 $lineerror->("parameter ($parameter) not in section");
1297                         }
1298                         if ($section eq 'ALIAS') {
1299                                 $alias{$parameter}=$value;
1300                         }
1301                         elsif ($parameter eq 'lib' or $parameter =~ s/_append$//) {
1302                                 $config{$dir}{$section}{$parameter}.="\n".$value."\n";
1303                         }
1304                         else {
1305                                 $config{$dir}{$section}{$parameter}=$value;
1306                                 if ($parameter =~ /.*_(.*)/) {
1307                                         $knownactions{$1}=1;
1308                                 }
1309                                 else {
1310                                         $knownactions{$parameter}=1;
1311                                 }
1312                                 if ($parameter eq 'chain' &&
1313                                     length $dir && $section ne "DEFAULT") {
1314                                         my $chaindir="$section";
1315                                         if ($chaindir !~ m!^/!) {
1316                                                 $chaindir=$dir.$chaindir;
1317                                         }
1318                                         if (-e "$chaindir/.mrconfig") {
1319                                                 my $ret=system($value);
1320                                                 if ($ret != 0) {
1321                                                         if (($? & 127) == 2) {
1322                                                                 print STDERR "mr: chain test interrupted\n";
1323                                                                 exit 2;
1324                                                         }
1325                                                         elsif ($? & 127) {
1326                                                                 print STDERR "mr: chain test received signal ".($? & 127)."\n";
1327                                                         }
1328                                                 }
1329                                                 else {
1330                                                         push @toload, ["$chaindir/.mrconfig", $chaindir];
1331                                                 }
1332                                         }
1333                                 }
1334                         }
1335                 }
1336                 else {
1337                         $lineerror->("parse error");
1338                 }
1339         }
1340
1341         foreach my $c (@toload) {
1342                 loadconfig(@$c);
1343         }
1344 }
1345
1346 sub startingconfig {
1347         %alias=%config=%configfiles=%knownactions=%loaded=();
1348         my $datapos=tell(DATA);
1349         loadconfig(\*DATA);
1350         seek(DATA,$datapos,0); # rewind
1351 }
1352
1353 sub modifyconfig {
1354         my $f=shift;
1355         # the section to modify or add
1356         my $targetsection=shift;
1357         # fields to change in the section
1358         # To remove a field, set its value to "".
1359         my %changefields=@_;
1360
1361         my @lines;
1362         my @out;
1363
1364         if (-e $f) {
1365                 open(my $in, "<", $f) || die "mr: open $f: $!\n";
1366                 @lines=<$in>;
1367                 close $in;
1368         }
1369
1370         my $formatfield=sub {
1371                 my $field=shift;
1372                 my @value=split(/\n/, shift);
1373
1374                 return "$field = ".shift(@value)."\n".
1375                         join("", map { "\t$_\n" } @value);
1376         };
1377         my $addfields=sub {
1378                 my @blanks;
1379                 while ($out[$#out] =~ /^\s*$/) {
1380                         unshift @blanks, pop @out;
1381                 }
1382                 foreach my $field (sort keys %changefields) {
1383                         if (length $changefields{$field}) {
1384                                 push @out, "$field = $changefields{$field}\n";
1385                                 delete $changefields{$field};
1386                         }
1387                 }
1388                 push @out, @blanks;
1389         };
1390
1391         my $section;
1392         while (@lines) {
1393                 $_=shift(@lines);
1394
1395                 if (/^\s*\#/ || /^\s*$/) {
1396                         push @out, $_;
1397                 }
1398                 elsif (/^\[([^\]]*)\]\s*$/) {
1399                         if (defined $section && 
1400                             $section eq $targetsection) {
1401                                 $addfields->();
1402                         }
1403
1404                         $section=expandenv($1);
1405
1406                         push @out, $_;
1407                 }
1408                 elsif (/^(\w+)\s*=\s(.*)/) {
1409                         my $parameter=$1;
1410                         my $value=$2;
1411
1412                         # continued value
1413                         while (@lines && $lines[0]=~/^\s(.+)/) {
1414                                 shift(@lines);
1415                                 $value.="\n$1";
1416                                 chomp $value;
1417                         }
1418
1419                         if ($section eq $targetsection) {
1420                                 if (exists $changefields{$parameter}) {
1421                                         if (length $changefields{$parameter}) {
1422                                                 $value=$changefields{$parameter};
1423                                         }
1424                                         delete $changefields{$parameter};
1425                                 }
1426                         }
1427
1428                         push @out, $formatfield->($parameter, $value);
1429                 }
1430         }
1431
1432         if (defined $section && 
1433             $section eq $targetsection) {
1434                 $addfields->();
1435         }
1436         elsif (%changefields) {
1437                 push @out, "\n[$targetsection]\n";
1438                 foreach my $field (sort keys %changefields) {
1439                         if (length $changefields{$field}) {
1440                                 push @out, $formatfield->($field, $changefields{$field});
1441                         }
1442                 }
1443         }
1444
1445         open(my $out, ">", $f) || die "mr: write $f: $!\n";
1446         print $out @out;
1447         close $out;     
1448 }
1449
1450 sub dispatch {
1451         my $action=shift;
1452
1453         # actions that do not operate on all repos
1454         if ($action eq 'help') {
1455                 help(@ARGV);
1456         }
1457         elsif ($action eq 'config') {
1458                 config(@ARGV);
1459         }
1460         elsif ($action eq 'register') {
1461                 register(@ARGV);
1462         }
1463         elsif ($action eq 'bootstrap') {
1464                 bootstrap();
1465         }
1466         elsif ($action eq 'remember' ||
1467                $action eq 'offline' ||
1468                $action eq 'online') {
1469                 my @repos=selectrepos;
1470                 action($action, @{$repos[0]}) if @repos;
1471                 exit 0;
1472         }
1473
1474         if (!$jobs || $jobs > 1) {
1475                 mrs($action, selectrepos());
1476         }
1477         else {
1478                 foreach my $repo (selectrepos()) {
1479                         record($repo, action($action, @$repo));
1480                 }
1481         }
1482 }
1483
1484 sub help {
1485         exec($config{''}{DEFAULT}{help}) || die "exec: $!";
1486 }
1487
1488 sub config {
1489         if (@_ < 2) {
1490                 die "mr config: not enough parameters\n";
1491         }
1492         my $section=shift;
1493         if ($section=~/^\//) {
1494                 # try to convert to a path relative to the config file
1495                 my ($dir)=$ENV{MR_CONFIG}=~/^(.*\/)[^\/]+$/;
1496                 $dir=abs_path($dir);
1497                 $dir.="/" unless $dir=~/\/$/;
1498                 if ($section=~/^\Q$dir\E(.*)/) {
1499                         $section=$1;
1500                 }
1501         }
1502         my %changefields;
1503         foreach (@_) {
1504                 if (/^([^=]+)=(.*)$/) {
1505                         $changefields{$1}=$2;
1506                 }
1507                 else {
1508                         my $found=0;
1509                         foreach my $topdir (sort keys %config) {
1510                                 if (exists $config{$topdir}{$section} &&
1511                                     exists $config{$topdir}{$section}{$_}) {
1512                                         print $config{$topdir}{$section}{$_}."\n";
1513                                         $found=1;
1514                                         last if $section eq 'DEFAULT';
1515                                 }
1516                         }
1517                         if (! $found) {
1518                                 die "mr config: $section $_ not set\n";
1519                         }
1520                 }
1521         }
1522         modifyconfig($ENV{MR_CONFIG}, $section, %changefields) if %changefields;
1523         exit 0;
1524 }
1525
1526 sub register {
1527         if ($config_overridden) {
1528                 # Find the directory that the specified config file is
1529                 # located in.
1530                 ($directory)=abs_path($ENV{MR_CONFIG})=~/^(.*\/)[^\/]+$/;
1531         }
1532         else {
1533                 # Find the closest known mrconfig file to the current
1534                 # directory.
1535                 $directory.="/" unless $directory=~/\/$/;
1536                 my $foundconfig=0;
1537                 foreach my $topdir (reverse sort keys %config) {
1538                         next unless length $topdir;
1539                         if ($directory=~/^\Q$topdir\E/) {
1540                                 $ENV{MR_CONFIG}=$configfiles{$topdir};
1541                                 $directory=$topdir;
1542                                 $foundconfig=1;
1543                                 last;
1544                         }
1545                 }
1546                 if (! $foundconfig) {
1547                         $directory=""; # no config file, use builtin
1548                 }
1549         }
1550         if (@ARGV) {
1551                 my $subdir=shift @ARGV;
1552                 if (! chdir($subdir)) {
1553                         print STDERR "mr register: failed to chdir to $subdir: $!\n";
1554                 }
1555         }
1556
1557         $ENV{MR_REPO}=getcwd();
1558         my $command=findcommand("register", $ENV{MR_REPO}, $directory, 'DEFAULT', 0);
1559         if (! defined $command) {
1560                 die "mr register: unknown repository type\n";
1561         }
1562
1563         $ENV{MR_REPO}=~s/.*\/(.*)/$1/;
1564         $command="set -e; ".$config{$directory}{DEFAULT}{lib}."\n".
1565                 "my_action(){ $command\n }; my_action ".
1566                 join(" ", map { s/\\/\\\\/g; s/"/\"/g; '"'.$_.'"' } @ARGV);
1567         print "mr register: running >>$command<<\n" if $verbose;
1568         exec($command) || die "exec: $!";
1569 }
1570
1571 sub bootstrap {
1572         my $url=shift @ARGV;
1573         my $dir=shift @ARGV || ".";
1574         
1575         if (! defined $url || ! length $url) {
1576                 die "mr: bootstrap requires url\n";
1577         }
1578         
1579         # Download the config file to a temporary location.
1580         eval q{use File::Temp};
1581         die $@ if $@;
1582         my $tmpconfig=File::Temp->new();
1583         my @curlargs = ("curl", "-A", "mr", "-L", "-s", $url, "-o", $tmpconfig);
1584         push(@curlargs, "-k") if $insecure;
1585         my $curlstatus = system(@curlargs);
1586         die "mr bootstrap: invalid SSL certificate for $url (consider -k)\n" if $curlstatus >> 8 == 60;
1587         die "mr bootstrap: download of $url failed\n" if $curlstatus != 0;
1588
1589         if (! -e $dir) {
1590                 system("mkdir", "-p", $dir);
1591         }
1592         chdir($dir) || die "chdir $dir: $!";
1593
1594         # Special case to handle checkout of the "." repo, which 
1595         # would normally be skipped.
1596         my $topdir=abs_path(".")."/";
1597         my @repo=($topdir, $topdir, ".");
1598         loadconfig($tmpconfig, $topdir, $url);
1599         record(\@repo, action("checkout", @repo, 1))
1600                 if exists $config{$topdir}{"."}{"checkout"};
1601
1602         if (-e ".mrconfig") {
1603                 print STDERR "mr bootstrap: .mrconfig file already exists, not overwriting with $url\n";
1604         }
1605         else {
1606                 eval q{use File::Copy};
1607                 die $@ if $@;
1608                 move($tmpconfig, ".mrconfig") || die "rename: $!";
1609         }
1610
1611         # Reload the config file (in case we got a different version)
1612         # and checkout everything else.
1613         startingconfig();
1614         loadconfig(".mrconfig");
1615         dispatch("checkout");
1616         @skipped=grep { abs_path($_) ne abs_path($topdir) } @skipped;
1617         showstats("bootstrap");
1618         exitstats();
1619 }
1620
1621 # alias expansion and command stemming
1622 sub expandaction {
1623         my $action=shift;
1624         if (exists $alias{$action}) {
1625                 $action=$alias{$action};
1626         }
1627         if (! exists $knownactions{$action}) {
1628                 my @matches = grep { /^\Q$action\E/ }
1629                         keys %knownactions, keys %alias;
1630                 if (@matches == 1) {
1631                         $action=$matches[0];
1632                 }
1633                 elsif (@matches == 0) {
1634                         die "mr: unknown action \"$action\" (known actions: ".
1635                                 join(", ", sort keys %knownactions).")\n";
1636                 }
1637                 else {
1638                         die "mr: ambiguous action \"$action\" (matches: ".
1639                                 join(", ", @matches).")\n";
1640                 }
1641         }
1642         return $action;
1643 }
1644
1645 sub find_mrconfig {
1646         my $dir=getcwd();
1647         while (length $dir) {
1648                 if (-e "$dir/.mrconfig") {
1649                         return "$dir/.mrconfig";
1650                 }
1651                 $dir=~s/\/[^\/]*$//;
1652         }
1653         return "$ENV{HOME}/.mrconfig";
1654 }
1655
1656 sub getopts {
1657         my @saved=@ARGV;
1658         Getopt::Long::Configure("bundling", "no_permute");
1659         my $result=GetOptions(
1660                 "d|directory=s" => sub { $directory=abs_path($_[1]) },
1661                 "c|config=s" => sub { $ENV{MR_CONFIG}=$_[1]; $config_overridden=1 },
1662                 "p|path" => sub { }, # now default, ignore
1663                 "v|verbose" => \$verbose,
1664                 "q|quiet" => \$quiet,
1665                 "s|stats" => \$stats,
1666                 "k|insecure" => \$insecure,
1667                 "i|interactive" => \$interactive,
1668                 "n|no-recurse:i" => \$max_depth,
1669                 "j|jobs:i" => \$jobs,
1670                 "t|trust-all" => \$trust_all,
1671         );
1672         if (! $result || @ARGV < 1) {
1673                 die("Usage: mr [options] action [params ...]\n".
1674                     "(Use mr help for man page.)\n");
1675         }
1676         
1677         $ENV{MR_SWITCHES}="";
1678         foreach my $option (@saved) {
1679                 last if $option eq $ARGV[0];
1680                 $ENV{MR_SWITCHES}.="$option ";
1681         }
1682 }
1683
1684 sub init {
1685         $SIG{INT}=sub {
1686                 print STDERR "mr: interrupted\n";
1687                 exit 2;
1688         };
1689         
1690         # This can happen if it's run in a directory that was removed
1691         # or other strangeness.
1692         if (! defined $directory) {
1693                 die("mr: failed to determine working directory\n");
1694         }
1695         # Make sure MR_CONFIG is an absolute path, but don't use abs_path since
1696         # the config file might be a symlink to elsewhere, and the directory it's
1697         # in is significant.
1698         if ($ENV{MR_CONFIG} !~ /^\//) {
1699                 $ENV{MR_CONFIG}=getcwd()."/".$ENV{MR_CONFIG};
1700         }
1701         # Try to set MR_PATH to the path to the program.
1702         eval {
1703                 use FindBin qw($Bin $Script);
1704                 $ENV{MR_PATH}=$Bin."/".$Script;
1705         };
1706 }
1707         
1708 sub exitstats {
1709         if (@failed) {
1710                 exit 1;
1711         }
1712         else {
1713                 exit 0;
1714         }
1715 }
1716
1717 sub main {
1718         getopts();
1719         init();
1720
1721         startingconfig();
1722         loadconfig("$ENV{HOME}/.mrconfig");
1723         loadconfig($ENV{MR_CONFIG});
1724         #use Data::Dumper; print Dumper(\%config);
1725         
1726         my $action=expandaction(shift @ARGV);
1727         dispatch($action);
1728
1729         showstats($action);
1730         exitstats();
1731 }
1732
1733 # Finally, some useful actions that mr knows about by default.
1734 # These can be overridden in ~/.mrconfig.
1735 __DATA__
1736 [ALIAS]
1737 co = checkout
1738 ci = commit
1739 ls = list
1740
1741 [DEFAULT]
1742 order = 10
1743 lib =
1744         error() {
1745                 echo "mr: $@" >&2
1746                 exit 1
1747         }
1748         warning() {
1749                 echo "mr (warning): $@" >&2
1750         }
1751         info() {
1752                 echo "mr: $@" >&2
1753         }
1754         hours_since() {
1755                 if [ -z "$1" ] || [ -z "$2" ]; then
1756                         error "mr: usage: hours_since action num"
1757                 fi
1758                 for dir in .git .svn .bzr CVS .hg _darcs _FOSSIL_; do
1759                         if [ -e "$MR_REPO/$dir" ]; then
1760                                 flagfile="$MR_REPO/$dir/.mr_last$1"
1761                                 break
1762                         fi
1763                 done
1764                 if [ -z "$flagfile" ]; then
1765                         error "cannot determine flag filename"
1766                 fi
1767                 delta=`perl -wle 'print -f shift() ? int((-M _) * 24) : 9999' "$flagfile"`
1768                 if [ "$delta" -lt "$2" ]; then
1769                         return 1
1770                 else
1771                         touch "$flagfile"
1772                         return 0
1773                 fi
1774         }
1775         is_bzr_checkout() {
1776                 LANG=C bzr info | egrep -q '^Checkout'
1777         }
1778         lazy() {
1779                 if [ "$MR_ACTION" = checkout ] || [ -d "$MR_REPO" ]; then
1780                         return 1
1781                 else
1782                         return 0
1783                 fi
1784         }
1785
1786 svn_test = test -d "$MR_REPO"/.svn
1787 git_test = test -d "$MR_REPO"/.git
1788 bzr_test = test -d "$MR_REPO"/.bzr
1789 cvs_test = test -d "$MR_REPO"/CVS
1790 hg_test  = test -d "$MR_REPO"/.hg
1791 darcs_test = test -d "$MR_REPO"/_darcs
1792 fossil_test = test -f "$MR_REPO"/_FOSSIL_
1793 git_bare_test =
1794         test -d "$MR_REPO"/refs/heads && test -d "$MR_REPO"/refs/tags &&
1795         test -d "$MR_REPO"/objects && test -f "$MR_REPO"/config &&
1796         test "`GIT_CONFIG="$MR_REPO"/config git config --get core.bare`" = true
1797
1798 svn_update = svn update "$@"
1799 git_update = git pull "$@"
1800 bzr_update = 
1801         if is_bzr_checkout; then
1802                 bzr update "$@"
1803         else
1804                 bzr merge --pull "$@"
1805         fi
1806 cvs_update = cvs update "$@"
1807 hg_update  = hg pull "$@" && hg update "$@"
1808 darcs_update = darcs pull -a "$@"
1809 fossil_update = fossil pull "$@"
1810
1811 svn_status = svn status "$@"
1812 git_status = git status -s "$@" || true
1813 bzr_status = bzr status --short "$@"
1814 cvs_status = cvs status "$@"
1815 hg_status  = hg status "$@"
1816 darcs_status = darcs whatsnew -ls "$@" || true
1817 fossil_status = fossil changes "$@"
1818
1819 svn_commit = svn commit "$@"
1820 git_commit = git commit -a "$@" && git push --all
1821 bzr_commit = 
1822         if is_bzr_checkout; then
1823                 bzr commit "$@"
1824         else
1825                 bzr commit "$@" && bzr push
1826         fi
1827 cvs_commit = cvs commit "$@"
1828 hg_commit  = hg commit -m "$@" && hg push
1829 darcs_commit = darcs record -a -m "$@" && darcs push -a
1830 fossil_commit = fossil commit "$@"
1831
1832 git_record = git commit -a "$@"
1833 bzr_record =
1834         if is_bzr_checkout; then
1835                 bzr commit --local "$@"
1836         else
1837                 bzr commit "$@"
1838         fi
1839 hg_record  = hg commit -m "$@"
1840 darcs_record = darcs record -a -m "$@"
1841 fossil_record = fossil commit "$@"
1842
1843 svn_push = :
1844 git_push = git push "$@"
1845 bzr_push = bzr push "$@"
1846 cvs_push = :
1847 hg_push = hg push "$@"
1848 darcs_push = darcs push -a "$@"
1849 fossil_push = fossil push "$@"
1850
1851 svn_diff = svn diff "$@"
1852 git_diff = git diff "$@"
1853 bzr_diff = bzr diff "$@"
1854 cvs_diff = cvs diff "$@"
1855 hg_diff  = hg diff "$@"
1856 darcs_diff = darcs diff -u "$@"
1857 fossil_diff = fossil diff "$@"
1858
1859 svn_log = svn log "$@"
1860 git_log = git log "$@"
1861 bzr_log = bzr log "$@"
1862 cvs_log = cvs log "$@"
1863 hg_log  = hg log "$@"
1864 darcs_log = darcs changes "$@"
1865 git_bare_log = git log "$@"
1866 fossil_log = fossil timeline "$@"
1867
1868 run = "$@"
1869
1870 svn_register =
1871         url=`LC_ALL=C svn info . | grep -i '^URL:' | cut -d ' ' -f 2`
1872         if [ -z "$url" ]; then
1873                 error "cannot determine svn url"
1874         fi
1875         echo "Registering svn url: $url in $MR_CONFIG"
1876         mr -c "$MR_CONFIG" config "`pwd`" checkout="svn co '$url' '$MR_REPO'"
1877 git_register = 
1878         url="`LC_ALL=C git config --get remote.origin.url`" || true
1879         if [ -z "$url" ]; then
1880                 error "cannot determine git url"
1881         fi
1882         echo "Registering git url: $url in $MR_CONFIG"
1883         mr -c "$MR_CONFIG" config "`pwd`" checkout="git clone '$url' '$MR_REPO'"
1884 bzr_register =
1885         url="`LC_ALL=C bzr info . | egrep -i 'checkout of branch|parent branch' | awk '{print $NF}'`"
1886         if [ -z "$url" ]; then
1887                 error "cannot determine bzr url"
1888         fi
1889         echo "Registering bzr url: $url in $MR_CONFIG"
1890         mr -c "$MR_CONFIG" config "`pwd`" checkout="bzr branch '$url' '$MR_REPO'"
1891 cvs_register =
1892         repo=`cat CVS/Repository`
1893         root=`cat CVS/Root`
1894         if [ -z "$root" ]; then
1895                 error "cannot determine cvs root"
1896                 fi
1897         echo "Registering cvs repository $repo at root $root"
1898         mr -c "$MR_CONFIG" config "`pwd`" checkout="cvs -d '$root' co -d '$MR_REPO' '$repo'"
1899 hg_register = 
1900         url=`hg showconfig paths.default`
1901         echo "Registering mercurial repo url: $url in $MR_CONFIG"
1902         mr -c "$MR_CONFIG" config "`pwd`" checkout="hg clone '$url' '$MR_REPO'"
1903 darcs_register = 
1904         url=`cat _darcs/prefs/defaultrepo`
1905         echo "Registering darcs repository $url in $MR_CONFIG"
1906         mr -c "$MR_CONFIG" config "`pwd`" checkout="darcs get '$url' '$MR_REPO'"
1907 git_bare_register = 
1908         url="`LC_ALL=C GIT_CONFIG=config git config --get remote.origin.url`" || true
1909         if [ -z "$url" ]; then
1910                 error "cannot determine git url"
1911         fi
1912         echo "Registering git url: $url in $MR_CONFIG"
1913         mr -c "$MR_CONFIG" config "`pwd`" checkout="git clone --bare '$url' '$MR_REPO'"
1914 fossil_register =
1915         url=`fossil remote-url`
1916         repo=`fossil info | grep repository | sed -e 's/repository:*.//g' -e 's/ //g'`
1917         echo "Registering fossil repository $url in $MR_CONFIG"
1918         mr -c "$MR_CONFIG" config "`pwd`" checkout="mkdir -p '$MR_REPO' && cd '$MR_REPO' && fossil open '$repo'"
1919
1920 svn_trusted_checkout = svn co $url $repo
1921 svn_alt_trusted_checkout = svn checkout $url $repo
1922 git_trusted_checkout = git clone $url $repo
1923 bzr_trusted_checkout = bzr checkout|clone|branch|get $url $repo
1924 # cvs: too hard
1925 hg_trusted_checkout = hg clone $url $repo
1926 darcs_trusted_checkout = darcs get $url $repo
1927 git_bare_trusted_checkout = git clone --bare $url $repo
1928 # fossil: messy to do
1929
1930
1931 help =
1932         case `uname -s` in
1933                 SunOS)
1934                 SHOWMANFILE="man -f"
1935                 ;;
1936                 Darwin)
1937                 SHOWMANFILE="man"
1938                 ;;
1939                 *)
1940                 SHOWMANFILE="man -l"
1941                 ;;
1942         esac
1943         if [ ! -e "$MR_PATH" ]; then
1944                 error "cannot find program path"
1945         fi
1946         tmp=$(mktemp -t mr.XXXXXXXXXX) || error "mktemp failed"
1947         trap "rm -f $tmp" exit
1948         pod2man -c mr "$MR_PATH" > "$tmp" || error "pod2man failed"
1949         $SHOWMANFILE "$tmp" || error "man failed"
1950 list = true
1951 config = 
1952 bootstrap = 
1953
1954 online =
1955         if [ -s ~/.mrlog ]; then
1956                 info "running offline commands"
1957                 mv -f ~/.mrlog ~/.mrlog.old
1958                 if ! sh -e ~/.mrlog.old; then
1959                         error "offline command failed; left in ~/.mrlog.old"
1960                 fi
1961                 rm -f ~/.mrlog.old
1962         else
1963                 info "no offline commands to run"
1964         fi
1965 offline =
1966         umask 077
1967         touch ~/.mrlog
1968         info "offline mode enabled"
1969 remember =
1970         info "remembering command: 'mr $@'"
1971         command="mr -d '$(pwd)' $MR_SWITCHES"
1972         for w in "$@"; do
1973                 command="$command '$w'"
1974         done
1975         if [ ! -e ~/.mrlog ] || ! grep -q -F "$command" ~/.mrlog; then
1976                 echo "$command" >> ~/.mrlog
1977         fi
1978
1979 ed = echo "A horse is a horse, of course, of course.."
1980 T = echo "I pity the fool."
1981 right = echo "Not found."
1982
1983 # vim:sw=8:sts=0:ts=8:noet
1984 # Local variables:
1985 # indent-tabs-mode: t
1986 # cperl-indent-level: 8
1987 # End: