[BACK]Return to clusterstatus.pl CVS log [TXT] [DIR] Up to [LON-CAPA] / loncom / cgi

Diff for /loncom/cgi/clusterstatus.pl between versions 1.7 and 1.10

version 1.7, 2003/02/25 21:56:48 version 1.10, 2003/07/31 16:07:47
Line 2 Line 2
 $|=1;  $|=1;
 # The LearningOnline Network with CAPA  # The LearningOnline Network with CAPA
 # Cluster Status  # Cluster Status
 # (Versions  #
 # (Running loncron  # $Id$
 # 09/06/01 Gerd Kortemeyer)  
 # 02/18/02,02/19/02 Gerd Kortemeyer)  
   
 use lib '/home/httpd/lib/perl/';  use lib '/home/httpd/lib/perl/';
 use LONCAPA::Configuration;  use LONCAPA::Configuration;
Line 14  use LWP::UserAgent(); Line 12  use LWP::UserAgent();
 use HTTP::Headers;  use HTTP::Headers;
 use IO::File;  use IO::File;
   
   my %host=();
   my $oneday=60*60*24;
   
   my %connectionstatus=();
   my %perlvar=();
   
   my $mode;
   
   sub select_form {
       my ($def,$name,%hash) = @_;
       my $selectform = "<select name=\"$name\" size=\"1\">\n";
       foreach (sort keys %hash) {
           $selectform.="<option value=\"$_\" ".
               ($_ eq $def ? 'selected' : '').
                   ">".$hash{$_}."</option>\n";
       }
       $selectform.="</select>";
       return $selectform;
   }
   
   
   sub key {
       my ($local,$url)=@_;
       my $key=$local.'_'.$url;
       $key=~s/\W/\_/gs;
       return $key;
   }
   
   sub hidden {
       my ($name,$value)=@_;
       print "\n<input type='hidden' name='$name' value='$value' />";
   }
   
   sub request {
       my ($local,$url,$cachetime)=@_;
       my $key=&key($local,$url);
       my $reply='';
       if ($FORM{$key.'_time'}) {
    if ((time-$FORM{$key.'_time'})<$cachetime) {
       $reply=$FORM{$key};
       &hidden($key.'_time',$FORM{$key.'_time'});
       &hidden($key.'_fromcache',1);
    }
       }
       unless ($reply) {
    unless ($hostname{$local}) { 
       $reply='local_unknown'; 
    } else {
   
       my $ua=new LWP::UserAgent(timeout => 20);
       
       my $request=new HTTP::Request('GET',
     "http://".$hostname{$local}.$url);
       $request->authorization_basic('lonadm','litelite');
   
       my $response=$ua->request($request);
   
       unless ($response->is_success) { 
    $reply='local_error'; 
       } else {
    $reply=$response->content;
    chomp($reply);
       }
    }
    &hidden($key.'_time',time);
       }
       &hidden($key,$reply);
       return $reply;
   }
   
   # ============================================= Are local and remote connected?
 sub connected {  sub connected {
     my ($local,$remote)=@_;      my ($local,$remote)=@_;
     $local=~s/\W//g;      $local=~s/\W//g;
     $remote=~s/\W//g;      $remote=~s/\W//g;
   
     unless ($hostname{$local}) { return 'local_unknown'; }  
     unless ($hostname{$remote}) { return 'remote_unknown'; }      unless ($hostname{$remote}) { return 'remote_unknown'; }
       my $url='/cgi-bin/ping.pl?'.$remote;
     my $ua=new LWP::UserAgent;  #
       # Slowly phase this in: if not cached, only do 10 percent of the cases 
     my $request=new HTTP::Request('GET',  #
       "http://".$hostname{$local}.'/cgi-bin/ping.pl?'.$remote);      unless ($FORM{&key($local,$url)}) {
    unless (rand>0.9) { return 'not_yet'; }
     my $response=$ua->request($request);      }
   #
     unless ($response->is_success) { return 'local_error'; }  # Actually do the query
   #
     my $reply=$response->content;      &statuslist($local,'connecting '.$remote);
       my $reply=&request($local,$url,3600);
     $reply=(split("\n",$reply))[0];      $reply=(split("\n",$reply))[0];
     $reply=~s/\W//g;      $reply=~s/\W//g;
     if ($reply ne $remote) { return $reply; }      if ($reply ne $remote) { return $reply; }
     return 'ok';      return 'ok';
 }  }
   # ============================================================ Get a reply hash
   
   sub replyhash {
       my %returnhash=();
       foreach (split(/\&/,&request(@_))) {
    my ($name,$value)=split(/\=/,$_);
    if ($name) {
       unless ($value) { $value=''; }
       $returnhash{$name}=$value;
    }
       }
       return %returnhash;
   }
   
   # ================================================================ Link to host
   
   sub otherwindow {
       my ($local,$url,$label)=@_;
       return
     " <a href='http://$hostname{$local}$url' target='newwin$local'>$label</a> ";
   }
   
   sub login {
       my $local=shift;
       print &otherwindow($local,'/adm/login?domain='.$perlvar{'lonDefDomain'},
          'Login');
   }
   
   sub runloncron {
       my $local=shift;
       print &otherwindow($local,'/cgi-bin/loncron.pl','Run loncron');
   }
   
   sub loncron {
       my $local=shift;
       print &otherwindow($local,'/lon-status','loncron');
   }
   
   sub lonc {
       my $local=shift;
       print &otherwindow($local,'/lon-status/loncstatus.txt','lonc');
   }
   
   sub lond {
       my $local=shift;
       print &otherwindow($local,'/lon-status/londstatus.txt','lond');
   }
   
   sub users {
       my $local=shift;
       print &otherwindow($local,'/cgi-bin/userstatus.pl','Users');
   }
   
   sub versions {
       my $local=shift;
       print &otherwindow($local,'/cgi-bin/lonversions.pl','Versions');
   }
   
   sub server {
       my $local=shift;
       print &otherwindow($local,'/server-status','Server Status');
   }
   
   # ========================================================== Show server status
   
   sub serverstatus {
       my $local=shift;
       print (<<ENDHEADER);
   <table width="100%" bgcolor="#225522" cellspacing="2" cellpadding="2" border="0">
   <tr><td bgcolor="#BBDDBB"><font color="#225522" face="arial"><b>
   $local $hostdom{$local}</b> <tt>($hostname{$local}; $hostrole{$local})</tt>
   <br />$domaindescription{$hostdom{$local}}
   </font></th></tr><tr><td bgcolor="#DDDDBB"><font color="#225522">
   ENDHEADER
       &login($local);&server($local);&users($local);&versions($local);
       &loncron($local);&lond($local);&lonc($local);&runloncron($local);
       print "</font></td></tr><tr><td bgcolor='#BBBBBB'>";
   # load
       if (($host{$local.'_load_doomed'}>0.5) || ($mode eq 'load_doomed')) {
    print "<br />Load: ".$host{$local.'_load'}
       }
   # users
       if (($host{$local.'_users_doomed'}>10) || ($mode eq 'users_doomed')) {
    print "<br />Active Users: ".$host{$local.'_users'}
       }
   
   # checkrpms
       if ($host{$local.'_checkrpms'}) {
    print "<br />RPMs: ".$host{$local.'_checkrpms'}
       }
   # mysql
       if ($host{$local.'_mysql'}) {
    print "<br />MySQL Database: ".$host{$local.'_mysql'}
       }
       print "</td></tr></table><br />";
   }
   
   # =========================================================== Doomedness sorted
   
   sub doomedness {
       my $crit=shift;
       my %alldoomed=();
       my @allhosts=();
       foreach (keys %host) {
    if ($_=~/^(\w+)\_$crit$/) {
       if ($host{$_}) {
    push (@allhosts,$1);
    $alldoomed{$1}=$host{$_};
       }
    }
       }
       return sort { $alldoomed{$b} <=> $alldoomed{$a} } @allhosts;
   }
   
    # ====================================================================== Status
   sub statuslist {
       my ($local,$what)=@_;
       print 
   "<script>document.prgstat.progress.value='Testing $local ($hostname{$local}): $what';</script>\n";
   }
   
   #
   # Main program
   #
   # ========================================================= Get form parameters
   my $buffer;
   
   read(STDIN, $buffer, $ENV{'CONTENT_LENGTH'});
   my @pairs=split(/&/,$buffer);
   my $pair; my $name; my $value;
   undef %FORM;
   %FORM=();
   foreach $pair (@pairs) {
       ($name,$value) = split(/=/,$pair);
       $value =~ tr/+/ /;
       $value =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;
       $FORM{$name}=$value;
   } 
   
   $buffer=$ENV{'QUERY_STRING'};
   @pairs=split(/&/,$buffer);
   foreach $pair (@pairs) {
       ($name,$value) = split(/=/,$pair);
       $value =~ tr/+/ /;
       $value =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;
       $FORM{$name}=$value;
   } 
   
   # ====================================================== Determine refresh rate
   
   my $refresh=(($FORM{'refresh'}=~/^\d+$/)?$FORM{'refresh'}:60);
   if ($refresh<30) { $refresh=30; }
   my $starttime=time;
   
   # ============================================================== Determine mode
   
   my %modes=('trouble' => 'Trouble',
      'users_doomed' => 'Doomed: Users',
      'loncron_doomed' => 'Doomed: General (loncron)',
      'mysql_doomed' => 'Doomed: Database (mysql)',
      'notconnected_doomed' => 'Doomed: Connections',
      'checkrpms_doomed' => 'Doomed: RPMs',
      'load_doomed' => 'Doomed: Load',
      'unresponsive_doomed' => 'Doomed: Status could not be determined',
      'users' => 'User Report',
      'connections' => 'Connections Matrix');
   
   $mode=$FORM{'mode'};
   unless ($modes{$mode}) { $mode='trouble'; }
   # ================================================================ Send Headers
 print "Content-type: text/html\n\n".  print "Content-type: text/html\n\n".
       "<html><body bgcolor=#FFFFFF>\n";      "<html><body bgcolor='#FFFFFF'>\n";
 # -------------------- Read loncapa.conf (and by default, loncapa_apache.conf).  # -------------------- Read loncapa.conf (and by default, loncapa_apache.conf).
 my $perlvarref=LONCAPA::Configuration::read_conf('loncapa.conf');  my $perlvarref=LONCAPA::Configuration::read_conf('loncapa.conf');
 my %perlvar=%{$perlvarref};  %perlvar=%{$perlvarref};
 undef $perlvarref; # remove since sensitive and not needed  undef $perlvarref; # remove since sensitive and not needed
 delete $perlvar{'lonReceipt'}; # remove since sensitive and not needed  delete $perlvar{'lonReceipt'}; # remove since sensitive and not needed
 delete $perlvar{'lonSqlAccess'}; # remove since sensitive and not needed  delete $perlvar{'lonSqlAccess'}; # remove since sensitive and not needed
Line 67  delete $perlvar{'lonSqlAccess'}; # remov Line 304  delete $perlvar{'lonSqlAccess'}; # remov
        }         }
     }      }
 }  }
   # ------------------------------------------------------------ Read domain file
 print   {
 "<h1>Cluster Status</h1>";      my $fh=IO::File->new($perlvar{'lonTabDir'}.'/domain.tab');
 print "Please be patient while building cluster status ...<p>\n";      %domaindescription = ();
 $table='';      %domain_auth_def = ();
       %domain_auth_arg_def = ();
 $table.="<table border=2><tr><th rowspan=2>From (local)</th>".      if ($fh) {
 "<th colspan=$total>To (remote)</th></tr><tr>";         while (<$fh>) {
 foreach $remote (sort keys %hostname) {             next if (/^(\#|\s*$)/);
    $table.="<th";             chomp;
    if ($remote eq $perlvar{'lonHostID'}) {             my ($domain, $domain_description, $def_auth, $def_auth_arg)
        $table.=" bgcolor=#CCFFBB";                 = split(/:/,$_,4);
    } else {             $domain_auth_def{$domain}=$def_auth;
        if ($libserv{$remote}) { $table.=" bgcolor=#FFFF99"; }             $domain_auth_arg_def{$domain}=$def_auth_arg;
    }             $domaindescription{$domain}=$domain_description;
    $table.=         }
  "><a href=http://".$hostname{$remote}."/lon-status/>$remote</a></th>";      }
 }  }
 $table.="</tr>";  
   
   print "<img src='/adm/lonIcons/lonlogos.gif' align='right' /><h1>LON-CAPA Cluster Status ".localtime()."</h1>";
   print "<form name='prgstat'>\n".
   "<input type='text' name='progress' value='Starting ...' size='100' /><br />".
   "</form>\n";;
   print "<form name='status' method='post'>\n";
   print 'Choose next report: '.&select_form($mode,'mode',%modes).'<hr />';
   &hidden('refresh',$refresh);
   
   # ==================================================== Main Loop over all Hosts
   
 foreach $local (sort keys %hostname) {  foreach $local (sort keys %hostname) {
    print "Checking $local: ";      $host{$local.'_unresponsive_doomed'}=0;
    $table.="<tr><td";  # -- Check general status
    if ($local eq $perlvar{'lonHostID'}) {      &statuslist($local,'General');
        $table.=" bgcolor=#CCFFBB";      my %loncron=&replyhash($local,'/lon-status/loncron_simple.txt',1200);
    } else {      if (defined($loncron{'local_error'})) {
        if ($libserv{$local}) { $table.=" bgcolor=#FFFF99"; }   $host{$local.'_loncron'}='Could not determine.';
    }   $host{$local.'_unresponsive_doomed'}++;
    $table.=      } else {
  "><b><a href=http://".$hostname{$local}."/lon-status/>$local</a></b><br>".   if ((time-$loncron{'time'})>$oneday) {
      $hostrole{$local}.' '.$hostdom{$local}.'<br>'.      $host{$local.'_loncron'}='Stale.';
      "<tt><a href=http://".$hostname{$local}."/server-status/>".      $host{$local.'_unresponsive_doomed'}++;
       $hostname{$local}."</a></tt><br>".   } else {
      "<a href=http://".$hostname{$local}."/cgi-bin/loncron.pl>New Report</a>".   }
      "</td>";      }
    foreach $remote (sort keys %hostname) {  # -- Check user status
        $status=&connected($local,$remote);      &statuslist($local,'Users');
        if ($status eq 'ok') {      my %userstatus=&replyhash($local,'/cgi-bin/userstatus.pl?simple',600);
    $table.="<td";      if (defined($userstatus{'local_error'})) {
            if ($libserv{$remote}) {   $host{$local.'_userstatus'}='Could not determine.';
        if ($libserv{$local}) {   $host{$local.'_unresponsive_doomed'}++;
    $table.=" bgcolor=#FFFF44";      } else {
                } else {   $host{$local.'_users_doomed'}=$userstatus{'Active'};
                    $table.=" bgcolor=#FFFF99";   $host{$local.'_users'}=$userstatus{'Active'};
                }   my ($sload,$mload,$lload)=split(/ /,$userstatus{'loadavg'});
            } elsif ($libserv{$local}) {   $host{$local.'_load_doomed'}=$mload;
                $table.=" bgcolor=#FFFF99";   $host{$local.'_load'}=$userstatus{'loadavg'};
            }      }
            $table.="><b><font color=#00FF00>OK</font></b></td>";  # -- Check mysql status
            print ".";      &statuslist($local,'Database');
        } else {      my %mysql=&replyhash($local,'/lon-status/mysql.txt',3600);
            print "X";      if (defined($mysql{'local_error'})) {
            $table.="<td><b><font color=#FF0000>".$status."</font></b><br>".   $host{$local.'_mysql'}='Could not determine.';
      "<a href=http://".$hostname{$local}.   $host{$local.'_unresponsive_doomed'}++;
  "/lon-status/loncstatus.txt>lonc</a>".      } else {
     " <a href=http://".$hostname{$remote}.   if ((time-$mysql{'time'})>(7*$oneday)) {
       "/lon-status/londstatus.txt>lond</a>".      if ($hostrole{$local} eq 'library') {
             "</td>";   $host{$local.'_mysql'}='Stale.';
        }   $host{$local.'_mysql_doomed'}=1;
    }      }
    $table.="</tr>\n";      if ($mysql{'mysql'} eq 'defunct') {
     print "<br>\n";   $host{$local.'_mysql'}='Defunct (maybe stale).';
 }   $host{$local.'_mysql_doomed'}=2;
 $table.="</table>";      }
 print $table;   } elsif ($mysql{'mysql'} eq 'defunct') {
 print "</body></html>";      $host{$local.'_mysql'}='Defunct.';
       $host{$local.'_mysql_doomed'}=3;
    }
       }
   # -- Check rpm status
       &statuslist($local,'RPMs');
       my %checkrpms=&replyhash($local,'/lon-status/checkrpms.txt',7200);
       if (defined($checkrpms{'local_error'})) {
    $host{$local.'_checkrpms'}='Could not determine.';
    $host{$local.'_unresponsive_doomed'}++;
       } else {
    if ((time-$checkrpms{'time'})>(4*$oneday)) {
       $host{$local.'_checkrpms'}='Stale.';
       $host{$local.'_checkrpms_doomed'}=50;
       $host{$local.'_unresponsive_doomed'}++;
    } elsif ($checkrpms{'status'} eq 'fail') {
       $host{$local.'_checkrpms'}='Could not checked RPMs.';
       $host{$local.'_checkrpms_doomed'}=100;
    } elsif ($checkrpms{'rpmcount'}) {
       $host{$local.'_checkrpms'}='Outdated RPMs: '.
    $checkrpms{'rpmcount'};
       $host{$local.'_checkrpms_doomed'}=$checkrpms{'rpmcount'};
    }
       }
   # -- Check connections
       &statuslist($local,'Connections');
       $host{$local.'_notconnected'}='';
       $host{$local.'_notconnected_doomed'}=0;
       foreach $remote (sort keys %hostname) {
    my $status=&connected($local,$remote);
    $connectionstatus{$local.'_TO_'.$remote}=$status;
    unless (($status eq 'ok') || ($status eq 'not_yet')) {
       $host{$local.'_notconnected'}.=' '.$remote;
       $host{$local.'_notconnected_doomed'}++;
    }
       }
   # =============================================================== End Mail Loop
   }
   &statuslist('Done.');
   # ====================================================================== Output
       if ($mode=~/\_doomed$/) {
   # Output by doomedness
    foreach (&doomedness($mode)) {
       &serverstatus($_);
    }
       } elsif ($mode eq 'connections') {
    print 
          "<table cellspacing='3' cellpadding='3' border='0' bgcolor='#225522'>".
          "<tr><td bgcolor='#225522'>&nbsp;</td>";
    foreach (sort keys %hostname) {
       my $remote=$_;
       print '<th bgcolor="#DDDDBB">'.$remote.'</th>';
    }
    print "</tr>\n";
   # connection matrix
    foreach (sort keys %hostname) {
       my $local=$_;
       print '<tr><th bgcolor="#DDDDBB">'.$local.'</th>';
       foreach (sort keys %hostname) {
    my $remote=$_;
    if ($connectionstatus{$local.'_TO_'.$remote} eq 'not_yet') {
       print '<td bgcolor="#FFFFFF">&nbsp;</td>';
    } elsif ($connectionstatus{$local.'_TO_'.$remote} eq 'ok') {
       print 
   '<td bgcolor="#BBDDBB"><font color="#225522" face="arial"><b>ok</b></td>';
    } else {
       print 
     '<td bgcolor="#DDBBBB"><font color="#552222" size="-2">'.
     $connectionstatus{$local.'_TO_'.$remote}.'<br />';
       &lonc($local); &lond($remote);
       print '</td>';
    }
       }
       print "</tr>\n";
    }
       }
       print "</table>";
   # ============================================================== Close, refresh
   print "</form><script>";
   $runtime=time-$starttime;
   if ($runtime>=$refresh) {
       print 'document.status.submit();';
   } else {
       $refreshtime=int(1000*($refresh-$runtime));
       print "setTimeout('document.status.submit()',$refreshtime);";
   }
   print "</script></body></html>";
   exit 0;
Removed from v.1.7  
changed lines
  Added in v.1.10

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>