source: moodle/trunk/fuentes/admin/tool/behat/cli/run.php @ 1331

Last change on this file since 1331 was 1331, checked in by jrpelegrina, 3 years ago

Updated to moodle 3.0.3

File size: 13.1 KB
Line 
1<?php
2// This file is part of Moodle - http://moodle.org/
3//
4// Moodle is free software: you can redistribute it and/or modify
5// it under the terms of the GNU General Public License as published by
6// the Free Software Foundation, either version 3 of the License, or
7// (at your option) any later version.
8//
9// Moodle is distributed in the hope that it will be useful,
10// but WITHOUT ANY WARRANTY; without even the implied warranty of
11// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12// GNU General Public License for more details.
13//
14// You should have received a copy of the GNU General Public License
15// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
16
17/**
18 * Wrapper to run previously set-up behat tests in parallel.
19 *
20 * @package    tool_behat
21 * @copyright  2014 NetSpot Pty Ltd
22 * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
23 */
24
25if (isset($_SERVER['REMOTE_ADDR'])) {
26    die(); // No access from web!
27}
28
29define('BEHAT_UTIL', true);
30define('CLI_SCRIPT', true);
31define('ABORT_AFTER_CONFIG', true);
32define('CACHE_DISABLE_ALL', true);
33define('NO_OUTPUT_BUFFERING', true);
34
35require_once(__DIR__ .'/../../../../config.php');
36require_once(__DIR__.'/../../../../lib/clilib.php');
37require_once(__DIR__.'/../../../../lib/behat/lib.php');
38require_once(__DIR__.'/../../../../lib/behat/classes/behat_command.php');
39require_once(__DIR__.'/../../../../lib/behat/classes/behat_config_manager.php');
40
41error_reporting(E_ALL | E_STRICT);
42ini_set('display_errors', '1');
43ini_set('log_errors', '1');
44
45list($options, $unrecognised) = cli_get_params(
46    array(
47        'stop-on-failure' => 0,
48        'verbose'  => false,
49        'replace'  => false,
50        'help'     => false,
51        'tags'     => '',
52        'profile'  => '',
53        'feature'  => '',
54        'fromrun'  => 1,
55        'torun'    => 0,
56        'single-run' => false,
57    ),
58    array(
59        'h' => 'help',
60        't' => 'tags',
61        'p' => 'profile',
62        's' => 'single-run',
63    )
64);
65
66// Checking run.php CLI script usage.
67$help = "
68Behat utilities to run behat tests in parallel
69
70Usage:
71  php run.php [--BEHAT_OPTION=\"value\"] [--feature=\"value\"] [--replace] [--fromrun=value --torun=value] [--help]
72
73Options:
74--BEHAT_OPTION     Any combination of behat option specified in http://behat.readthedocs.org/en/v2.5/guides/6.cli.html
75--feature          Only execute specified feature file (Absolute path of feature file).
76--replace          Replace args string with run process number, useful for output.
77--fromrun          Execute run starting from (Used for parallel runs on different vms)
78--torun            Execute run till (Used for parallel runs on different vms)
79
80-h, --help         Print out this help
81
82Example from Moodle root directory:
83\$ php admin/tool/behat/cli/run.php --tags=\"@javascript\"
84
85More info in http://docs.moodle.org/dev/Acceptance_testing#Running_tests
86";
87
88if (!empty($options['help'])) {
89    echo $help;
90    exit(0);
91}
92
93$parallelrun = behat_config_manager::get_parallel_test_runs($options['fromrun']);
94
95// Default torun is maximum parallel runs.
96if (empty($options['torun'])) {
97    $options['torun'] = $parallelrun;
98}
99
100// Capture signals and ensure we clean symlinks.
101if (extension_loaded('pcntl')) {
102    $disabled = explode(',', ini_get('disable_functions'));
103    if (!in_array('pcntl_signal', $disabled)) {
104        pcntl_signal(SIGTERM, "signal_handler");
105        pcntl_signal(SIGINT, "signal_handler");
106    }
107}
108
109$time = microtime(true);
110array_walk($unrecognised, function (&$v) {
111    if ($x = preg_filter("#^(-+\w+)=(.+)#", "\$1=\"\$2\"", $v)) {
112        $v = $x;
113    } else if (!preg_match("#^-#", $v)) {
114        $v = escapeshellarg($v);
115    }
116});
117$extraopts = $unrecognised;
118
119$tags = '';
120
121if ($options['profile']) {
122    $profile = $options['profile'];
123    if (!isset($CFG->behat_config[$profile])) {
124        echo "Invalid profile passed: " . $profile;
125        exit(1);
126    }
127    $extraopts[] = '--profile="' . $profile . '"';
128    // By default, profile tags will be used.
129    if (!empty($CFG->behat_config[$profile]['filters']['tags'])) {
130        $tags = $CFG->behat_config[$profile]['filters']['tags'];
131    }
132}
133
134// Command line tags have precedence (std behat behavior).
135if ($options['tags']) {
136    $tags = $options['tags'];
137    $extraopts[] = '--tags="' . $tags . '"';
138}
139
140// Feature should be added to last, for behat command.
141if ($options['feature']) {
142    $extraopts[] = $options['feature'];
143    // Only run 1 process as process.
144    // Feature file is picked from absolute path provided, so no need to check for behat.yml.
145    $options['torun'] = $options['fromrun'];
146}
147
148// Set of options to pass to behat.
149$extraopts = implode(' ', $extraopts);
150
151// If empty parallelrun then just check with user if it's a run single behat test.
152if (empty($parallelrun)) {
153    $cwd = getcwd();
154    chdir(__DIR__);
155    $runtestscommand = behat_command::get_behat_command(false, false, true);
156    $runtestscommand .= ' --config ' . behat_config_manager::get_behat_cli_config_filepath();
157    $runtestscommand .= ' ' . $extraopts;
158    echo "Running single behat site:" . PHP_EOL;
159    passthru("php $runtestscommand", $code);
160    chdir($cwd);
161    exit($code);
162}
163
164// Update config file if tags defined.
165if ($tags) {
166    // Hack to set proper dataroot and wwwroot.
167    $behatdataroot = $CFG->behat_dataroot;
168    $behatwwwroot  = $CFG->behat_wwwroot;
169    for ($i = 1; $i <= $parallelrun; $i++) {
170        $CFG->behatrunprocess = $i;
171
172        if (!empty($CFG->behat_parallel_run[$i - 1]['behat_wwwroot'])) {
173            $CFG->behat_wwwroot = $CFG->behat_parallel_run[$i - 1]['behat_wwwroot'];
174        } else {
175            $CFG->behat_wwwroot = $behatwwwroot . "/" . BEHAT_PARALLEL_SITE_NAME . $i;
176        }
177        if (!empty($CFG->behat_parallel_run[$i - 1]['behat_dataroot'])) {
178            $CFG->behat_dataroot = $CFG->behat_parallel_run[$i - 1]['behat_dataroot'];
179        } else {
180            $CFG->behat_dataroot = $behatdataroot . $i;
181        }
182        behat_config_manager::update_config_file('', true, $tags);
183    }
184    $CFG->behat_dataroot = $behatdataroot;
185    $CFG->behat_wwwroot = $behatwwwroot;
186    unset($CFG->behatrunprocess);
187}
188
189$cmds = array();
190echo "Running " . ($options['torun'] - $options['fromrun'] + 1) . " parallel behat sites:" . PHP_EOL;
191
192for ($i = $options['fromrun']; $i <= $options['torun']; $i++) {
193    $CFG->behatrunprocess = $i;
194
195    // Options parameters to be added to each run.
196    $myopts = !empty($options['replace']) ? str_replace($options['replace'], $i, $extraopts) : $extraopts;
197
198    $behatcommand = behat_command::get_behat_command(false, false, true);
199    $behatconfigpath = behat_config_manager::get_behat_cli_config_filepath($i);
200
201    // Command to execute behat run.
202    $cmds[BEHAT_PARALLEL_SITE_NAME . $i] = $behatcommand . ' --config ' . $behatconfigpath . " " . $myopts;
203    echo "[" . BEHAT_PARALLEL_SITE_NAME . $i . "] " . $cmds[BEHAT_PARALLEL_SITE_NAME . $i] . PHP_EOL;
204}
205
206if (empty($cmds)) {
207    echo "No commands to execute " . PHP_EOL;
208    exit(1);
209}
210
211// Create site symlink if necessary.
212if (!behat_config_manager::create_parallel_site_links($options['fromrun'], $options['torun'])) {
213    echo "Check permissions. If on windows, make sure you are running this command as admin" . PHP_EOL;
214    exit(1);
215}
216
217// Execute all commands.
218$processes = cli_execute_parallel($cmds, __DIR__);
219$stoponfail = empty($options['stop-on-failure']) ? false : true;
220
221// Print header.
222print_process_start_info($processes);
223
224// Print combined run o/p from processes.
225$exitcodes = print_combined_run_output($processes, $stoponfail);
226$time = round(microtime(true) - $time, 1);
227echo "Finished in " . gmdate("G\h i\m s\s", $time) . PHP_EOL . PHP_EOL;
228
229
230// Print exit info from each run.
231$status = false;
232foreach ($exitcodes as $exitcode) {
233    $status = (bool)$status || (bool)$exitcode;
234}
235
236// Run finished. Show exit code and output from individual process.
237$verbose = empty($options['verbose']) ? false : true;
238$verbose = $verbose || $status;
239
240// Show exit code from each process, if any process failed.
241if ($verbose) {
242    // Echo exit codes.
243    echo "Exit codes for each behat run: " . PHP_EOL;
244    ksort($exitcodes);
245    foreach ($exitcodes as $run => $exitcode) {
246        echo $run . ": " . $exitcode . PHP_EOL;
247    }
248
249    // Show failed re-run commands.
250    if ($status) {
251        echo "To re-run failed processes, you can use following commands:" . PHP_EOL;
252        foreach ($cmds as $name => $cmd) {
253            if (!empty($exitcodes[$name])) {
254                echo "[" . $name . "] " . $cmd . PHP_EOL;
255            }
256        }
257    }
258    echo PHP_EOL;
259}
260
261print_each_process_info($processes, $verbose);
262
263// Remove site symlink if necessary.
264behat_config_manager::drop_parallel_site_links();
265
266exit((int) $status);
267
268/**
269 * Signal handler for terminal exit.
270 *
271 * @param int $signal signal number.
272 */
273function signal_handler($signal) {
274    switch ($signal) {
275        case SIGTERM:
276        case SIGKILL:
277        case SIGINT:
278            // Remove site symlink if necessary.
279            behat_config_manager::drop_parallel_site_links();
280            exit(1);
281    }
282}
283
284/**
285 * Prints header from the first process.
286 *
287 * @param array $processes list of processes to loop though.
288 */
289function print_process_start_info($processes) {
290    $printed = false;
291    // Keep looping though processes, till we get first process o/p.
292    while (!$printed) {
293        usleep(10000);
294        foreach ($processes as $name => $process) {
295            // Exit if any process has stopped.
296            if (!$process->isRunning()) {
297                $printed = true;
298                break;
299            }
300
301            $op = explode(PHP_EOL, $process->getOutput());
302            if (count($op) >= 3) {
303                foreach ($op as $line) {
304                    if (trim($line) && (strpos($line, '.') !== 0)) {
305                        echo $line . PHP_EOL;
306                    }
307                }
308                $printed = true;
309            }
310        }
311    }
312}
313
314/**
315 * Loop though all processes and print combined o/p
316 *
317 * @param array $processes list of processes to loop though.
318 * @param bool $stoponfail Stop all processes and exit if failed.
319 * @return array list of exit codes from all processes.
320 */
321function print_combined_run_output($processes, $stoponfail = false) {
322    $exitcodes = array();
323    $maxdotsonline = 70;
324    $remainingprintlen = $maxdotsonline;
325    $progresscount = 0;
326    while (count($exitcodes) != count($processes)) {
327        usleep(10000);
328        foreach ($processes as $name => $process) {
329            if ($process->isRunning()) {
330                $op = $process->getIncrementalOutput();
331                if (trim($op)) {
332                    $update = preg_filter('#^\s*([FS\.\-]+)(?:\s+\d+)?\s*$#', '$1', $op);
333                    // Exit process if anything fails.
334                    if ($stoponfail && (strpos($update, 'F') !== false)) {
335                        $process->stop(0);
336                    }
337
338                    $strlentoprint = strlen($update);
339
340                    // If not enough dots printed on line then just print.
341                    if ($strlentoprint < $remainingprintlen) {
342                        echo $update;
343                        $remainingprintlen = $remainingprintlen - $strlentoprint;
344                    } else if ($strlentoprint == $remainingprintlen) {
345                        $progresscount += $maxdotsonline;
346                        echo $update ." " . $progresscount . PHP_EOL;
347                        $remainingprintlen = $maxdotsonline;
348                    } else {
349                        while ($part = substr($update, 0, $remainingprintlen) > 0) {
350                            $progresscount += $maxdotsonline;
351                            echo $part . " " . $progresscount . PHP_EOL;
352                            $update = substr($update, $remainingprintlen);
353                            $remainingprintlen = $maxdotsonline;
354                        }
355                    }
356                }
357            } else {
358                $exitcodes[$name] = $process->getExitCode();
359                if ($stoponfail && ($exitcodes[$name] != 0)) {
360                    foreach ($processes as $l => $p) {
361                        $exitcodes[$l] = -1;
362                        $process->stop(0);
363                    }
364                }
365            }
366        }
367    }
368
369    echo PHP_EOL;
370    return $exitcodes;
371}
372
373/**
374 * Loop though all processes and print combined o/p
375 *
376 * @param array $processes list of processes to loop though.
377 * @param bool $verbose Show verbose output for each process.
378 */
379function print_each_process_info($processes, $verbose = false) {
380    foreach ($processes as $name => $process) {
381        echo "**************** [" . $name . "] ****************" . PHP_EOL;
382        if ($verbose) {
383            echo $process->getOutput();
384            echo $process->getErrorOutput();
385        } else {
386            $op = explode(PHP_EOL, $process->getOutput());
387            foreach ($op as $line) {
388                // Don't print progress .
389                if (trim($line) && (strpos($line, '.') !== 0) && (strpos($line, 'Moodle ') !== 0) &&
390                    (strpos($line, 'Server OS ') !== 0) && (strpos($line, 'Started at ') !== 0) &&
391                    (strpos($line, 'Browser specific fixes ') !== 0)) {
392                    echo $line . PHP_EOL;
393                }
394            }
395        }
396        echo PHP_EOL;
397    }
398}
Note: See TracBrowser for help on using the repository browser.