<html>
    <head>
      <base href="https://bugs.webkit.org/" />
    </head>
    <body>
      <p>
        <div>
            <b><a class="bz_bug_link 
          bz_status_NEW "
   title="NEW - Bots should run the dashboard tests"
   href="https://bugs.webkit.org/show_bug.cgi?id=168994#c6">Comment # 6</a>
              on <a class="bz_bug_link 
          bz_status_NEW "
   title="NEW - Bots should run the dashboard tests"
   href="https://bugs.webkit.org/show_bug.cgi?id=168994">bug 168994</a>
              from <span class="vcard"><a class="email" href="mailto:dbates&#64;webkit.org" title="Daniel Bates &lt;dbates&#64;webkit.org&gt;"> <span class="fn">Daniel Bates</span></a>
</span></b>
        <pre>Comment on <span class=""><a href="attachment.cgi?id=302999&amp;action=diff" name="attach_302999" title="Patch">attachment 302999</a> <a href="attachment.cgi?id=302999&amp;action=edit" title="Patch">[details]</a></span>
Patch

View in context: <a href="https://bugs.webkit.org/attachment.cgi?id=302999&amp;action=review">https://bugs.webkit.org/attachment.cgi?id=302999&amp;action=review</a>

If we chose to run the dashboard test separate from the rest of the Webkit tests then we should upload the dashboard test results to the Buildbot master and generate a link to the results. This output is easy to human friendly and makes it straightforward to understand the reason for the test failure. To be clear, the generated hyperlink I am referring to is the &quot;view results&quot; hyperlink under the step uploaded results on a Buildbot build page. You can see an example of this at &lt;<a href="https://build.webkit.org/builders/Apple%20El%20Capitan%20Release%20WK1%20%28Tests%29/builds/14159">https://build.webkit.org/builders/Apple%20El%20Capitan%20Release%20WK1%20%28Tests%29/builds/14159</a>&gt;. To do this, we will likely need to modify or mimic the steps ArchiveTestResults, UploadTestResults, and ExtractTestResults.

<span class="quote">&gt; Tools/ChangeLog:9
&gt; +        We pull the `--results-directory` out so that `RunDashboardTests` can override it. This way the dashboard tests results won't
&gt; +        overwrite the regular layout test results or get mixed in with them.</span >

It seems reasonable to separate the dashboard tests from the WebKit test. Out of curiosity, would it be terrible if they are mixed in? One benefit is that we can use the existing machinery to upload the test results and link to them.

<span class="quote">&gt; Tools/BuildSlaveSupport/build.webkit.org-config/master.cfg:346
&gt; +        self.setCommand(self.command + self._results_directory_arguments())</span >

This is OK as-is. We can simplify this patch and avoid the need to add the function _results_directory_arguments() and override it by making use of class variables. I would define a class variable called resultDirectory := &quot;layout-test-results&quot; in class RunWebKitTests and override this class variable in the derived class (as we do for descriptionDone) to be &quot;dashboard-layout-test-results&quot;. Then we can update this line to read:

self.setCommand(self.command +[&quot;--results-directory&quot;, self.resultDirectory])

<span class="quote">&gt; Tools/BuildSlaveSupport/build.webkit.org-config/master.cfg:362
&gt; +    def _results_directory_arguments(self):
&gt; +        return [&quot;--results-directory&quot;, &quot;layout-test-results&quot;]
&gt; +
&gt;      def _strip_python_logging_prefix(self, line):</span >

We can avoid the need to add this function by making use of a class variable. See my remark above.

<span class="quote">&gt; Tools/BuildSlaveSupport/build.webkit.org-config/master.cfg:438
&gt; +        self.setCommand(self.command + ['--layout-tests-directory', './Tools/BuildSlaveSupport/build.webkit.org-config/public_html/dashboard/Scripts/tests'])</span >

I believe we prefer double quoted string literals for OpenSource Buildbot code though it seems we use both :( What style is used in the majority of this code? We should use consistent style.

<span class="quote">&gt; Tools/BuildSlaveSupport/build.webkit.org-config/master.cfg:442
&gt; +    def _results_directory_arguments(self):
&gt; +        return [&quot;--results-directory&quot;, &quot;dashboard-layout-test-results&quot;]</span >

Ditto.</pre>
        </div>
      </p>
      <hr>
      <span>You are receiving this mail because:</span>
      
      <ul>
          <li>You are the assignee for the bug.</li>
      </ul>
    </body>
</html>