<div class="gmail_quote">On Wed, Dec 8, 2010 at 1:04 PM, Darin Adler <span dir="ltr">&lt;<a href="mailto:darin@apple.com">darin@apple.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On Dec 8, 2010, at 1:02 PM, Peter Kasting wrote:<br>
<br>
&gt; the number of tests that fall into this bucket is hopefully small?<br>
<br>
</div>Maybe we should talk about some specific tests. I can‘t think of many tests with no text that are self explanatory!</blockquote><div><br></div><div>It&#39;s not so much whether the test is self-explanatory as whether, given a result that differs from the baseline, it&#39;s obvious whether it&#39;s a failure and how to proceed.</div>
<div><br></div><div>The particular change that triggered this thread, for example, was <a href="http://trac.webkit.org/changeset/73531">http://trac.webkit.org/changeset/73531</a> .  The tests added in this commit are basically of the standard &quot;some number of green squares; red = failure&quot; form.  Moving the explanatory text from them into the HTML for the tests themselves would not greatly decrease the ease with which someone could understand why they&#39;d suddenly started failing the tests.</div>
<div><br></div><div>Text is more useful when it&#39;s more likely that differences will occur that are not obviously either OK or wrong.  In that case, having the text in the test output saves a trip to the HTML source on the part of the person trying to figure out whether he&#39;s seeing a failure.</div>
<div><br></div><div>PK</div></div>