<div class="gmail_quote">On Wed, Apr 11, 2012 at 3:48 PM, Dirk Pranke <span dir="ltr"><<a href="mailto:dpranke@chromium.org">dpranke@chromium.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class="im">On Wed, Apr 11, 2012 at 3:46 PM, Dirk Pranke <<a href="mailto:dpranke@chromium.org">dpranke@chromium.org</a>> wrote:<br>
> On Fri, Mar 9, 2012 at 2:49 PM, Sam Weinig <<a href="mailto:weinig@apple.com">weinig@apple.com</a>> wrote:<br>
>><br>
>> On Mar 7, 2012, at 4:41 PM, Ojan Vafai wrote:<br>
>><br>
>> I just did a first pass a greening the Chromium Lion<br>
>> bot: <a href="http://trac.webkit.org/changeset/110096" target="_blank">http://trac.webkit.org/changeset/110096</a>. Of these hundreds of tests,<br>
>>  ~99% of them are perfect candidates for being reftests (e.g. they contain<br>
>> one line of text and a solid box or two under the text), but most of them<br>
>> are in the CSS imported test suites.<br>
>><br>
>> Is it kosher to convert them to reftests or should we leave pixel tests from<br>
>> imported test suites alone?<br>
>><br>
>><br>
>> If we want to make these ref tests, it probably makes more sense to do that<br>
>> work with the CSS WG, so that they can be part of the standard test suite.<br>
>> Until then, I think we should keep them regular pixel tests.<br>
>><br>
><br>
> Note that this thread (to resurrect it just-after-easter because it's<br>
> timely) is directly relevant to the note I just sent out about<br>
> importing test suites.<br>
><br>
> I, at least, would like some clarification ... if we are importing<br>
> tests that have no accompanying "expected result" (and are expected to<br>
> be inspected manually for correctness), is it acceptable to write<br>
> reference html for the tests, or do they have to be imported as pixel<br>
> tests?<br>
><br>
<br>
</div>Put differently, we either need to add an -expected html or an<br>
-expected png. Does it have to be the latter?<br></blockquote><div><br></div><div>I strongly prefer adding -expected.html files. While there is a chance the reference may not cover all the code paths the original test intended, I believe our overall test coverage will be better with more reftests and fewer pixel tests, not to mention our project-wide sanity from spending less time doing expectations file management. Pixel tests accidentally let bugs through all the time because not all ports run them and because it's often hard to tell if a new result is correct.</div>

<div><br></div><div>I agree with the sentiment that we should be upstreaming these to the W3C, but I don't see why we would require upstreaming them first instead of committing them locally and then upstreaming them. If there are people willing to do the work, lets allow them do it either way.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><br>
> I personally think it's acceptable, but I understand that there might<br>
> be a difference of opinion.<br>
><br>
> <a href="https://bugs.webkit.org/show_bug.cgi?id=72987" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=72987</a> is an example of this.<br>
><br>
> -- Dirk<br>
</div></div></blockquote></div><br>