As we have previous discussed following <a href="https://lists.webkit.org/pipermail/webkit-dev/2012-March/019782.html">https://lists.webkit.org/pipermail/webkit-dev/2012-March/019782.html</a>, it's hard to judge whether a given reference result is enough to cover everything the test intends to test. e.g. you can have a bug such that both the test and the reference file ends up having the same rendering result.<div>

<div><br></div><div>- Ryosuke</div><div><br></div><div>
On Tue, Apr 10, 2012 at 2:26 PM, Robert Hogan <span dir="ltr"><<a href="mailto:lists@roberthogan.net">lists@roberthogan.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hi there,<br>
<br>
We currently add tests from the CSS 2.1 suite as we fix them. They get added<br>
to the css2.1/20110323 folder in LayoutTests. Most of them don't have<br>
native reference tests yet in the suite so we (mostly I) have been adding<br>
homebrew reference results to the folder to avoid generating pixel results<br>
on all platforms. (see <a href="http://webkitmemes.tumblr.com/post/20788159625" target="_blank">http://webkitmemes.tumblr.com/post/20788159625</a> !)<br>
<br>
These reference-results are easily removed once superseded but it might be<br>
cleaner just to move them, and the associated css tests, to a folder of<br>
their own in fast/css. That will allow css2.1/20110323 to be a clean import<br>
that the 8500 or so passing tests can be added to in 20 or 30 batches.[1]<br>
It will also make NRWT's reftests harness work with the suite.<br>
<br>
Does anyone object to that approach? The only thing going against it seems<br>
to be the principle that imported tests should be stored separately and<br>
together but this is more a case of using them to fix bugs and prevent<br>
future regressions while allowing a clean import of the CSS 2.1 test suite<br>
to take place in parallel.<br>
<br>
The problem this does not solve is how we avoid creating pixel results for<br>
tests that already pass but which do not have reftests of their own. Again<br>
I would be in favour of putting these in fast/css and keeping them there<br>
until reftests are added to the suite. This would allow us to prevent them<br>
regressing and come up with a reftest for them that can be submitted to the<br>
CSS test suite guys.<br>
<br>
The end result would be that we only directly import to the css2.1 folder<br>
those tests in the CSS test suite that have ref tests native to the suite.<br>
<br>
Thanks,<br>
Robert<br>
<br>
<br>
[1] I keep a local and relatively up to date copy of the passing and<br>
failing tests in separate folders in my checkout.  Yes I know I should<br>
create bugs for them and get started on landing the passes.<br>
<br>
_______________________________________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a><br>
<a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>
</blockquote></div><br></div>