<div>Ossy, I think the right thing to do, in general, with failing reftests is to skip them.</div><div><br></div>Dave, you can see the chromium win/linux failures here (it passes on chromium mac): <a href="http://test-results.appspot.com/dashboards/flakiness_dashboard.html#showExpectations=true&showLargeExpectations=true&revision=113914&tests=fast%2Fmulticol%2Fcell-shrinkback.html">http://test-results.appspot.com/dashboards/flakiness_dashboard.html#showExpectations=true&showLargeExpectations=true&revision=113914&tests=fast%2Fmulticol%2Fcell-shrinkback.html</a>. Search the page for "DIFF:" to see the image diffs.<div>

<div><br></div><div>I agree that it's hard sometimes to construct reftests that work, but once you've done so, the cost on the project of maintaining the test is usually considerably lower than pixel tests.<br><br>

<div class="gmail_quote">On Thu, Apr 12, 2012 at 11:23 AM, David Hyatt <span dir="ltr"><<a href="mailto:hyatt@apple.com">hyatt@apple.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div style="word-wrap:break-word">That reftest is mine. It was supposed to work cross-platform. I am happy to fix, but I'd need to understand what about it didn't work on other platforms. Can someone send me a screenshot of what it looks like?<div>

<br></div><div>(This is actually why I hate reftests for pagination. It's very hard to construct an unpaginated version that matches the paginated layout without tripping over stuff like this.)</div><div><br></div><div>

Thanks</div><div>Dave</div><div>(<a href="mailto:hyatt@apple.com" target="_blank">hyatt@apple.com</a>)</div><div><br><div><div><div class="h5"><div>On Apr 12, 2012, at 1:01 PM, Ryosuke Niwa wrote:</div><br></div></div><blockquote type="cite">

<div><div class="h5"><div class="gmail_quote">On Thu, Apr 12, 2012 at 10:57 AM, Dirk Pranke <span dir="ltr"><<a href="mailto:dpranke@chromium.org" target="_blank">dpranke@chromium.org</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



This is an interesting situation; does it make sense to require our<br>
reftests to be generic, or is that unrealistic? I also wonder if we<br>
should allow  platform-specific pixel tests to coexist with<br>
platform-specific reference tests (since you could obviously write a<br>
platform-specific ref test that just displayed a single IMG, but the<br>
tools don't make that particularly easy).<br></blockquote><div><br></div><div>Allowing platform-specific pixel results for a ref test is a bad idea IMO. It makes things even more complicated and harder to understand than it already is today.</div>



<div><br></div><div>- Ryosuke</div><div><br></div></div></div></div><div class="im">
_______________________________________________<br>webkit-dev mailing list<br><a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a><br><a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>

</div></blockquote></div><br></div></div><br>_______________________________________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a><br>
<a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>
<br></blockquote></div><br></div></div>