<div class="gmail_quote">To give you a perspective on how bad the current system is, just while I was removing those 30 entires, I&#39;ve found out that fast/css-generated-content/table-row-group-to-inline.html has regressed since it was first added. This regression should have caught by people running pixel tests only if we had rebaselined it promptly.</div>

<div class="gmail_quote"><br></div><div class="gmail_quote">I have seen dozens of cases where we had introduced regressions that would have been caught by existing layout tests only if they had not been marked flaky, failing, etc...</div>

<div class="gmail_quote"><br></div><div class="gmail_quote">On Wed, Mar 20, 2013 at 11:46 PM, Robert Hogan <span dir="ltr">&lt;<a href="mailto:lists@roberthogan.net" target="_blank">lists@roberthogan.net</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Wednesday, 20 March 2013, Ryosuke Niwa  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>Please don&#39;t add lines to TestExpectations saying that they just need rebaselines and then leave.</div></blockquote><div><br></div></div><div>OK. That means I will have to pull the new results from the bots, which is fine - but in the case of the Mac port (and any other bot that does not run pixel tests) the result will be that trunk will get fresh text results but retain stale png results.</div>


<div><br></div>
<div>If that is OK then you need to publish that information somewhere as I suspect I&#39;m not the only contributor who has hesitated to make Mac&#39;s test results inconsistent.</div></blockquote><div><br></div><div>That&#39;s what non-Chromium ports do anyways.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div></div><div>That would reduce the test coverage we have, and effectively disables the test. If you&#39;re adding those entires, please be sure to remove them ASAP. Better yet, don&#39;t add them unless you have to rebaseline hundreds of tests. It&#39;s not acceptable to leave those entries in TestExpectations for days.</div>



</blockquote><div><br></div></div><div>We&#39;ve batted back and forth on this list for at least a year on the correct approach for landing and rebaselining. My approach is to land results for the platform that I build, suppress tests that require rebaselining on other platforms, and open a bug so sheriffs can add/rebaseline results as appropriate.</div>

</blockquote><div><br></div><div>I don&#39;t think this approach scales.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>My impression from recent discussion on this topic was that this was the way that worked best for everybody.</div>

</blockquote><div><br></div><div>That was NOT my impression. I made it pretty clear that I dislike this approach.</div><div><br></div><div>If you&#39;re referring to <a href="https://lists.webkit.org/pipermail/webkit-dev/2013-February/023960.html">https://lists.webkit.org/pipermail/webkit-dev/2013-February/023960.html</a>, then most of people who replied on that thread hadn&#39;t even contributed much code to WebCore, and I highly doubt that their opinions represent the whole WebKit community.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>I used to pull results from the bots where possible but creating inconsistency between png/text results is not good.</div>

</blockquote><div><br></div><div>It is unfortunate but it&#39;s much better than losing the complete test coverage.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>Presumably this will be discussed at the contributors&#39; meeting - it would be good to make sure that all the relevant people required for consensus on this topic can attend the discussion and settle this once and for all!</div>

</blockquote><div><br></div><div>Definitely.</div><div><br></div><div>- R. Niwa</div><div><br></div></div>