At that point, we should probably just make it a pixel test? At some level we just don't have enough experience with reftests to understand what the common problems with them are and make broad policy recommendations.<br>

<br><div class="gmail_quote">On Thu, Apr 12, 2012 at 1:30 PM, Jacob Goldstein <span dir="ltr"><<a href="mailto:jacobg@adobe.com">jacobg@adobe.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word"><div>Isn't the goal of writing a ref test that it is <span style="font-weight:bold">not</span> platform specific?  </div><div><br></div>
<span><div style="border-right:medium none;padding-right:0in;padding-left:0in;padding-top:3pt;text-align:left;font-size:11pt;border-bottom:medium none;font-family:Calibri;border-top:#b5c4df 1pt solid;padding-bottom:0in;border-left:medium none">

<span style="font-weight:bold">From: </span> Ryosuke Niwa <<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>><br><span style="font-weight:bold">Date: </span> Thu, 12 Apr 2012 12:29:42 -0700<br>
<span style="font-weight:bold">To: </span> Ojan Vafai <<a href="mailto:ojan@chromium.org" target="_blank">ojan@chromium.org</a>><br>
<span style="font-weight:bold">Cc: </span> Dirk Pranke <<a href="mailto:dpranke@chromium.org" target="_blank">dpranke@chromium.org</a>>, WebKit Development <<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a>><br>

<span style="font-weight:bold">Subject: </span> Re: [webkit-dev] Handling failing reftests<br></div><div><div class="h5"><div><br></div><div class="gmail_quote">On Thu, Apr 12, 2012 at 11:53 AM, Ojan Vafai <span dir="ltr"><<a href="mailto:ojan@chromium.org" target="_blank">ojan@chromium.org</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><div>I agree that it's hard sometimes to construct reftests that work, but once you've done so, the cost on the project of maintaining the test is usually considerably lower than pixel tests.</div></div></blockquote>

<div><br></div><div>Not so sure. There are cases where we have these platform specific failures for ref tests, and they're much harder to fix than rebaselining pixel results.</div><div><br></div><div>- Ryosuke</div><div>

<br></div></div></div></div></span></div>
</blockquote></div><br>