<div class="gmail_quote">On Thu, Apr 12, 2012 at 2:18 PM, Dirk Pranke <span dir="ltr"><<a href="mailto:dpranke@chromium.org">dpranke@chromium.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class="im"><p>On Apr 12, 2012 1:53 PM, "Ryosuke Niwa" <<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>> wrote:<br>
><br>
> My suggestion is to try to make it platform-independent but it's significantly harder than rebaselining the results for pixel tests. As you point out, it defeats one of the benefits of reftests if we end up introducing platform-specific reference files.<br>



><br>
> - Ryosuke<br>
></p>
</div><p>It defeats one of the benefits but not all, I think (hope?)</p></blockquote><div>Maintaining a reftest with multiple platform-specific baselines seems like it would be strictly more work than maintaining a pixel test with multiple platform-specific baselines in most cases. </div>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="HOEnZb"><font color="#888888">
</font></span><p><span class="HOEnZb"><font color="#888888">-- Dirk</font></span></p><div class="im"><br>
><br>
> On Thu, Apr 12, 2012 at 1:46 PM, Jacob Goldstein <<a href="mailto:jacobg@adobe.com" target="_blank">jacobg@adobe.com</a>> wrote:<br>
>><br>
>> Right, but when those differences come to light, should the goal be to adjust the ref test to make it platform-independent, or is having platform-specific ref tests acceptable?  Doesn't that put us in the same situation as having platform-specific pixel tests?<br>



>><br>
>> From: Ryosuke Niwa <<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>><br>
>> Date: Thu, 12 Apr 2012 13:43:26 -0700<br>
>> To: Jacob Goldstein <<a href="mailto:jacobg@adobe.com" target="_blank">jacobg@adobe.com</a>><br>
>> Cc: Ojan Vafai <<a href="mailto:ojan@chromium.org" target="_blank">ojan@chromium.org</a>>, Dirk Pranke <<a href="mailto:dpranke@chromium.org" target="_blank">dpranke@chromium.org</a>>, WebKit Development <<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a>><br>



>><br>
>> Subject: Re: [webkit-dev] Handling failing reftests<br>
>><br>
>> Right but you wouldn't know platform-specific issues until you land them. e.g. rounding errors, subtle font differences in edge cases, etc...<br>
>><br>
>> On Thu, Apr 12, 2012 at 1:30 PM, Jacob Goldstein <<a href="mailto:jacobg@adobe.com" target="_blank">jacobg@adobe.com</a>> wrote:<br>
>>><br>
>>> Isn't the goal of writing a ref test that it is not platform specific?  <br>
>>><br>
>>> From: Ryosuke Niwa <<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>><br>
>>> Date: Thu, 12 Apr 2012 12:29:42 -0700<br>
>>> To: Ojan Vafai <<a href="mailto:ojan@chromium.org" target="_blank">ojan@chromium.org</a>><br>
>>> Cc: Dirk Pranke <<a href="mailto:dpranke@chromium.org" target="_blank">dpranke@chromium.org</a>>, WebKit Development <<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a>><br>


>>> Subject: Re: [webkit-dev] Handling failing reftests<br>
>>><br>
>>> On Thu, Apr 12, 2012 at 11:53 AM, Ojan Vafai <<a href="mailto:ojan@chromium.org" target="_blank">ojan@chromium.org</a>> wrote:<br>
>>>><br>
>>>> I agree that it's hard sometimes to construct reftests that work, but once you've done so, the cost on the project of maintaining the test is usually considerably lower than pixel tests.<br>
>>><br>
>>><br>
>>> Not so sure. There are cases where we have these platform specific failures for ref tests, and they're much harder to fix than rebaselining pixel results.<br>
>>><br>
>>> - Ryosuke<br>
>>><br>
>><br>
><br>
</div><p></p>
</blockquote></div><br>