<br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">James Graham</b> <span dir="ltr"><<a href="mailto:jgraham@opera.com">jgraham@opera.com</a>></span><br>Date: Thu, Apr 12, 2012 at 2:17 PM<br>

Subject: Re: [webkit-dev] Is converting pixel tests to reftests kosher for imported libraries?<br>To: Ryosuke Niwa <<a href="mailto:rniwa@webkit.org">rniwa@webkit.org</a>><br>Cc: <a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a>, Ms2ger <<a href="mailto:ms2ger@gmail.com">ms2ger@gmail.com</a>>, Ehsan Akhgari <<a href="mailto:ehsan@mozilla.com">ehsan@mozilla.com</a>>, James Graham <<a href="mailto:jgraham@opera.com">jgraham@opera.com</a>><br>

<br><br><div class="im">On Thu, 12 Apr 2012, Ryosuke Niwa wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Correction: the person from Opera who tried to add reference files is Geoffrey Sneddon as Anne pointed out.<br>
<br>
+Ms2ger, +ehsan from Mozilla, and +jgraham from Opera.<br>
<br>
Also note that both Ehsan and James have pointed out that my concern that a test and the corresponding ref will match for wrong reasons (e.g. the entire page is blank) could<br>
be be mitigated by having good noref (expected-mismatch in WebKit convention). James also noted that they haven't had such problems in practice.<br>
</blockquote>
<br></div>
To be clear I have seen the problem where refs and tests match for the wrong reasons. On the other hand I have never seen us miss a regression for this reason, and it has, overall, been far less of a problem for us than maintaining several tens of thousands of pixel-equality tests was.</div>

<br>