<div style="font-family:arial,helvetica,sans-serif"><font><div class="gmail_quote">On Thu, Jun 14, 2012 at 9:00 PM, Adam Barth <span dir="ltr"><<a href="mailto:abarth@webkit.org" target="_blank">abarth@webkit.org</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, Jun 14, 2012 at 8:56 PM, Ojan Vafai <<a href="mailto:ojan@chromium.org">ojan@chromium.org</a>> wrote:<br>


> On Thu, Jun 14, 2012 at 4:34 PM, Dirk Pranke <<a href="mailto:dpranke@chromium.org">dpranke@chromium.org</a>> wrote:<br>
>> On Thu, Jun 14, 2012 at 4:22 PM, Maciej Stachowiak <<a href="mailto:mjs@apple.com">mjs@apple.com</a>> wrote:<br>
>> > On Jun 14, 2012, at 1:47 PM, Ryosuke Niwa <<a href="mailto:rniwa@webkit.org">rniwa@webkit.org</a>> wrote:<br>
>> > On Thu, Jun 14, 2012 at 1:44 PM, Peter Kasting <<a href="mailto:pkasting@chromium.org">pkasting@chromium.org</a>><br>
>> > wrote:<br>
>> >><br>
>> >> On Thu, Jun 14, 2012 at 1:39 PM, Elliot Poger <<a href="mailto:epoger@chromium.org">epoger@chromium.org</a>><br>
>> >> wrote:<br>
>> >>><br>
>> >>> Can someone please remind me why IMAGE+TEXT even exists?<br>
>> >>><br>
>> >>> Wouldn't it be simpler to just mark a test as follows?<br>
>> >>><br>
>> >>> IMAGE : allow image failure; go red if there is a text failure<br>
>> >>> TEXT: allow text failure; go red if there is an image failure<br>
>> >>> IMAGE TEXT: allow text and/or image failure<br>
>> >><br>
>> >> The distinction is that IMAGE TEXT will allow image, text, or both to<br>
>> >> fail, thus making transitions among the three generate no events.<br>
>> >>  IMAGE+TEXT says specifically that we expect both to fail and that if<br>
>> >> one<br>
>> >> starts passing, someone should do something.  (For example, maybe<br>
>> >> someone<br>
>> >> checks in a partial rebaseline where they miss the image expectations.)<br>
>> ><br>
>> ><br>
>> > Not to bike-shed on anything, but I think we should rename Text and<br>
>> > Image to<br>
>> > TextOnly and ImageOnly. Every single person I know, including myself,<br>
>> > had<br>
>> > never got the distinction between IMAGE TEXT and IMAGE+TEXT without<br>
>> > someone<br>
>> > explaining it to him/her .<br>
>> ><br>
>> ><br>
>> > I think IMAGE+TEXT is not a very useful distinction from TEXT either. I<br>
>> > checked for uses of TEXT that is not IMAGE+TEXT in the Chromium<br>
>> > TextExpectations, and it seems that nearly all instances fall into one<br>
>> > of<br>
>> > the two following categories:<br>
>> ><br>
>> > 1) text-only test, so IMAGE+TEXT would not have different semantics from<br>
>> > TEXT (the vast majority)<br>
>> > 2) Flaky test that may actually pass, so distinguishing what happens<br>
>> > with<br>
>> > the image result is of limited utility (most of these are also text-only<br>
>> > tests; only a small subset even have an image result)<br>
>> ><br>
>> > Thus, I think Fail and ImageOnlyFail would be more useful and<br>
>> > understandable<br>
>> > categories than {TEXT, IMAGE, TEXT+IMAGE, TEXT IMAGE}. Fail would have<br>
>> > the<br>
>> > semantic that a text failure is expected, and image result if any can<br>
>> > either<br>
>> > pass or fail.<br>
>><br>
>> This is perhaps true, but if it's okay I would like to treat that<br>
>> feature request separately from the other syntactic changes we've been<br>
>> discussing. So far the rest of the changes have not really implied any<br>
>> changes to how we actually track which changes fail and how (note that<br>
>> FAIL is different and we've fixed that separately from these changes<br>
>> as well).<br>
><br>
><br>
> Lets have the separate bikeshed. While this is less precise, I agree that<br>
> Fail and ImageOnlyFail would capture the vast majority use-case and remove a<br>
> frequent source of confusion and error. The big downside of this approach is<br>
> that a text-only failure that also starts failing the pixel result make<br>
> genuinely indicate a new bug. I think that happens rarely enough that I'm OK<br>
> with it for the added simplicity.<br>
><br>
> A couple open questions:<br>
> -Does Fail also replace Audio? Seems reasonable to me.<br>
<br>
</div></div>Yeah, audio tests can fail only in one way.<br>
<div class="im"><br>
> -What about reftest failures where there is no text comparison? I'd be fine<br>
> with saying you can do Fail or ImageOnlyFail and they mean the same thing<br>
> here.<br>
<br>
</div>Similarly, I'd say that we should just Fail here.  Reftests can fail<br>
only in one way.<br></blockquote><div><br></div><div>Seems like it will be a common error to mark a reftest failure as ImageOnlyFail and then be confused why it's not working, no?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


In this view, ImageOnlyFail is a special case for pixel tests because<br>
they're so fragile.<br>
<span class="HOEnZb"><font color="#888888"><br>
Adam<br>
</font></span></blockquote></div><br></font></div>