<div class="gmail_quote">On Thu, Jun 14, 2012 at 4:34 PM, Adam Barth <span dir="ltr"><<a href="mailto:abarth@webkit.org" target="_blank">abarth@webkit.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class="HOEnZb"><div class="h5">On Thu, Jun 14, 2012 at 4:22 PM, Maciej Stachowiak <<a href="mailto:mjs@apple.com">mjs@apple.com</a>> wrote:<br>
> On Jun 14, 2012, at 1:47 PM, Ryosuke Niwa <<a href="mailto:rniwa@webkit.org">rniwa@webkit.org</a>> wrote:<br>
> On Thu, Jun 14, 2012 at 1:44 PM, Peter Kasting <<a href="mailto:pkasting@chromium.org">pkasting@chromium.org</a>><br>
> wrote:<br>
>> On Thu, Jun 14, 2012 at 1:39 PM, Elliot Poger <<a href="mailto:epoger@chromium.org">epoger@chromium.org</a>> wrote:<br>
>>> Can someone please remind me why IMAGE+TEXT even exists?<br>
>>><br>
>>> Wouldn't it be simpler to just mark a test as follows?<br>
>>><br>
>>> IMAGE : allow image failure; go red if there is a text failure<br>
>>> TEXT: allow text failure; go red if there is an image failure<br>
>>> IMAGE TEXT: allow text and/or image failure<br>
>><br>
>> The distinction is that IMAGE TEXT will allow image, text, or both to<br>
>> fail, thus making transitions among the three generate no events.<br>
>>  IMAGE+TEXT says specifically that we expect both to fail and that if one<br>
>> starts passing, someone should do something.  (For example, maybe someone<br>
>> checks in a partial rebaseline where they miss the image expectations.)<br>
><br>
> Not to bike-shed on anything, but I think we should rename Text and Image to<br>
> TextOnly and ImageOnly. Every single person I know, including myself, had<br>
> never got the distinction between IMAGE TEXT and IMAGE+TEXT without someone<br>
> explaining it to him/her .<br>
><br>
> I think IMAGE+TEXT is not a very useful distinction from TEXT either. I<br>
> checked for uses of TEXT that is not IMAGE+TEXT in the Chromium<br>
> TextExpectations, and it seems that nearly all instances fall into one of<br>
> the two following categories:<br>
><br>
> 1) text-only test, so IMAGE+TEXT would not have different semantics from<br>
> TEXT (the vast majority)<br>
> 2) Flaky test that may actually pass, so distinguishing what happens with<br>
> the image result is of limited utility (most of these are also text-only<br>
> tests; only a small subset even have an image result)<br>
><br>
> Thus, I think Fail and ImageOnlyFail would be more useful and understandable<br>
> categories than {TEXT, IMAGE, TEXT+IMAGE, TEXT IMAGE}. Fail would have the<br>
> semantic that a text failure is expected, and image result if any can either<br>
> pass or fail.<br>
<br>
</div></div>I too would like to see us remove TEXT+IMAGE.  It's really confusing<br>
to non-experts, and it doesn't scale as we introduce new kinds of<br>
failures (like Audio).  Do we really need TEXT+IMAGE+AUDIO,<br>
TEXT+AUDIO, and IMAGE+AUDIO?<br></blockquote><div><br></div><div>+1 to that. Also, I can never remember whether it's IMAGE+TEXT or TEXT+IMAGE (it's IMAGE+TEXT).</div><div><br></div><div>But I agree with Dirk that we should probably discuss about this on a separate thread.</div>

<div><br></div><div>- Ryosuke</div><div><br></div></div>