<div dir="ltr">As we have preciously discussed, we should NEVER commit new tests into LayoutTests/imported/w3c/web-platform-tests.<div><br></div><div>As long as that invariant is kept, I don't care where the test is reviewed.</div><div><br></div><div>- R. Niwa</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 23, 2018 at 1:12 PM, Amal Hussein <span dir="ltr"><<a href="mailto:amal@bocoup.com" target="_blank">amal@bocoup.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>To elaborate on Youenn's point regarding wip improvements on <i><b>importing</b></i> WPT:  </div><div><br></div><div><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">The wpt import script is currently being updated with an enhanced git workflow to identify renames, git moves, and deleted files. By default it will output a report of changes, and when run with a </span><b style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial">--update-files<span> </span></b><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">flag, it will update the webkit result files (snapshots, expectations, etc).</span><br></div><div><br></div><div>Additionally, the wpt test runner is being enhanced to support the detection, and processing of all types of test result scenrios (new failures, new passing results, etc). By default, a report of the changes needed will be generated, and a flag will be used to implementation the proposed changes. This supports both a local development workflow where tests can be run without side effects, and a workflow where we can choose to generate/update the webkit test result files.</div><div><br></div><div>The goal is to automate as much of the import workflow as possible, and generate a patch with <span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">updates to exisiting result files, </span>newly imported WPT tests, newly created webkit result files.<br></div><div><br></div><div>In a future iteration, we plan to work with the infra team to open those PRs on demand, or via chron job that would run once a day. We can either use a keyword (ex: <b>wpt-sync-bot</b>)  or the bot user account to drive permissions for who can merge, whether the bot should make a new PR or update an open PR, etc. We have not fleshed out the specifics of the bot patch process, but I hope you get a sense of the coming enhancements to support the import workflow.</div><div><br></div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Wed, May 23, 2018 at 10:37 AM, youenn fablet <span dir="ltr"><<a href="mailto:youennf@gmail.com" target="_blank">youennf@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I think WebKitten should be able to choose between 1 and 2 on a per patch basis.<div><div><br></div><div>In both cases, Tools/Script/export-w3c-test-c<wbr>hanges can be used to help upstreaming to WPT.<br><div>The WPT exporter can push the changes to a branch in a GitHub WPT clone.</div><div>It can also create the WPT PR on behalf of the WebKitten.</div><div><br></div><div>As requested by some folks, integration of WPT exporter with webkit-patch is on its way (<a href="https://bugs.webkit.org/show_bug.cgi?id=184914" target="_blank">https://bugs.webkit.org/show_<wbr>bug.cgi?id=184914</a>)<div><br></div><div>Any WPT PR that is reviewed downstream in WebKit can be merged without further WPT review.</div><div>At the moment, given the WPT infra and the way we currently create WebKit PR, not every WebKitten is allowed to merge such PRs directly.</div><div>Please cc/ping me in such a case.</div><div>    Y</div><div><br></div><div><div class="gmail_quote"><div dir="ltr">Le mer. 23 mai 2018 à 02:41, Frédéric Wang <<a href="mailto:fwang@igalia.com" target="_blank">fwang@igalia.com</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
When implementing new platform features in WebKit, some of us write new<br>
WPT tests in order to verify spec conformance. One of the reason to use<br>
this format is that the tests can then be easily shared with web engine<br>
developers and people involved in standardization, an important feature<br>
for web platform developers.<br>
<br>
Youenn has shared various ideas to export such WPT tests to the W3C<br>
GitHub repository in the past [1] [2] [3] but I'm not sure the WebKit<br>
community has reached an agreement.<br>
<br>
There are basically two ways to proceed:<br>
<br>
1) Either submit WPT tests to GitHub (or Mozilla / Chromium) repository,<br>
get them reviewed and do the import within the patch that implements the<br>
feature in WebKit.<br>
<br>
2) Or submit the patch with new WPT tests to WebKit, get it reviewed and<br>
export it to GitHub (later sync with Mozilla / Chromium).<br>
<br>
The first option has the advantage to get more people involved in test<br>
review, which sometimes gives faster replies or useful advice from<br>
people who more familiar with the spec. However, the second option has<br>
the advantage of not splitting the coding & testing parts and is better<br>
for the WebKit implementers and reviewers. That latter option also<br>
aligns with what Mozilla and Chromium developers do.<br>
<br>
Can we please agree on a way to proceed? And add documentation somewhere<br>
for developers/reviewers?<br>
<br>
Thanks!<br>
<br>
<br>
[1] <a href="https://lists.webkit.org/pipermail/webkit-dev/2017-March/028884.html" rel="noreferrer" target="_blank">https://lists.webkit.org/piper<wbr>mail/webkit-dev/2017-March/<wbr>028884.html</a><br>
[2] <a href="https://lists.webkit.org/pipermail/webkit-dev/2017-April/028932.html" rel="noreferrer" target="_blank">https://lists.webkit.org/piper<wbr>mail/webkit-dev/2017-April/<wbr>028932.html</a><br>
[3] <a href="https://lists.webkit.org/pipermail/webkit-dev/2017-December/029837.html" rel="noreferrer" target="_blank">https://lists.webkit.org/piper<wbr>mail/webkit-dev/2017-December/<wbr>029837.html</a><span class="m_-5943235184413312830HOEnZb"><font color="#888888"><br>
<br>
-- <br>
Frédéric Wang - <a href="http://frederic-wang.fr" rel="noreferrer" target="_blank">frederic-wang.fr</a><br>
<br>
<br>
______________________________<wbr>_________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a><br>
<a href="https://lists.webkit.org/mailman/listinfo/webkit-dev" rel="noreferrer" target="_blank">https://lists.webkit.org/mailm<wbr>an/listinfo/webkit-dev</a><img alt="" src="https://ssl.gstatic.com/bt/C3341AA7A1A076756462EE2E5CD71C11/1x/btw_ic_close_white_12dp.png" style="font-family:-webkit-standard"><br>
</font></span></blockquote></div></div></div></div></div></div>
<br>______________________________<wbr>_________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a><br>
<a href="https://lists.webkit.org/mailman/listinfo/webkit-dev" rel="noreferrer" target="_blank">https://lists.webkit.org/mailm<wbr>an/listinfo/webkit-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div class="m_-5943235184413312830gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><b>Amal Hussein</b><div><i>Sr Open Web Engineer |</i> Bocoup</div><div><a href="https://bocoup.com/" target="_blank">https://bocoup.com/</a></div></div></div></div></div>
</font></span></div>
<br>______________________________<wbr>_________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a><br>
<a href="https://lists.webkit.org/mailman/listinfo/webkit-dev" rel="noreferrer" target="_blank">https://lists.webkit.org/<wbr>mailman/listinfo/webkit-dev</a><br>
<br></blockquote></div><br></div></div>