Closed Bug 937024 Opened 6 years ago Closed 6 years ago

Preprocessor refactor broke UX builds

Categories

(Firefox Build System :: General, defect, blocker)

defect
Not set
blocker

Tracking

(Not tracked)

RESOLVED FIXED
Future

People

(Reporter: Gijs, Assigned: Gijs)

References

Details

(Whiteboard: [Australis:M9][Australis:P1])

Attachments

(1 file)

/builds/slave/ux-osx64-d-0000000000000000000/build/obj-firefox/_virtualenv/bin/python /builds/slave/ux-osx64-d-0000000000000000000/build/config/Preprocessor.py \
	  --marker "%" -D TAB_SIDE=start \
	  -DX_DISPLAY_MISSING=1 -DHAVE_64BIT_OS=1 -DJSGC_INCREMENTAL=1 -DMOZ_ENABLE_PROFILER_SPS=1 -DMOZILLA_VERSION=\"28.0a1\" -DMOZILLA_VERSION_U=28.0a1 -DMOZILLA_UAVERSION=\"28.0\" -DXP_MACOSX=1 -DXP_DARWIN=1 -DD_INO=d_ino -DMOZ_DEBUG_SYMBOLS=1 -DSTDC_HEADERS=1 -DHAVE_SSIZE_T=1 -DHAVE_ST_BLKSIZE=1 -DHAVE_SIGINFO_T=1 -DHAVE_VISIBILITY_HIDDEN_ATTRIBUTE=1 -DHAVE_VISIBILITY_ATTRIBUTE=1 -DHAVE_DIRENT_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MEMORY_H=1 -DHAVE_UNISTD_H=1 -DHAVE_NL_TYPES_H=1 -DHAVE_X11_XKBLIB_H=1 -DHAVE_CPUID_H=1 -DHAVE_SYS_TYPES_H=1 -DHAVE_NETINET_IN_H=1 -DHAVE_SIN_LEN=1 -DHAVE_SCONN_LEN=1 -DHAVE_SIN6_LEN=1 -DHAVE_SA_LEN=1 -DHAVE_SYS_CDEFS_H=1 -DHAVE_DLADDR=1 -DHAVE_MEMMEM=1 -DNO_X11=1 -DHAVE_RANDOM=1 -DHAVE_STRERROR=1 -DHAVE_LCHOWN=1 -DHAVE_FCHMOD=1 -DHAVE_SNPRINTF=1 -DHAVE_MEMMOVE=1 -DHAVE_STAT64=1 -DHAVE_LSTAT64=1 -DHAVE_SETBUF=1 -DHAVE_ISATTY=1 -DHAVE_FLOCKFILE=1 -DHAVE_LOCALTIME_R=1 -DHAVE_STRTOK_R=1 -DHAVE_LANGINFO_CODESET=1 -DVA_COPY=va_copy -DHAVE_VA_COPY=1 -DHAVE_VA_LIST_AS_ARRAY=1 -DMALLOC_H=\<malloc/malloc.h\> -DHAVE_STRNDUP=1 -DHAVE_I18N_LC_MESSAGES=1 -DHAVE_LOCALECONV=1 -DNS_ATTR_MALLOC=__attribute__\(\(malloc\)\) -DNS_WARN_UNUSED_RESULT=__attribute__\(\(warn_unused_result\)\) -DNIGHTLY_BUILD=1 -DMOZ_UPDATE_CHANNEL=default -DEARLY_BETA_OR_EARLIER=1 -DMOZ_PHOENIX=1 -DMOZ_BUILD_APP=browser -DMOZ_WIDGET_COCOA=1 -DMOZ_INSTRUMENT_EVENT_LOOP=1 -DMOZ_DISTRIBUTION_ID=\"org.mozilla\" -DIBMBIDI=1 -DACCESSIBILITY=1 -DNS_PRINTING=1 -DNS_PRINT_PREVIEW=1 -DMOZ_WEBRTC=1 -DMOZ_WEBRTC_ASSERT_ALWAYS=1 -DMOZ_WEBRTC_SIGNALING=1 -DMOZ_PEERCONNECTION=1 -DMOZ_SCTP=1 -DMOZ_SRTP=1 -DMOZ_SAMPLE_TYPE_FLOAT32=1 -DMOZ_WEBSPEECH=1 -DMOZ_RAW=1 -DMOZ_OGG=1 -DATTRIBUTE_ALIGNED_MAX=64 -DMOZ_WEBM=1 -DMOZ_APPLEMEDIA=1 -DMOZ_MEDIA_NAVIGATOR=1 -DMOZ_VP8=1 -DMOZ_VP8_ERROR_CONCEALMENT=1 -DMOZ_VP8_ENCODER=1 -DVPX_X86_ASM=1 -DMOZ_WAVE=1 -DMOZ_SPEEX_RESAMPLER=1 -DMOZ_SOUNDTOUCH=1 -DMOZ_CUBEB=1 -DMOZ_VORBIS=1 -DMOZ_OPUS=1 -DENABLE_SYSTEM_EXTENSION_DIRS=1 -DMOZ_WEBGL=1 -DMOZ_WEBGL_CONFORMANT=1 -DMOZ_GAMEPAD=1 -DMOZ_CRASHREPORTER=1 -DMOZ_CRASHREPORTER_ENABLE_PERCENT=100 -DLIBJPEG_TURBO_X64_ASM=1 -DMOZ_WEBAPP_RUNTIME=1 -DMOZ_SIGNING=1 -DMOZ_ENABLE_SIGNMAR=1 -DMOZ_UPDATER=1 -DMOZ_ENABLE_GTEST=1 -DGTEST_HAS_RTTI=0 -DMOZ_FEEDS=1 -DMOZ_SAFE_BROWSING=1 -DMOZ_URL_CLASSIFIER=1 -DGL_PROVIDER_=1 -DMOZ_LOGGING=1 -DMOZ_DUMP_PAINTING=1 -DNS_TRACE_MALLOC=1 -DJSGC_INCREMENTAL=1 -DJS_GC_ZEAL=1 -DMOZ_PAY=1 -DMOZ_ACTIVITIES=1 -DHAVE___CXA_DEMANGLE=1 -DMOZ_DEMANGLE_SYMBOLS=1 -DHAVE__UNWIND_BACKTRACE=1 -DJS_DEFAULT_JITREPORT_GRANULARITY=3 -DMOZ_OMNIJAR=1 -DMOZ_USER_DIR=\"Mozilla\" -DMOZ_STATIC_JS=1 -DMOZ_TREE_PIXMAN=1 -DHAVE_STDINT_H=1 -DHAVE_INTTYPES_H=1 -DMOZ_TREE_CAIRO=1 -DHAVE_UINT64_T=1 -DMOZ_ENABLE_SKIA=1 -DUSE_SKIA=1 -DUSE_SKIA_GPU=1 -DMOZ_XUL=1 -DMOZ_PROFILELOCKING=1 -DBUILD_CTYPES=1 -DMOZ_PLACES=1 -DMOZ_SOCIAL=1 -DMOZ_SERVICES_COMMON=1 -DMOZ_SERVICES_CRYPTO=1 -DMOZ_SERVICES_HEALTHREPORT=1 -DMOZ_SERVICES_METRICS=1 -DMOZ_SERVICES_SYNC=1 -DMOZ_JSDOWNLOADS=1 -DMOZ_MACBUNDLE_ID=org.mozilla.uxdebug -DMOZ_B2G_VERSION=\"1.0.0\" -DMOZ_B2G_OS_NAME=\"\" -DMOZ_APP_UA_NAME=\"\" -DMOZ_APP_UA_VERSION=\"28.0a1\" -DFIREFOX_VERSION=28.0a1 -DMOZ_TELEMETRY_DISPLAY_REV=2 -DMOZ_DATA_REPORTING=1 -DMOZ_DLL_SUFFIX=\".dylib\" -DXP_UNIX=1 -DMOZ_REFLOW_PERF=1 -DMOZ_REFLOW_PERF_DSP=1 \
	  /builds/slave/ux-osx64-d-0000000000000000000/build/browser/themes/osx/../shared/tab-selected.svg > tab-selected-start.svg
/builds/slave/ux-osx64-d-0000000000000000000/build/obj-firefox/_virtualenv/bin/python: can't open file '/builds/slave/ux-osx64-d-0000000000000000000/build/config/Preprocessor.py': [Errno 2] No such file or directory
make[5]: *** [tab-selected-svg] Error 2
make[4]: *** [browser/themes/osx/export] Error 2

etc.
Assignee: nobody → gijskruitbosch+bugs
Status: NEW → ASSIGNED
Mike, can you doublecheck this patch is correct?
Flags: needinfo?(mh+mozilla)
So this is at the very least not enough on Windows because pymake doesn't like the "%":

https://tbpl.mozilla.org/php/getParsedLog.php?id=30408140&tree=UX&full=1

make.py[7]: Entering directory 'c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\obj-firefox\browser\themes\windows'
Traceback (most recent call last):
  File "c:/builds/moz2_slave/ux-w32-00000000000000000000000/build/build/pymake/make.py", line 21, in <module>
    pymake.process.ParallelContext.spin()
  File "c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\build\pymake\pymake\process.py", line 527, in spin
    c.run()
  File "c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\build\pymake\pymake\process.py", line 457, in run
    cb(*args, **kwargs)
  File "c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\build\pymake\pymake\data.py", line 958, in runcommands
    self._commandcb(False)
  File "c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\build\pymake\pymake\data.py", line 895, in _commandcb
    self.commands.pop(0)(self._commandcb)
  File "c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\build\pymake\pymake\data.py", line 1424, in __call__
    raise DataError("native command '%s': shell metacharacter '%s' in command line" % (self.cline, badchar), self.loc)
pymake.data.DataError: c:\builds\moz2_slave\ux-w32-00000000000000000000000\build\obj-firefox\browser\themes\windows\Makefile:23:0:native command 'mozbuild.action.preprocessor main  --marker "%" -D TAB_SIDE=start -DMOZ_METRO=1 -D_CRT_SECURE_NO_WARNINGS=1 -D_CRT_NONSTDC_NO_WARNINGS=1 -DHAVE_SEH_EXCEPTIONS=1 -DMOZ_MSVC_STL_WRAP__RAISE=1 -DHAVE_WINSDKVER_H=1 -DWINVER=0x502 -D_WIN32_WINNT=0x502 -D_WIN32_IE=0x0603 -DMOZ_WINSDK_TARGETVER=0x06020000 -DMOZ_NTDDI_WIN7=0x06010000 -DMOZ_WINSDK_MAXVER=0x06020000 -DHAVE_IO_H=1 -DHAVE_SETBUF=1 -DHAVE_ISATTY=1 -DX_DISPLAY_MISSING=1 -DJSGC_INCREMENTAL=1 -DMOZ_ENABLE_PROFILER_SPS=1 -DMOZ_PROFILING=1 -DMOZILLA_VERSION=\"28.0a1\" -DMOZILLA_VERSION_U=28.0a1 -DMOZILLA_UAVERSION=\"28.0\" -DHAVE_SNPRINTF=1 -D_WINDOWS=1 -DWIN32=1 -DXP_WIN=1 -DXP_WIN32=1 -DHW_THREADS=1 -DSTDC_HEADERS=1 -DWIN32_LEAN_AND_MEAN=1 -DNO_X11=1 -D_X86_=1 -DD_INO=d_ino -DMOZ_DEBUG_SYMBOLS=1 -DNS_ATTR_MALLOC= -DNS_WARN_UNUSED_RESULT= -DMALLOC_H=\<malloc.h\> -DHAVE_FORCEINLINE=1 -DHAVE_LOCALECONV=1 -DNIGHTLY_BUILD=1 -DNS_ENABLE_TSF=1 -DMOZ_UPDATE_CHANNEL=default -DEARLY_BETA_OR_EARLIER=1 -DMOZ_PHOENIX=1 -DMOZ_BUILD_APP=browser -DMOZ_PDF_PRINTING=1 -DMOZ_INSTRUMENT_EVENT_LOOP=1 -DMOZ_DISTRIBUTION_ID=\"org.mozilla\" -DIBMBIDI=1 -DACCESSIBILITY=1 -DNS_PRINTING=1 -DNS_PRINT_PREVIEW=1 -DMOZ_WEBRTC=1 -DMOZ_WEBRTC_ASSERT_ALWAYS=1 -DMOZ_WEBRTC_SIGNALING=1 -DMOZ_PEERCONNECTION=1 -DMOZ_SCTP=1 -DMOZ_SRTP=1 -DMOZ_SAMPLE_TYPE_FLOAT32=1 -DMOZ_WEBSPEECH=1 -DMOZ_RAW=1 -DMOZ_OGG=1 -DMOZ_WEBM=1 -DMOZ_DIRECTSHOW=1 -DMOZ_WMF=1 -DMOZ_MEDIA_NAVIGATOR=1 -DMOZ_VP8=1 -DMOZ_VP8_ERROR_CONCEALMENT=1 -DMOZ_VP8_ENCODER=1 -DVPX_X86_ASM=1 -DMOZ_WAVE=1 -DMOZ_SPEEX_RESAMPLER=1 -DMOZ_SOUNDTOUCH=1 -DMOZ_CUBEB=1 -DMOZ_VORBIS=1 -DMOZ_OPUS=1 -DENABLE_SYSTEM_EXTENSION_DIRS=1 -DMOZ_WEBGL=1 -DMOZ_WEBGL_CONFORMANT=1 -DMOZ_GAMEPAD=1 -DMOZ_CRASHREPORTER=1 -DMOZ_CRASHREPORTER_INJECTOR=1 -DMOZ_CRASHREPORTER_ENABLE_PERCENT=100 -DLIBJPEG_TURBO_X86_ASM=1 -DMOZ_WEBAPP_RUNTIME=1 -DMOZ_SIGNING=1 -DMOZ_MAINTENANCE_SERVICE=1 -DMOZ_VERIFY_MAR_SIGNATURE=1 -DMOZ_ENABLE_SIGNMAR=1 -DMOZ_UPDATER=1 -DMOZ_ENABLE_GTEST=1 -DGTEST_HAS_RTTI=0 -D_VARIADIC_MAX=10 -DMOZ_FEEDS=1 -DMOZ_SAFE_BROWSING=1 -DMOZ_URL_CLASSIFIER=1 -DGL_PROVIDER_=1 -DMOZ_LOGGING=1 -DMOZ_MEMORY=1 -DMOZ_MEMORY_WINDOWS=1 -DJSGC_INCREMENTAL=1 -DJS_CRASH_DIAGNOSTICS=1 -DMOZ_PAY=1 -DMOZ_ACTIVITIES=1 -DJS_DEFAULT_JITREPORT_GRANULARITY=3 -DMOZ_OMNIJAR=1 -DMOZ_USER_DIR=\"Mozilla\" -DMOZ_TREE_PIXMAN=1 -DHAVE_STDINT_H=1 -DMOZ_TREE_CAIRO=1 -DHAVE_UINT64_T=1 -DMOZ_ENABLE_SKIA=1 -DUSE_SKIA=1 -DSKIA_DLL=1 -DGR_DLL=1 -DUSE_SKIA_GPU=1 -DMOZ_XUL=1 -DMOZ_PROFILELOCKING=1 -DBUILD_CTYPES=1 -DMOZ_PLACES=1 -DMOZ_SOCIAL=1 -DMOZ_SERVICES_COMMON=1 -DMOZ_SERVICES_CRYPTO=1 -DMOZ_SERVICES_HEALTHREPORT=1 -DMOZ_SERVICES_METRICS=1 -DMOZ_SERVICES_SYNC=1 -DMOZ_JSDOWNLOADS=1 -DMOZ_MACBUNDLE_ID=org.mozilla.ux -DMOZ_B2G_VERSION=\"1.0.0\" -DMOZ_B2G_OS_NAME=\"\" -DMOZ_APP_UA_NAME=\"\" -DMOZ_APP_UA_VERSION=\"28.0a1\" -DFIREFOX_VERSION=28.0a1 -DMOZ_TELEMETRY_DISPLAY_REV=2 -DMOZ_TELEMETRY_REPORTING=1 -DMOZ_TELEMETRY_ON_BY_DEFAULT=1 -DMOZ_DATA_REPORTING=1 -DMOZ_DLL_SUFFIX=\".dll\" c:/builds/moz2_slave/ux-w32-00000000000000000000000/build/browser/themes/windows/../shared/tab-selected.svg > tab-selected-start.svg': shell metacharacter '>' in command line
program finished with exit code 1
elapsedTime=1168.198000
Replace > with -o.
Flags: needinfo?(mh+mozilla)
(In reply to Mike Hommey [:glandium] from comment #4)
> Replace > with -o.

https://hg.mozilla.org/projects/ux/rev/650572c94814

(after try push because my local Windows build doesn't seem to complain with the state before this patch... mozmake vs. pymake difference, perhaps? https://tbpl.mozilla.org/?tree=Try&rev=2c17df509f19 )
Status: ASSIGNED → RESOLVED
Closed: 6 years ago
Resolution: --- → FIXED
Whiteboard: [Australis:M9][Australis:P1] → [Australis:M9][Australis:P1][fixed-in-ux]
Target Milestone: --- → Future
https://hg.mozilla.org/mozilla-central/rev/ee69898d2bc0
https://hg.mozilla.org/mozilla-central/rev/650572c94814
Whiteboard: [Australis:M9][Australis:P1][fixed-in-ux] → [Australis:M9][Australis:P1]
Product: Core → Firefox Build System
You need to log in before you can comment on or make changes to this bug.