Логи Xcode — читаем самостоятельно?

В этой публикации попробуем понять, как и где Xcode хранит свои логи, что такое SLF0 и как все это читать, а может быть даже понять, и лучше без IDE, так интереснее.

Без лишних предисловий.

Чтобы посмотреть логи сборки проекта или скажем тестов, в обычной, повседневной разработке, мы идем и смотрим последнюю вкладку тулбара Xcode.

Организация лога в целом читаемая, даже есть возможность все это экспортировать в txt формат.

Но, все это нам мало подходит для автоматизации сбора метрик, скажем для аккумулирования динамики времени сборки модулей при прогоне job‘ы на CI.

Простого пути экспортировать данный лог, в полном объеме для последующей интерпретации конкретных событий нет.

Итак, все логи Xcode собирает и хранит в DerivedData/{ProjectName}/Logs.

Что такое DerivedData

По умолчанию находится по следующему пути:

open ~/Library/Developer/Xcode/DerivedData

Данный путь можно поменять в настройках Xcode:

Собственно, DerivedData хранит всю промежуточную информацию (включая логи), а также артефакты, требуемые для оптимизации последующей сборки.

Внутри папки Logs можно встретить множество логов различных стадий, с которыми мы сталкиваемся во время разработки:

Здесь мы можем найти следующие виды файлов:

• *.xcactivitylog — собственно журнал, который нас будет интересовать далее;

• *.xcresult — bundle, который хранит сводную информацию. Можно открыть в Xcode и посмотреть журналы в том виде, как если бы мы просто открыли последнюю вкладку тулбара;

• LogStoreManifest.plist — содержит сводную информацию в читаемом виде о всех xcactivitylog файлах, можно использовать например для отслеживания готовности очередного журнала с логами.

Читаем xcactivitylog

Итак, файл лога представляет собой сжатый gzip журнал, названием служит уникальный идентификатор UUID.

После распаковки получаем журнал, записанный в формате сериализации SLF0.

SLF010#21%IDEActivityLogSection1@0#39"Xcode.IDEActivityLogDomainType.BuildLog25"Build XCActivityLogParser212"eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9cbbac35a7833c541^0000007fc3632d42^1(1@1#27"com.apple.dt.IDE.LogSection16"Prepare packages212"eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9f73bc45a7833c541^4303c95a7833c541^---0#0#0#46"Compile plug-ins and run any prebuild commands--36"52BE500F-D551-461D-975D-BF4B4AA236BF--0"0(0#0#0#---36"2976A337-D8BA-4626-B5F2-41F0F7CB232E--

На просторах сети нет официальной документации, описывающий данный вид сериализации. Все, что удалось найти — плод трудов энтузиастов, за что им большое спасибо.

Каждый лог начинается с обязательного хедера SLF0.

Далее последовательность токенов в следующем формате:

<side_value><delimiter><side_value>

<side_value> — опциональное значение, и зависит от конкретного разделителя.

Текущая версия SLF0 поддерживает 7 разделителей, каждый из которых является описанием значения конкретного типа:

10#

21%IDEActivityLogSection

4fcbedd82b32c541^

guard let integerValue = UInt64("4fcbedd82b32c541", radix: 16) else { exit(0) } let double =  Double(bitPattern: integerValue.byteSwapped) print(double) // 711219121.857767

-

2(

38%IDEActivityLogCommandInvocationSection

1@

Для удобства понимания данного языка сериализации, набросал описание синтаксиса в виде формы Бэкуса-Наура (может пригодиться при разработке соответствующего синтаксического анализатора):

<header> := SLF0  <integer_delimiter> := # <double_delimiter> := ^ <null_delimiter> := - <string_delimiter> := " <array_delimiter> := ( <class_name_delimiter> := % <class_instance_delimiter> := @  <delimiter> := <integer_delimiter>|<double_delimiter>|<null_delimiter>|<string_delimiter>|<array_delimiter>|<class_name_delimiter>|<class_instance_delimiter> <side_value> := <character>|<digit>|<side_value><character>| <side_value><digit> <value> := [<side_value>]<delimiter>[<side_value>] <log> := <value>|<log><value>  <all_log> := <header><log>

Единственное, расписывать что такое <digit> и <character> не стал, думаю и так понятно.

Итак, зная все вышеперечисленные синтаксические и семантические правила, попробуем прочитать какой-нибудь конкретный лог (из примера выше), после чтения получаем следующий список токенов, идущих один за одним (использую написанный tokenizer):

integer(10) class_name("IDEActivityLogSection") class_instance(1) integer(0) string("Xcode.IDEActivityLogDomainType.BuildLog") string("Build XCActivityLogParser") string("eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9") double(711389365.529138) double(63113904000.0) array(1) class_instance(1) integer(1) string("com.apple.dt.IDE.LogSection") string("Prepare packages") string("eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9") double(711389365.53308) double(711389365.570412) null null null integer(0) integer(0) integer(0) string("Compile plug-ins and run any prebuild commands") null null string("52BE500F-D551-461D-975D-BF4B4AA236BF") null null string("") array(0) integer(0) integer(0) integer(0) null null null string("2976A337-D8BA-4626-B5F2-41F0F7CB232E") null null

На первый взгляд, все очень страшно и не менее понятно, чем было до этого. Однако, попробуем все же разобраться.

Для начала, прошу обратить внимание на имена классов, на самом деле их ограниченное количество, на момент написания статьи:

• IDEActivityLogSection

• IDEActivityLogCommandInvocationSection

• IDEActivityLogUnitTestSection

• IDEActivityLogMajorGroupSection

• IDEActivityLogMessage

• DVTDocumentLocation

• DVTTextDocumentLocation

При попытке найти информацию о вышеперечисленных типах, становится понятно, что все они описаны в приватном фреймворке IDEFoundation.framework, который является частью Xcode и по умолчанию находится по адресу:

open /Applications/Xcode.app/Contents/Frameworks/IDEFoundation.framework/Versions/A/

Далее, посредством Reverse engineering можно все эти классы отыскать и воспроизвести их набор полей, для последующего сопоставления со значениями токенов, полученных выше (все производимые манипуляции — в исследовательских целях).

Ради интереса я покопался с ktool и смог без особого труда получить описание всех классов:

ktool dump --headers /Applications/Xcode.app/Contents/Frameworks/IDEFoundation.framework/Versions/A/IDEFoundation

Приведу в пример IDEActivityLogSection, ради удобства — только его инициализатор, который отражает все нужные нам поля:

-(id)initWithSectionType:(NSInteger)arg0               domainType:(id)arg1                    title:(id)arg2                 subtitle:(id)arg3                 location:(id)arg4                signature:(id)arg5     timeStartedRecording:(CGFloat)arg6     timeStoppedRecording:(CGFloat)arg7              subsections:(id)arg8                     text:(id)arg9                 messages:(id)arg10             wasCancelled:(char)arg11      wasFetchedFromCache:(char)arg12 commandDetailDescription:(id)arg13               resultCode:(NSInteger)arg14         uniqueIdentifier:(id)arg15    localizedResultString:(id)arg16         xcbuildSignature:(id)arg17

Единственная проблема, что порядок токенов не соответствует порядку, полученному при исследовании фреймворка.

Однако, ребята из тулзы XCLogParser уже все нашли и сопоставили, большое им спасибо, как выглядят все полученные типы с правильным порядком полей, можно посмотреть здесь.

К примеру, итоговые поля с верным порядком для IDEActivityLogSection :

public let sectionType: Int8 public let domainType: String public let title: String public let signature: String public let timeStartedRecording: Double public var timeStoppedRecording: Double public var subSections: [IDEActivityLogSection] public let text: String public let messages: [IDEActivityLogMessage] public let wasCancelled: Bool public let isQuiet: Bool public var wasFetchedFromCache: Bool public let subtitle: String public let location: DVTDocumentLocation public let commandDetailDesc: String public let uniqueIdentifier: String public let localizedResultString: String public let xcbuildSignature: String

Зная все это, попробуем расшифровать полученные токены:

Первый токен — всегда версия формата сериализации SLF0, в нашем случае 10-я:

integer(10) // Версия SLF0

Далее идет первое объявление имени типа, на которое будут ссылаться токены с типом class_instance:

class_name("IDEActivityLogSection") // Название класса (нужно для понимания, к какому типу относятся поля у class_instance)

Ниже начинается описание первого объекта со значениями его параметров, class_instance(1) указывает, что следующие токены следует интерпретировать как class_name, который указан под соответствующим относительным индексом 1, в нашем случае — IDEActivityLogSection:

class_instance(1) // Указывает, что объект типа IDEActivityLogSection  integer(0) // sectionType string("Xcode.IDEActivityLogDomainType.BuildLog") // domainType string("Build XCActivityLogParser") // title string("eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9") // signature double(711389365.529138) // timeStartedRecording (TimeInterval) double(63113904000.0) // timeStoppedRecording (TimeInterval)

Следом идет объявление массива, за которым идет описание его элементов:

array(1) // Массив из одного элемента  class_instance(1) // Элемент массива, также типа IDEActivityLogSection  integer(1) // sectionType string("com.apple.dt.IDE.LogSection") // domainType string("Prepare packages") // title string("eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9") double(711389365.53308) // timeStartedRecording (TimeInterval) double(711389365.570412) // timeStoppedRecording (TimeInterval) null // subSections null // text null // messages integer(0) // wasCancelled integer(0) // isQuiet integer(0) // wasFetchedFromCache string("Compile plug-ins and run any prebuild commands") // subtitle null // location null // commandDetailDesc string("52BE500F-D551-461D-975D-BF4B4AA236BF") // uniqueIdentifier null // localizedResultString null // xcbuildSignature

И, напоследок, оставшиеся поля у корневой секции:

string("") // text array(0) // messages integer(0) // wasCancelled integer(0) // isQuiet integer(0) // wasFetchedFromCache null // subtitle null // location null // commandDetailDesc string("2976A337-D8BA-4626-B5F2-41F0F7CB232E") // uniqueIdentifier null // localizedResultString null // xcbuildSignature

Для удобства понимания, итоговой парсинг журнала, записанным в формате json:

{    "version": 10,    "mainSection": {       "sectionType": 0,       "domainType": "Xcode.IDEActivityLogDomainType.BuildLog",       "title": "Build XCActivityLogParser",       "signature": "eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9",       "timeStartedRecording": 711389365.529138,       "timeStoppedRecording": 63113904000.0,       "subSections": [          {             "sectionType": 1,             "domainType": "com.apple.dt.IDE.LogSection",             "title": "Prepare packages",             "signature": "eyJ0eXBlIjp7ImJsdWVwcmludFByb3ZpZGVyIjp7fX0sImJsdWVwcmludFByb3ZpZGVyX3Byb3ZpZGVyRmlsZVBhdGhTdHJpbmciOiJcL1VzZXJzXC92b3JvYnlvdlwvRG9jdW1lbnRzXC9YQ0FjdGl2aXR5TG9nUGFyc2VyXC9YQ0FjdGl2aXR5TG9nUGFyc2VyLnhjb2RlcHJvaiJ9",             "timeStartedRecording": 711389365.53308,             "timeStoppedRecording": 711389365.570412,             "subSections": null,             "text": null,             "messages": null,             "wasCancelled": false,             "isQuiet": false,             "wasFetchedFromCache": false,             "subtitle": "Compile plug-ins and run any prebuild commands",             "location": null,             "commandDetailDesc": null,             "uniqueIdentifier": "52BE500F-D551-461D-975D-BF4B4AA236BF",             "localizedResultString": null,             "xcbuildSignature": null          }       ],       "text": "",       "messages": [],       "wasCancelled": false,       "isQuiet": false,       "wasFetchedFromCache": false,       "subtitle": null,       "location": null,       "commandDetailDesc": null,       "uniqueIdentifier": "2976A337-D8BA-4626-B5F2-41F0F7CB232E",       "localizedResultString": null,       "xcbuildSignature": null    } }

Собственно, это все, что я хотел рассказать. В полученном, удобочитаемом виде можно лог исследовать и вычленить ту информацию, которая может быть вам полезна в своих проектах.

Спасибо за внимание!

Полезные ссылки:

• https://github.com/MobileNativeFoundation/XCLogParser/blob/master/docs/Xcactivitylog Format.md

• https://speakerdeck.com/iosdevelopersmexico/xclogparser-switui-primeras-impresiones

• https://techlife.cookpad.com/entry/2017/12/08/124532

Подписывайте на мои соц. сети:

• LinkedIn

• Twitter

• Threads