Привет, Хабр! На связи Кирилл Веркин. Вообще, я занимаю в СберМаркете должность Senior QA, но ради большей производительности команды жизнь заставила стать немного кодером.
Эта статья может быть интересна тем, кто замечает, что задачи в команде часто теряются, и хочет автоматизировать процесс напоминалок. Я делюсь кодом, поясняя ключевые моменты для таких же новичков в Go. Мой код написан для сочетания GitLab, Jira и Mattermost (корпоративный мессенджер, которым мы пользуемся в СберМаркете), но подобное решение можно реализовать и с другими сервисами.
Зачем нужен бот
Кросс-функциональная команда, к которой я отношусь, состоит из фронтенд-разработчика, мобильного разработчика и трех бэкендеров (с учетом тимлида). Фронтенд и мобильный код уходят на ревью за пределы команды, а вот бэкендеры сами проверяют друг друга, то есть ответственность за поставку бэкенда на тестирование лежит на них. С этим и была связана проблема: мои коллеги забывали проверять задачи на ревью, оно занимало по несколько дней и, соответственно, снижало скорость выхода на продакшен.
Мы видели проседания на графиках, тимлид и проджект выносили вопрос на ретроспективу. Изначально договорились, что каждый из бэкендеров по утрам должен смотреть мердж-реквесты. К сожалению, это не дало плодов, задачи на ревью продолжили ускользать от внимания. Тогда я решил пинговать ответственных в рабочем мессенджере. В мое отсутствие этим занимался тимлид. Проджект-менеджер заметила, что мы тратим время на ручные напоминания, и предложила автоматизировать процесс.
Если на этом моменте вам показалось, что это точно не входит в работу тестировщика, то доля правды в этом есть 🙂 Но такой я человек, с активной жизненной позицией. Я уже писал на Хабре о том, как повысил инженерную культуру своей команды по модели ТММ, не обладая «властью» тимлида. Прочитать можно вот тут.
Первая версия бота
После мини-исследования проджект выяснила, что мы не единственные, кто столкнулся с такой проблемой, и что внутри компании уже есть код для подобных уведомлений. Я подумал, что воспользоваться работающим ботом не так трудно, Ctrl+C — Ctrl+V, и взял на себя задачу по его внедрению в канал команды на платформе Mattermost.
Изначальный код был написан на Ruby и запускался через Schedules в GitLab. Раз в сутки, по будням, соответствующая Job включалась и присылала в канал табличку с мердж-реквестами. Пара правок — и бот начал работать в канале нашей команды. Я, наивный, почувствовал в себе прогерскую мощь 🙂
На этом текст мог бы завершиться, но…
Довольно быстро стало понятно, что эти уведомления нам не подходят: бот пинговал не тех, кто должен был провести ревью, а авторов мердж-реквестов. Им же требовалось снова пинговать ревьюеров. Сами ревьюеры не смотрели таблицу регулярно. То есть ситуация не изменилась, только добавилось звено в виде бота.
Так в игру вступил новый бот.
Рождение нового бота
Чтобы бот соответствовал потребностям нашей команды, он должен был, как и первый, отображать ссылки на мердж-реквесты, но при этом пинговать не авторов, а ревьюеров. Кроме того, я хотел, чтобы уведомления не приходили не только в выходные, но и по праздникам.
Также бот должен был быть связан со статусами в Jira:
-
Code Review — присылает автору уведомление, что можно переводить задачу в тестирование.
-
Ready for Test — присылает уведомление QA, то есть мне, что можно начинать тестирование.
-
Tested — присылает автору уведомление, что код протестирован и его можно деплоить.
-
Needs Refinement — присылает автору уведомление, что есть баги и требуется доработка.
-
Ready for Deploy — присылает автору уведомление, что задача ждет выхода на продакшен. Это полезно, когда релиз-инженеру нужно дополнительное напоминание от автора, чтобы забрать задачу, или когда разработчики забывают проставить нужные лейблы для выкатки в GitLab.
Вместо того чтобы править готовый код, было решено писать новый. С нашей стороны было бы неэтично прийти к код-овнерам и сказать, что нам не нравится, какой функционал они обеспечили, и что мы ждем апрув для своих правок. Со своим уставом в чужой монастырь не ходят 🙂
Вместо Ruby выбрали Golang: это основной язык, который используется в нашей команде. Так мы можем рефакторить бот быстро и без привлечения сторонних сотрудников. Кроме того, тимлид сказал, что если я выучу Go, то в случае глобальной загрузки подхвачу задачи коллег.
В СберМаркете работает менторская система. В ней участвует несколько десятков сотрудников из разных направлений. Каждому присвоен профиль в корпоративной вики — с перечислением скиллов и вопросов, с которыми можно обратиться. Я попросил разработчика из своей команды взять меня в менти, вот тут Лешин профиль на Хабре.
А дальше закрутилось: кипа внутренних материалов, внутренний курс по Go, много парного программирования и менторского терпения. Прошел я и общедоступный курс A Tour of Go: он бесплатный, занимает примерно пять часов. Мне кажется, это хороший способ получить представление о языке.
Непосредственно код
Вот что у нас получилось:
package main import ( "encoding/json" "fmt" "notification-bot/utils" "os" "regexp" ) const ( statusCodeReview = "5" statusNeedsRefinement = "6" statusReadyForTest = "7" statusTested = "8" statusReadyForDeploy = "9" statusTesting = "10" ) var Authors = []string{ "vasya.ytkin", "vasya.pupkin", "vasya.ymkin", } var HeadersGitLab = map[string]string{"PRIVATE-TOKEN": os.Getenv("GITLAB_TOKEN")} var HeadersJira = map[string]string{"Authorization": os.Getenv("JIRA_TOKEN")} var GitlabProjectsUrl = os.Getenv("GITLAB_PROJECTS_URL")} var GitlabMergeRequestsUrl = os.Getenv("GITLAB_MERGE_REQUESTS_URL")} var JiraProjectUrl = os.Getenv("JIRA_PROJECT_URL")} var JiraTaskUrl = os.Getenv("JIRA_TASK_URL")} func main() { table := "| Автор | МР | Ревьюеры |\n|:-------------|:---------------:|:---------------:|\n" var showTable bool var mr string taskIdTemplate := regexp.MustCompile(`[A-Z]+-[0-9]+`) taskList, err := getTaskList() if err != nil { panic(fmt.Sprintf("getTaskList: %s", err.Error())) } // Цикл перебирает авторов/пользователей for i := 0; i < len(Authors); i++ { // GetRequest получает данные о МР пользователя text, err := utils.GetRequest(GitlabMergeRequestsUrl+Authors[i]+ "&scope=all&state=opened&page=1&per_page=50&wip=no", HeadersGitLab) if err != nil { panic(fmt.Sprintf("getRequest: %s", err.Error())) } //Список МР пользователя var data []map[string]any // Мапим json в структуру err = json.Unmarshal(text, &data) if err != nil { panic(fmt.Sprintf("json.Unmarshal: %s", err.Error())) } //Если есть МР if len(data) != 0 { // Буфер для хранения МР var usersMrs string //Перебирает МР for j := 0; j < len(data); j++ { //Получаем список тех, кто должен поставить апрув approvers, err := getApprovers(data[j]["project_id"].(float64), data[j]["iid"].(float64)) if err != nil { panic(fmt.Sprintf("getApprovers: %s", err.Error())) } //Список тех, кто еще не поставил апрув reviewers := getReviewers(Authors[i], approvers) //Если все поставили апрув if reviewers == "" { title := data[j]["title"].(string) //Получает ID задачи из названия МР taskId := taskIdTemplate.FindString(title) //Если мы не нашли ID if taskId == "" { continue } status := taskList[taskId] //Определяем строку для вывода в зависимости от статуса задачи switch status { case statusCodeReview: reviewers = fmt.Sprintf("@%s переведи в тестирование задачу "+ "[%s](JiraTaskUrl%s)", Authors[i], taskId, taskId) case statusNeedsRefinement: reviewers = fmt.Sprintf("@%s нужны уточнения по задаче "+ "[%s](JiraTaskUrl%s)", Authors[i], taskId, taskId) case statusTested: reviewers = fmt.Sprintf("@%s протестирована задача, можно катить "+ "[%s](JiraTaskUrl%s)", Authors[i], taskId, taskId) case statusReadyForDeploy: reviewers = fmt.Sprintf("@%s готова к выкатке задача "+ "[%s](JiraTaskUrl%s)", Authors[i], taskId, taskId) case statusReadyForTest: reviewers = fmt.Sprintf("@kirill.verkin можно тестировать задачу "+ "[%s](JiraTaskUrl%s)", taskId, taskId) case statusTesting: continue default: reviewers = fmt.Sprintf("@%s проверь статус задачи "+ "[%s](JiraTaskUrl%s)", Authors[i], taskId, taskId) } } //Запоминаем МР mr = fmt.Sprintf("[№-%s](%s)", (data[j]["reference"]).(string), data[j]["web_url"]) usersMrs += fmt.Sprintf("| | %s | %s |\n", mr, reviewers) } // Добавляем в таблицу автора и МР, если есть МР if usersMrs != "" { //Флаг для отображения таблицы showTable = true table += fmt.Sprintf("| %s |\n", Authors[i]) table += usersMrs } } } // Определяем, есть ли данные в таблице if !showTable { table = "#### Если появятся МР в течение дня, напиши в тред" } // Выводим, если рабочий день if utils.IsWorkingDay() { err := utils.Send(table, "MR(ы) команды", "gull_scream") if err != nil { panic(fmt.Sprintf("Send: %s", err.Error())) } } } А теперь по частям!
Для лучшего восприятия кода мы разделили его по функциям. В функции getApprovers() происходит перебор тех, кто должен поставить апрув:
func getApprovers(projectId, iid float64) ([]string, error) { var result []string text, err := utils.GetRequest(fmt.Sprintf(GitlabProjectsUrl, int32(projectId), int32(iid)), HeadersGitLab) if err != nil { return nil, fmt.Errorf("getRequest: %w", err) } var data map[string]any err = json.Unmarshal(text, &data) if err != nil { return nil, fmt.Errorf("json.Unmarshal: %w", err) } rules := data["rules"].([]interface{}) for i := 0; i < len(rules); i++ { rule := rules[i].(map[string]any) approvers := rule["approved_by"].([]interface{}) for j := 0; j < len(approvers); j++ { approver := approvers[j].(map[string]any) result = append(result, approver["username"].(string)) } } return result, nil } В функции getReviewers() перебирает авторов, которые не поставили апрув в мердж-реквесте:
func getReviewers(author string, approvers []string) string { var reviewers string Peoples: for i := 0; i < len(Authors); i++ { if author == Authors[i] { continue } for j := 0; j < len(approvers); j++ { if Authors[i] == approvers[j] { continue Peoples } } reviewers += fmt.Sprintf("@%s ", Authors[i]) } return reviewers } В функции getTaskList() происходит перебор задач в проекте:
func getTaskList() (map[string]string, error) { tasks := make(map[string]string) jiraReq, err := utils.GetRequest(JiraProjectUrl, HeadersJira) if err != nil { return nil, fmt.Errorf("getRequest: %w", err) } var jiraData map[string]any err = json.Unmarshal(jiraReq, &jiraData) if err != nil { return nil, fmt.Errorf("json.Unmarshal: %w", err) } issuesData := jiraData["issuesData"].(map[string]any) issues := issuesData["issues"].([]interface{}) for i := 0; i < len(issues); i++ { item := issues[i].(map[string]any) key := item["key"].(string) statusId := item["statusId"].(string) tasks[key] = statusId } return tasks, nil } Участки кода залогированы, чтобы было понятно, на что смотреть, если возникнет ошибка. Поэтому во всех вызываемых функциях возвращаем ошибки. Например, в функции getApprovers() это выглядит так:
var data map[string]any err = json.Unmarshal(text, &data) if err != nil { return nil, fmt.Errorf("json.Unmarshal: %w", err) } Вот так в главную функцию main зашита паника (непредвиденная ошибка, которая приводит прекращению работы и закрытию Go-программы):
taskList, err := getTaskList() if err != nil { panic(fmt.Sprintf("getTaskList: %s", err.Error())) } Для проверки производственного календаря мы подключили внешнюю библиотеку, которая доступна по ссылке. Она есть и для других языков. Я подумал, что библиотека может вернуть непредвиденный результат, поэтому мы реализовали соответствующую проверку:
func IsWorkingDay() bool { countryCode := isdayoff.CountryCodeRussia day, err := isdayoff.New().Today(isdayoff.Params{ CountryCode: &countryCode, }) if err != nil { fmt.Printf("IsWorkingDay: %s", err.Error()) return true } return *day != isdayoff.DayTypeNonWorking } Общие куски кода вынесли в отдельный пакет, так как в корневом пакете у нас лежат боты и утилиты там мешались.
package utils import ( "bytes" "encoding/json" "fmt" "io" "net/http" "os" "github.com/anatoliyfedorenko/isdayoff" ) В функции Send() происходит отправка сообщения с атрибутами (заголовок, описание, эмодзи) в канал Mattermost:
func Send(text, username, emoji string) error { message := map[string]string{ "text": text, "username": username, "icon_emoji": emoji, } data, err := json.Marshal(message) if err != nil { return fmt.Errorf("json.Marshal: %w", err) } r := bytes.NewReader(data) _, err = http.Post(os.Getenv("MATTERMOST_HOOK_URL"), "application/json", r) if err != nil { return fmt.Errorf("http.Post: %w", err) } return nil } В функции GetRequest() получаем данные по атрибуту URL-назначения:
func GetRequest(url string, headers map[string]string) ([]byte, error) { req, err := http.NewRequest("GET", url, nil) if err != nil { return nil, fmt.Errorf("getRequest: %w", err) } for k, v := range headers { req.Header.Set(k, v) } client := http.Client{} resp, err := client.Do(req) if err != nil { return nil, fmt.Errorf("client.Do: %w", err) } text, err := io.ReadAll(resp.Body) if err != nil { return nil, fmt.Errorf("ReadAll: %w", err) } return text, nil } От Schedules мы отказываться не стали. Бот так же раз в сутки присылает уведомление в канал, но теперь делает запрос в производственный календарь для проверки нерабочих дней.
Вот так сейчас выглядит уведомление с мердж-реквестами:
Позже добавили ботов, которые присылают уведомления по дням рождения сокомандников, дейли-статусам (если человек по какой-то причине отсутствовал на встрече) и скорингу сервисов. Скоринг — это внутренний сервис СберМаркета, который снимает метрики и показывает, что можно улучшить.
Что было дальше
Команде очень понравился результат. Сравните, как выглядели метрики до внедрения бота и как они выглядят сейчас:
Среднее время нахождения задачи на ревью сократилось с 24 рабочих часов до восьми. Максимальное время раньше было больше недели, а сейчас это три с половиной дня.
Проект прокачал Лешу как ментора, а мне дал ощутимый буст как начинающему кодеру и помог в основной занятости: из тестировщика, который спрашивал, на что могут повлиять правки в коде, стал тем, кто сам может посмотреть код, заметить задетые участки и направить на них тест.
Одна команда из СберМаркета уже забрала наш код на переиспользование. Надеюсь, он будет полезен и кому-то из читателей здесь 🙂
Tech-команда СберМаркета ведет соцсети с новостями и анонсами. Если хочешь узнать, что под капотом высоконагруженного e-commerce, следи за нами в Telegram и на YouTube. А также слушай подкаст «Для tech и этих» от наших it-менеджеров.
ссылка на оригинал статьи https://habr.com/ru/articles/819067/
Добавить комментарий