OpenGrok

Такие проекты как AOSP (Android open source project) или LLVM, содержат в себе примерно 2.5 и 11 миллионов строчек кода соответственно. Встроенный в IDE поиск или grep недостаточно эффективны при работе с такими большими кодовыми базами, не говоря уже о поиске в GitLab или GitHub.

Тем кто работают с Linux Kernel хорошо известен сервис bootlin.com. Именно этого – практически мгновенного структурированного поиска по сложной кодовой базе, не хватает многим открытым и «закрытым» – приватным проектам.

Именно для таких случаев многие крупные копании озаботились разработкой собственных инструментов для индексации и поиска, например Code Search от Google.
На мой взгляд лучшим решением из тех, что есть в открытом доступе является OpenGrok от Oracle.

Давайте рассмотрим как можно уменьшить порог вхождения в проекты со сложной кодовой базой, на простом примере. Для этого нам понадобится OpenGrok, Docker и vcstool.

OpenGrok

OpenGrok прекрасно работает в Docker-контейнерах, поэтому нам не придется долго возится с установкой:

docker run --rm -d \     --name opengrok \     -p 8080:8080/tcp \ -e SYNC_PERIOD_MINUTES="10" \ -v ~/opengrok-src/:/opengrok/src/ \     -v ~/opengrok-etc/:/opengrok/etc/ \     -v ~/opengrok-data/:/opengrok/data/ \     opengrok/docker:latest 

Через несколько минут после запуска веб-интерфейс OpenGrok станет доступен на 8080 порту:

http://IP_ADDRESS:8080 

Перед тем как начать работать с поиском, нужно будет предоставить OpenGrok исходники одного или нескольких проектов.
Vcstool – это «обертка» для нескольких SCM инструментов (git, mercurial, subversion, bazaar), которая облегчает работу с несколькими репозиториями.

Установка vcstool:

yum install python3-pip sudo pip3 install -U vcstool 

Сначала создадим простой манифест со списком необходимых репозиториев:

- git:     local-name: taskflow     uri: https://github.com/taskflow/taskflow.git     version: master - git:     local-name: renode     uri: https://github.com/renode/renode.git     version: master - git:     local-name: cartographer     uri: https://github.com/googlecartographer/cartographer.git     version: master - git:     local-name: pigweed     uri: https://github.com/google/pigweed.git     version: main - git:     local-name: jetson-inference     uri: https://github.com/dusty-nv/jetson-inference.git     version: master - git:    local-name: jetson-containers    uri: https://github.com/dusty-nv/jetson-containers.git    version: master 

Затем используем vcstool для синхронизации:

vcs-import --input repos.yml ~/opengrok-src/ 

Через несколько минут после перезапуска контейнера OpenGrok, проекты станут доступными в веб-интерфейсе.

docker stop opengrok && docker rm opengrok docker run --rm -d \     --name opengrok \     -p 8080:8080/tcp \ -e SYNC_PERIOD_MINUTES="10" \ -v ~/opengrok-src/:/opengrok/src/ \     -v ~/opengrok-etc/:/opengrok/etc/ \     -v ~/opengrok-data/:/opengrok/data/ \     opengrok/docker:latest