Добавление отзывов с фотографиями в S3 с помощью AWS SDK Java

В этой статье рассмотрим реализацию небольшого функционала — добавление отзывов пользователями с возможностью прикрепить фотографии, загрузить их в облако и получить ссылку файл из S3, а именно Yandex Object Storage, используя AWS SDK Java.

Привет! Меня зовут Никита, я начинающий Java разработчик. В одном из своих учебных проектов создал веб-приложение, которое позволяет пользователям делиться информацией об интересных событиях и находить компанию для участия в них.

Одна из фич приложения — добавление отзывов о посещенных событиях. Как и у многих подобных сервисов, возможность добавлять фотографии к своим отзывам — мастхев. Пытаясь правильно реализовать эту функциональность, не смог найти ни одной статьи, в которой можно углубиться в тему комплексно. Поэтому, собрав всю информацию, которая может пригодиться, спешу поделиться своим решением!

Переходим к делу

Архитектура проекта

Java 11, Maven, Spring Boot, Hibernate, Lombok, Docker, RestTemplate, AWS SDK

Проект разделен на два сервиса:

• main — содержит функционал по созданию, удалению и получению отзывов и пользователей. В рамках данного тестового проекта в основном сервисе имеем две основные сущности: Comment и User

• upload — содержит клиент для обработки внутренних запросов из сервиса main и сам функционал добавления фотографий на S3

Для работы с AWS SDK необходимо иметь следующие зависимости в upload-сервисе:

<dependency>     <groupId>com.amazonaws</groupId>     <artifactId>aws-java-sdk</artifactId>     <version>1.12.429</version> </dependency>  <dependency>     <groupId>javax.xml.bind</groupId>     <artifactId>jaxb-api</artifactId>     <version>2.3.1</version> </dependency>

docker-compose.yml:

version: '3.1' services:   upload-service:     build: upload/upload-server     image: upload-server     container_name: upload-server     ports:       - "9090:9090"     environment:       - BUCKET_NAME=your_bucket       - ACCESS_KEY_ID=your_key       - SECRET_KEY=your_secret    s3-service:     build: main     image: main-service     container_name: main-service     ports:       - "8080:8080"     depends_on:       - main-db     environment:       - UPLOAD_SERVER_URL=http://upload-server:9090       - SPRING_DATASOURCE_URL=jdbc:postgresql://main-db:5432/s3-db       - POSTGRES_USER=admin       - POSTGRES_PASSWORD=admin    main-db:     image: postgres:14-alpine     container_name: main-db     ports:       - "6551:5432"     environment:       - POSTGRES_DB=s3-db       - POSTGRES_USER=admin       - POSTGRES_PASSWORD=admin       - TZ=GMT

Так как цель загрузки фотографий на облако — использование их при отображении отзыва в веб-интерфейсе, принято решение хранить ссылки на фотографии в базе данных PostgreSQL с привязкой к отзыву для удобной выгрузки без постоянного обращения к S3.

Основной сервис

Рассмотрим контроллеры основного сервиса. На создании пользователя останавливаться не буду, важно только учесть, что перед отправкой отзыва хоть какой-то человек должен быть создан (можно в принципе и кота зарегать).

@RestController @RequiredArgsConstructor @RequestMapping(path = "/comments") public class CommentController {      private final CommentService commentService;      /**      * Создание нового отзыва      * @param userId ID пользователя      * @param newCommentDto Данные добавляемого отзыва      * @return Созданный отзыв      */     @PostMapping("/users/{userId}")     @ResponseStatus(HttpStatus.CREATED)     public CommentDto addComment(@PathVariable Long userId, @Validated @ModelAttribute NewCommentDto newCommentDto) {         return commentService.addComment(userId, newCommentDto);     }   }

Взглянем на DTO при создании комментария отзыва, он нам еще пригодится.

@Data @NoArgsConstructor @AllArgsConstructor public class NewCommentDto {      /**      * Текст отзыва      */     @NotNull     @Size(min = 50, max = 2000)     private String text;      /**      * Рейтинг, поставленный в отзыве (от 1 до 5)      */     @NotNull     @Min(1)     @Max(5)     private int rating;      /**      * Фотографии, прикрепленные к отзыву      */     private List<MultipartFile> photos; }

Так как не все пользователи охотно прикрепляют фотографии к своим отзывам, стоит учесть, что его можно создать и без фотографий. В таком случае он создается просто с пустым списком ссылок на фото в ответе. А вот, кстати, и ответ сервера:

@Data @NoArgsConstructor @AllArgsConstructor public class CommentDto {      private Long id;      private String authorName;      private String text;      private String created;      private int rating;      private List<String> photos; }

Пора реализовать добавление отзыва в сервисе. Создаем интерфейс CommentService, описываем его контракт, затем создаем его имплементацию и получаем:

@Service @Slf4j @RequiredArgsConstructor public class CommentServiceImpl implements CommentService {      private final CommentRepository commentRepository;     private final UserService userService;     private final UploadClient uploadClient;      @Override     public CommentDto addComment(Long userId, NewCommentDto newCommentDto) {         User user = userService.getExistingUser(userId);         List<String> photoUrls = new ArrayList<>();          if (newCommentDto.getPhotos() != null) {             ResponseEntity<List<String>> response = uploadClient.upload(newCommentDto.getPhotos());              if (response.getStatusCode().is2xxSuccessful()) {                 List<String> responseBody = response.getBody();                 if (responseBody != null) {                     photoUrls.addAll(responseBody);                 }             } else {                 log.error("Cannot upload photos. Upload service returned status {}", response.getStatusCode());             }         }          Comment comment = CommentMapper.toComment(newCommentDto);         comment.setAuthor(user);         comment.setCreated(LocalDateTime.now());         comment.setPhotos(photoUrls);          Comment addedComment = commentRepository.save(comment);         log.info("Added new comment: comment = {}", addedComment);          return CommentMapper.toCommentDto(addedComment);     }   }

О чем я говорил ранее, пользователи могут писать отзывы и не прикреплять фото, поэтому просто проверяем на наличие загруженных фотографий и если их нет — сохраняем пустой список.

Запрос на добавление отзыва (вспоминаем про DTO при создании) отправляется с заголовком Content-Type: multipart/form-data. Параметр photos соответственно может отсутствовать.

При наличии фотографий мы отправляем их через созданный RestTemplate upload-client, который расщепляет фотографии в байты, и затем отправляет их на upload-server. Последний загружает в Yandex Object Storage, используя многопоточность Java. Двигаемся дальше.

Сервис загрузки фотографий

Получив фотографии с основного сервиса, клиент делает свои небольшие изменения, о которых я говорил выше, и отправляет на сервер запрос на загрузку.

@RestController @RequiredArgsConstructor public class UploadController {      private final UploadService uploadService;      @PostMapping("/upload")     @ResponseStatus(HttpStatus.CREATED)     public List<String> upload(@RequestBody List<byte[]> photos) {         return uploadService.uploadPhoto(photos);     } }

Как там работает AWS SDK

Теперь рассмотрим сам метод загрузки детальнее. Код, представленный ниже, создает подключение к S3, в нашем случае к Yandex Object Storage, используя accessKeyId и secretAccessKey — статические ключи доступа. Инструкция по созданию. Помимо этого в будущем понадобится имя бакета bucketName. В своем приложении я указываю их в docker-compose.yml и инжекчу с помощью аннотации @Value

s3Client = AmazonS3ClientBuilder.standard()                     .withEndpointConfiguration(                             new com.amazonaws.client.builder.AwsClientBuilder.EndpointConfiguration(                                     "https://storage.yandexcloud.net",                                     "ru-central1"                             )                     )                     .withCredentials(new AWSStaticCredentialsProvider(new BasicAWSCredentials(accessKeyId, secretAccessKey)))                     .build();

Чтобы добавить фотографию в бакет, нужно вызвать метод putObject()

s3Client.putObject(bucketName, fileName, inputStream, metadata);

s3client.putObject(new PutObjectRequest(bucketName, fileName, inputStream, metadata));

s3client.putObject(new PutObjectRequest(bucketName, fileName, inputStream, metadata)                     .withCannedAcl(CannedAccessControlList.PublicRead))

Объект метаданных создается следующим образом. Можно установить заголовок, длину контента и т.д., в зависимости от ваших потребностей.

ObjectMetadata metadata = new ObjectMetadata(); metadata.setContentLength(photoBytes.length);

В моей реализации мне необходимо возвращать список ссылок на загруженные фотографии, чтобы привязать их к отзыву, поэтому давайте достанем ссылку из S3. Это можно сделать методом getUrl()

s3Client.getUrl(bucketName, fileName).toExternalForm();

Хочется производительности?

При поочередной загрузке циклом 10 фотографий в отзыв, у меня это заняло 6 секунд.

Здесь явно напрашивается выполнение каждой загрузки в отдельном потоке, при этом мы понимаем, что будет в дальнейшем ограничение на количество возможных фотографий к прикреплению. Значит потоками можно легко управлять.

Обращаемся к Java Concurrency. Создаем пул потоков ExecutorService, который будет управлять загрузкой фотографий, а также список Future, который представляет собой обещание будущего результата. Каждая задача загрузки фотографии будет возвращать URL загруженного файла в виде строки, и эти обещания будут использоваться для получения результатов после завершения задач.

ExecutorService executorService = Executors.newFixedThreadPool(photos.size());  List<Future<String>> futures = new ArrayList<>();

Используем executorService.submit() для отправки задач на выполнение в пул потоков. Этот метод принимает Callable<String> (или Runnable) и возвращает Future, представляющий результат выполнения задачи. Внутри лямбда-выражения выполняется код загрузки фотографии и получения URL. Результат (URL) возвращается из задачи.

Future<String> future = executorService.submit(() -> {     // код для загрузки фотографии и получения URL     return url; });  futures.add(future);

После отправки всех задач на выполнение, мы проходим по списку futures и ожидаем завершения каждой задачи с помощью метода future.get(). Этот метод блокирует выполнение до тех пор, пока задача не завершится, и возвращает результат. И, конечно же, в конце вызываем executorService.shutdown() для корректного завершения пула потоков.

В итоге производительность увеличилась в 5 раз. Аналогичное создание отзыва с такими же десятью фотографиями заняло 1 с лишним секунду.

Итоговый код класса UploadService

Таким образом, реализация метода upload() получилась следующим образом:

@Service @Slf4j @RequiredArgsConstructor public class UploadServiceImpl implements UploadService {      private final ObjectStorageConfig objectStorageConfig;      @Override     public List<String> uploadPhoto(List<byte[]> photos) {         List<String> urls = new ArrayList<>();          final String bucketName = objectStorageConfig.getBucketName();         final String accessKeyId = objectStorageConfig.getAccessKeyId();         final String secretAccessKey = objectStorageConfig.getSecretAccessKey();         final AmazonS3 s3Client;          try {             s3Client = AmazonS3ClientBuilder.standard()                     .withEndpointConfiguration(                             new com.amazonaws.client.builder.AwsClientBuilder.EndpointConfiguration(                                     "https://storage.yandexcloud.net",                                     "ru-central1"                             )                     )                     .withCredentials(new AWSStaticCredentialsProvider(new BasicAWSCredentials(accessKeyId, secretAccessKey)))                     .build();         } catch (SdkClientException e) {             log.error("Error creating client for Object Storage via AWS SDK. Reason: {}", e.getMessage());             throw new SdkClientException(e.getMessage());         }          try {             ExecutorService executorService = Executors.newFixedThreadPool(photos.size());             List<Future<String>> futures = new ArrayList<>();              for (byte[] photoBytes : photos) {                 Future<String> future = executorService.submit(() -> {                     String fileName = generateUniqueName();                     ObjectMetadata metadata = new ObjectMetadata();                     metadata.setContentLength(photoBytes.length);                      ByteArrayInputStream inputStream = new ByteArrayInputStream(photoBytes);                     s3Client.putObject(bucketName, fileName, inputStream, metadata);                     log.info("Upload Service. Added file: " + fileName + " to bucket: " + bucketName);                      // Получение ссылки на загруженный файл                     String url = s3Client.getUrl(bucketName, fileName).toExternalForm();                      return url;                 });                  futures.add(future);             }                        for (Future<String> future : futures) {                 try {                     String url = future.get();                     urls.add(url);                 } catch (InterruptedException | ExecutionException e) {                     log.error("One of the thread ended with exception. Reason: {}", e.getMessage());                     throw new RuntimeException(e);                 }             }              executorService.shutdown();         } catch (AmazonS3Exception e) {             log.error("Error uploading photos to Object Storage. Reason: {}", e.getMessage());             throw new AmazonS3Exception(e.getMessage());         }         return urls;     }      private String generateUniqueName() {         UUID uuid = UUID.randomUUID();         return uuid.toString();     } }

Заключение

Использование AWS SDK для Java позволяет легко интегрировать возможности Yandex Object Storage или Amazon S3 в ваши приложения, обеспечивая надежное и масштабируемое хранение и доступ к файлам. Правильная настройка и использование этого SDK может значительно упростить задачи работы с объектными хранилищами, позволяя сосредоточиться на разработке вашего приложения.

Надеюсь, у меня получилось создать небольшой гайд и раскрыть данную тему. Весь код разместил у себя в GitHub. Вы можете посмотреть его подробнее и запустить это решение локально.

Спасибо всем, кто дочитал до конца! Буду рад вашим комментариям, советам и критике, а также best-practice в реализации данного функционала в коммерческой разработке!