开源minio-AWS-S3存储的部署及go操作详细

2023-12-28 04:21:27

介绍

MinIO是一个开源的分布式对象存储服务,它允许用户在私有云或公有云环境中构建自己的对象存储基础设施。MinIO旨在提供高性能、高可用性的对象存储,并且与Amazon S3兼容,这意味着可以使用S3客户端工具和库直接与MinIO交互,而无需更改现有的应用程序代码。

以下是一些关键的MinIO特性和信息:

  1. 分布式架构: MinIO设计为具有分布式架构,允许用户将多个MinIO实例组合成一个集群,提供高可用性和可扩展性。每个MinIO实例可以运行在独立的硬件节点上,通过负载均衡器或DNS轮询等方式进行负载均衡。

  2. S3兼容性: MinIO与Amazon S3的API兼容,这意味着现有的S3客户端工具和库可以直接用于与MinIO进行交互。这种兼容性使得迁移现有S3应用程序到MinIO变得相对简单。

  3. 开源: MinIO是开源的,它的源代码可以在GitHub上获得。这使得用户能够审查和修改源代码以满足他们特定的需求,并且可以在社区的支持下获得帮助。

  4. 轻量级: MinIO设计为轻量级和高性能。它专注于提供快速的对象存储服务,而不引入过多的复杂性。

  5. 安全性: MinIO支持SSL/TLS加密,以确保在数据传输过程中的安全性。此外,它还提供身份验证和访问控制功能,以保护存储在MinIO中的数据。

  6. 版本控制: MinIO支持对象版本控制,允许用户存储和检索不同版本的对象。这对于处理数据的变更和回滚操作非常有用。

  7. 事件通知: MinIO支持事件通知,可以在对象被创建、删除或更新时触发通知。这为构建自动化工作流和应用程序提供了便利。

  8. 易于部署: MinIO提供了容器化的部署选项,可以轻松地在容器环境中部署,例如使用Docker。

总的来说,MinIO是一个灵活、高性能、可扩展且S3兼容的对象存储解决方案,适用于构建私有云、混合云或公有云环境中的存储基础设施。

部署

yum remove docker docker-common container-selinux docker-selinux docker-engine
yum install -y yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce



docker run -d \
  -p 9000:9000 \
  -p 9001:9001 \
  -e "MINIO_ROOT_USER=LIUYUNSHENG" \
  -e "MINIO_ROOT_PASSWORD=LIUYUNSHENGKEY" \
  minio/minio server /data --console-address "0.0.0.0:9001"

go相关操作代码

package main

import (
	"context"
	"fmt"
	"log"
	"os"
	"path"

	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/config"
	"github.com/aws/aws-sdk-go-v2/credentials"
	"github.com/aws/aws-sdk-go-v2/service/s3"
)

func main() {
	cfg, err := config.LoadDefaultConfig(context.TODO(),
		config.WithCredentialsProvider(credentials.NewStaticCredentialsProvider("LIUYUNSHENG", "LIUYUNSHENGKEY", "")),
		config.WithEndpointResolverWithOptions(aws.EndpointResolverWithOptionsFunc(func(service, region string, options ...interface{}) (aws.Endpoint, error) {
			return aws.Endpoint{
				URL: "http://127.0.0.1:9000",
			}, nil
		})),
		config.WithRegion("cn-north-1"),
	)
	if err != nil {
		return
	}
	client := s3.NewFromConfig(cfg, func(o *s3.Options) {
		o.UsePathStyle = true //https://s3.amazonaws.com/BUCKET/KEY
	})

	// 打印所有的桶
	result, err := client.ListBuckets(context.TODO(), &s3.ListBucketsInput{})
	if err != nil {
		return
	}
	for _, bucket := range result.Buckets {
		fmt.Println(*bucket.Name)
	}
	// 创建桶
	bucketName := "liuysh-bucket"
	client.CreateBucket(context.TODO(), &s3.CreateBucketInput{Bucket: &bucketName})

	// 上传文件
	fileName := "/var/lib/pgsql/pgsql/go/go1.21.5.linux-amd64.tar.gz"
	file, err := os.Open(fileName)
	fileBase := path.Base(fileName)
	if err != nil {
		fmt.Printf("Couldn't open file %v to upload. Here's why: %v\n", fileName, err)
	} else {
		defer file.Close()
		_, err = client.PutObject(context.TODO(), &s3.PutObjectInput{
			Bucket: aws.String(bucketName),
			Key:    aws.String(fileBase),
			Body:   file,
		})
		if err != nil {
			log.Printf("Couldn't upload file %v to %v:%v. Here's why: %v\n",
				fileName, bucketName, file.Name(), err)
		}
	}

}

文章来源:https://blog.csdn.net/liuyunshengsir/article/details/135251318
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。