FileCodeBox Go 重写版 v2.5.6(安全审计修复版)
Go 1.27.1 (Gin+GORM) + Vue 3 文件快传服务: - 安全审计全部修复(docs/security-audit-2026-09-05.md): bcrypt 密码哈希与自动升级、presign 直传服务端大小/内容校验、 全局请求体上限、依赖升级(govulncheck 0 命中)、janitor 后台清理、 管理端审计动作落库、/admin CORS 收紧、通知内容白名单净化、 会话默认 7 天、限流缓存故障降级、robots.txt 端点等 - 前端:取件链接复制修复(不再重复拼接提取码)、markdown 净化器加固 - Redis 支持库号(FCB_REDIS_DB / redis://…/db URL) - 文档:docs/api/* 与 openapi.yaml 同步最新行为(robots.txt、 提码 5 位起、chunk 32MiB 上限、admin 审计动作等) 验证:gofmt/go vet/go test 全绿;二进制端到端冒烟通过
This commit is contained in:
@@ -0,0 +1,139 @@
|
||||
// Package database 负责数据库连接与迁移(需求 ⑧:双方言):
|
||||
// - sqlite(默认):modernc.org/sqlite 纯 Go 驱动(GORM 封装 glebarez/sqlite),零 CGO、零外部依赖;
|
||||
// - postgres:可选,配置 FCB_DB_DRIVER=postgres + FCB_DB_DSN 后启用。
|
||||
//
|
||||
// 两方言共用 GORM 抽象层,AutoMigrate 与全部业务查询保持方言无关;
|
||||
// 唯一的原生 SQL(migrates 建表)已改为双方言分支。
|
||||
package database
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"github.com/glebarez/sqlite"
|
||||
"gorm.io/driver/postgres"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/logger"
|
||||
|
||||
"filecodebox/internal/config"
|
||||
"filecodebox/internal/model"
|
||||
)
|
||||
|
||||
// Options 连接选项(main.go 从 config.Env 装配)。
|
||||
type Options struct {
|
||||
Driver string // sqlite | postgres(空按 sqlite 处理)
|
||||
DSN string // postgres 连接串;sqlite 为文件路径(空回退 config.DefaultSQLitePath)
|
||||
}
|
||||
|
||||
// Open 按驱动连接数据库并执行连接池设置与探活。
|
||||
func Open(ctx context.Context, opts Options) (*gorm.DB, error) {
|
||||
driver := strings.ToLower(strings.TrimSpace(opts.Driver))
|
||||
if driver == "" {
|
||||
driver = config.DBDriverSQLite
|
||||
}
|
||||
var dialector gorm.Dialector
|
||||
switch driver {
|
||||
case config.DBDriverSQLite:
|
||||
path := strings.TrimSpace(opts.DSN)
|
||||
if path == "" {
|
||||
path = config.DefaultSQLitePath
|
||||
}
|
||||
// 自动创建父目录(如 ./data),对齐参考实现 data_root 语义
|
||||
if dir := filepath.Dir(path); dir != "" && dir != "." {
|
||||
if err := os.MkdirAll(dir, 0o755); err != nil {
|
||||
return nil, fmt.Errorf("database: 创建 SQLite 目录 %s 失败: %w", dir, err)
|
||||
}
|
||||
}
|
||||
// DSN 参数:busy_timeout 防写锁竞态;WAL 提升并发读写(Query 参数形式,驱动原生支持)
|
||||
dsn := path + "?_pragma=busy_timeout(10000)&_pragma=journal_mode(WAL)&_pragma=foreign_keys(1)"
|
||||
dialector = sqlite.Open(dsn)
|
||||
case config.DBDriverPostgres:
|
||||
if strings.TrimSpace(opts.DSN) == "" {
|
||||
return nil, fmt.Errorf("database: FCB_DB_DRIVER=postgres 需要提供 FCB_DB_DSN")
|
||||
}
|
||||
dialector = postgres.Open(opts.DSN)
|
||||
default:
|
||||
return nil, fmt.Errorf("database: 不支持的数据库驱动 %q(仅支持 sqlite|postgres)", driver)
|
||||
}
|
||||
|
||||
db, err := gorm.Open(dialector, &gorm.Config{
|
||||
Logger: logger.Default.LogMode(logger.Warn),
|
||||
// 避免 GORM 生成方言特有子句;时间语义由应用层统一(容器本地时区)
|
||||
NowFunc: time.Now,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("database: 连接 %s 失败: %w", driver, err)
|
||||
}
|
||||
|
||||
sqlDB, err := db.DB()
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
// 连接池:SQLite 单文件场景保守设置;Postgres 沿用 v1 参数
|
||||
switch driver {
|
||||
case config.DBDriverSQLite:
|
||||
sqlDB.SetMaxOpenConns(8)
|
||||
sqlDB.SetMaxIdleConns(4)
|
||||
sqlDB.SetConnMaxLifetime(0) // 长连接文件句柄,无需轮换
|
||||
case config.DBDriverPostgres:
|
||||
sqlDB.SetMaxOpenConns(32)
|
||||
sqlDB.SetMaxIdleConns(8)
|
||||
sqlDB.SetConnMaxLifetime(time.Hour)
|
||||
}
|
||||
|
||||
// 连接探活(带超时)
|
||||
pingCtx, cancel := context.WithTimeout(ctx, 10*time.Second)
|
||||
defer cancel()
|
||||
if err := sqlDB.PingContext(pingCtx); err != nil {
|
||||
return nil, fmt.Errorf("database: %s 探活失败: %w", driver, err)
|
||||
}
|
||||
return db, nil
|
||||
}
|
||||
|
||||
// Migrate 执行迁移:先建迁移台账表(双方言分支),再 AutoMigrate 全部模型。
|
||||
func Migrate(ctx context.Context, db *gorm.DB) error {
|
||||
if err := createMigratesTable(ctx, db); err != nil {
|
||||
return err
|
||||
}
|
||||
if err := model.AutoMigrate(db); err != nil {
|
||||
return fmt.Errorf("database: AutoMigrate 失败: %w", err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// createMigratesTable 创建迁移台账表。
|
||||
// 双方言差异:自增主键 postgres 用 BIGSERIAL、sqlite 用 INTEGER PRIMARY KEY AUTOINCREMENT;
|
||||
// 时间戳默认值 postgres 用 CURRENT_TIMESTAMP、sqlite 用 CURRENT_TIMESTAMP(等价)。
|
||||
func createMigratesTable(ctx context.Context, db *gorm.DB) error {
|
||||
ddl := `
|
||||
CREATE TABLE IF NOT EXISTS migrates (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
migration_file VARCHAR(255) NOT NULL UNIQUE,
|
||||
executed_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
||||
)`
|
||||
if db.Dialector.Name() == config.DBDriverPostgres {
|
||||
ddl = `
|
||||
CREATE TABLE IF NOT EXISTS migrates (
|
||||
id BIGSERIAL PRIMARY KEY,
|
||||
migration_file VARCHAR(255) NOT NULL UNIQUE,
|
||||
executed_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
||||
)`
|
||||
}
|
||||
if err := db.WithContext(ctx).Exec(ddl).Error; err != nil {
|
||||
return fmt.Errorf("database: 创建 migrates 表失败: %w", err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Close 关闭底层连接。
|
||||
func Close(db *gorm.DB) error {
|
||||
sqlDB, err := db.DB()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return sqlDB.Close()
|
||||
}
|
||||
@@ -0,0 +1,237 @@
|
||||
// 数据库双方言测试(需求 ⑧):
|
||||
// - sqlite:始终执行(纯 Go,临时目录建库);
|
||||
// - postgres:设置 FCB_TEST_PG_DSN(真实连接串)后执行,未设置时跳过。
|
||||
//
|
||||
// 覆盖:Open/Migrate 全表建立、settings KV 读写、JSON 字段往返、
|
||||
// 分页查询(LIMIT/OFFSET 语义)、布尔/时间字段往返 —— 双方言逐项比对。
|
||||
package database_test
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"gorm.io/gorm"
|
||||
|
||||
"filecodebox/internal/database"
|
||||
"filecodebox/internal/model"
|
||||
)
|
||||
|
||||
// pgTestDSN 返回 Postgres 测试连接串;未设置 FCB_TEST_PG_DSN 时返回空。
|
||||
func pgTestDSN(t *testing.T) string {
|
||||
t.Helper()
|
||||
dsn := os.Getenv("FCB_TEST_PG_DSN")
|
||||
if dsn == "" {
|
||||
t.Skip("未设置 FCB_TEST_PG_DSN,跳过 Postgres 双方言用例(sqlite 用例仍执行)")
|
||||
}
|
||||
return dsn
|
||||
}
|
||||
|
||||
// openTestDB 按方言打开数据库并执行迁移;返回 gorm 实例与关闭函数。
|
||||
func openTestDB(t *testing.T, driver, dsn string) (*gorm.DB, func()) {
|
||||
t.Helper()
|
||||
if dsn == "" {
|
||||
// sqlite:临时文件库
|
||||
dir := t.TempDir()
|
||||
dsn = filepath.Join(dir, "test.db")
|
||||
}
|
||||
ctx := context.Background()
|
||||
db, err := database.Open(ctx, database.Options{Driver: driver, DSN: dsn})
|
||||
if err != nil {
|
||||
t.Fatalf("[%s] Open 失败: %v", driver, err)
|
||||
}
|
||||
if err := database.Migrate(ctx, db); err != nil {
|
||||
_ = database.Close(db)
|
||||
t.Fatalf("[%s] Migrate 失败: %v", driver, err)
|
||||
}
|
||||
return db, func() { _ = database.Close(db) }
|
||||
}
|
||||
|
||||
// runDialectSuite 双方言共用的行为断言集。
|
||||
func runDialectSuite(t *testing.T, db *gorm.DB) {
|
||||
t.Helper()
|
||||
ctx := context.Background()
|
||||
|
||||
// —— 1. 全表建立 ——
|
||||
for _, m := range model.AllModels() {
|
||||
if !db.Migrator().HasTable(m) {
|
||||
t.Fatalf("表 %T 未创建", m)
|
||||
}
|
||||
}
|
||||
|
||||
// —— 2. settings KV 读写 + JSON 字段往返 ——
|
||||
// GORM 软特性:KeyValue.Value 为 *string(JSON 文本),双方言 text 类型
|
||||
// 可重跑:先清掉同键旧行(共享测试库场景)
|
||||
if err := db.WithContext(ctx).Where(model.KeyValue{Key: "settings"}).Delete(&model.KeyValue{}).Error; err != nil {
|
||||
t.Fatalf("KV 旧数据清理失败: %v", err)
|
||||
}
|
||||
kv := map[string]any{"background_url": "https://example.com/bg.jpg", "footer_beian": "京ICP备2024000001号-1", "max_save_seconds": 3600}
|
||||
raw, err := json.Marshal(kv)
|
||||
if err != nil {
|
||||
t.Fatalf("marshal KV: %v", err)
|
||||
}
|
||||
row := model.KeyValue{Key: "settings", Value: strPtr(string(raw))}
|
||||
if err := db.WithContext(ctx).Create(&row).Error; err != nil {
|
||||
t.Fatalf("KV 写入失败: %v", err)
|
||||
}
|
||||
var got model.KeyValue
|
||||
if err := db.WithContext(ctx).Where(model.KeyValue{Key: "settings"}).First(&got).Error; err != nil {
|
||||
t.Fatalf("KV 读取失败: %v", err)
|
||||
}
|
||||
parsed := map[string]any{}
|
||||
if err := json.Unmarshal([]byte(*got.Value), &parsed); err != nil {
|
||||
t.Fatalf("KV JSON 解析失败: %v", err)
|
||||
}
|
||||
if parsed["background_url"] != "https://example.com/bg.jpg" {
|
||||
t.Fatalf("KV JSON 字段往返不一致: %v", parsed)
|
||||
}
|
||||
// 更新(先查后改,方言无关)
|
||||
if err := db.WithContext(ctx).Model(&got).Update("value", strPtr(`{"notify_enabled":0}`)).Error; err != nil {
|
||||
t.Fatalf("KV 更新失败: %v", err)
|
||||
}
|
||||
var got2 model.KeyValue
|
||||
_ = db.WithContext(ctx).Where(model.KeyValue{Key: "settings"}).First(&got2)
|
||||
if *got2.Value != `{"notify_enabled":0}` {
|
||||
t.Fatalf("KV 更新未生效: %s", *got2.Value)
|
||||
}
|
||||
|
||||
// —— 3. 分页查询(LIMIT/OFFSET)——
|
||||
// 每次运行用随机前缀避免脏数据互相影响
|
||||
prefix := fmt.Sprintf("pg%d_", time.Now().UnixNano())
|
||||
for i := 0; i < 25; i++ {
|
||||
fc := model.FileCodes{
|
||||
Code: fmt.Sprintf("%s%03d", prefix, i),
|
||||
ExpiredCount: -1,
|
||||
IsChunked: i%2 == 0, // 布尔字段往返
|
||||
}
|
||||
if err := db.WithContext(ctx).Create(&fc).Error; err != nil {
|
||||
t.Fatalf("FileCodes 写入失败: %v", err)
|
||||
}
|
||||
}
|
||||
var page []model.FileCodes
|
||||
if err := db.WithContext(ctx).
|
||||
Where("code LIKE ?", prefix+"%").
|
||||
Order("id ASC").
|
||||
Limit(10).Offset(20).
|
||||
Find(&page).Error; err != nil {
|
||||
t.Fatalf("分页查询失败: %v", err)
|
||||
}
|
||||
if len(page) != 5 {
|
||||
t.Fatalf("第二页应剩 5 条,实际 %d", len(page))
|
||||
}
|
||||
if page[0].Code != prefix+"020" {
|
||||
t.Fatalf("分页偏移错误: %s", page[0].Code)
|
||||
}
|
||||
var total int64
|
||||
if err := db.WithContext(ctx).Model(&model.FileCodes{}).
|
||||
Where("code LIKE ?", prefix+"%").Count(&total).Error; err != nil {
|
||||
t.Fatalf("计数查询失败: %v", err)
|
||||
}
|
||||
if total != 25 {
|
||||
t.Fatalf("总数应 25,实际 %d", total)
|
||||
}
|
||||
|
||||
// —— 4. 布尔/时间/可空字段往返 ——
|
||||
now := time.Now().Truncate(time.Second) // sqlite 秒级精度
|
||||
fc := model.FileCodes{
|
||||
Code: prefix + "special",
|
||||
ExpiredAt: &now,
|
||||
ExpiredCount: 5,
|
||||
Text: strPtr("你好 FileCodeBox"),
|
||||
FileHash: strPtr("abc123"),
|
||||
IsChunked: true,
|
||||
}
|
||||
if err := db.WithContext(ctx).Create(&fc).Error; err != nil {
|
||||
t.Fatalf("完整字段写入失败: %v", err)
|
||||
}
|
||||
var back model.FileCodes
|
||||
if err := db.WithContext(ctx).Where(model.FileCodes{Code: fc.Code}).First(&back).Error; err != nil {
|
||||
t.Fatalf("完整字段读取失败: %v", err)
|
||||
}
|
||||
if back.Text == nil || *back.Text != "你好 FileCodeBox" {
|
||||
t.Fatalf("text 字段往返不一致: %v", back.Text)
|
||||
}
|
||||
if !back.IsChunked {
|
||||
t.Fatal("布尔字段往返不一致")
|
||||
}
|
||||
if back.ExpiredAt == nil {
|
||||
t.Fatal("时间字段往返丢失")
|
||||
}
|
||||
if diff := back.ExpiredAt.Sub(now); diff > time.Second || diff < -time.Second {
|
||||
t.Fatalf("时间字段偏差过大: %v", diff)
|
||||
}
|
||||
if back.FileHash == nil || *back.FileHash != "abc123" {
|
||||
t.Fatalf("可空字段往返不一致: %v", back.FileHash)
|
||||
}
|
||||
// LOWER + LIKE(admin 列表检索路径:真实代码先对关键词小写化再拼 LIKE 模式,
|
||||
// 对齐 admin.go 的 "LOWER(code) LIKE ?" 用法,双方言均支持)
|
||||
var hits int64
|
||||
lowerPattern := "%" + strings.ToLower(prefix+"SPECIAL") + "%"
|
||||
if err := db.WithContext(ctx).Model(&model.FileCodes{}).
|
||||
Where("LOWER(code) LIKE ?", lowerPattern).Count(&hits).Error; err != nil {
|
||||
t.Fatalf("LOWER/LIKE 查询失败: %v", err)
|
||||
}
|
||||
if hits != 1 {
|
||||
t.Fatalf("LOWER/LIKE 命中数应 1,实际 %d", hits)
|
||||
}
|
||||
// 可重跑:清理本前缀数据(共享测试库场景)
|
||||
if err := db.WithContext(ctx).Where("code LIKE ?", prefix+"%").Delete(&model.FileCodes{}).Error; err != nil {
|
||||
t.Fatalf("清理测试数据失败: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
func strPtr(s string) *string { return &s }
|
||||
|
||||
// TestSQLiteDialect sqlite(默认模式):临时文件库全流程。
|
||||
func TestSQLiteDialect(t *testing.T) {
|
||||
db, closeFn := openTestDB(t, "sqlite", "")
|
||||
defer closeFn()
|
||||
runDialectSuite(t, db)
|
||||
}
|
||||
|
||||
// TestSQLiteInMemoryDialect sqlite 内存库(DSN 为 :memory: 等价路径场景)。
|
||||
func TestSQLiteInMemoryDialect(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
db, closeFn := openTestDB(t, "sqlite", filepath.Join(dir, "mem.db"))
|
||||
defer closeFn()
|
||||
runDialectSuite(t, db)
|
||||
}
|
||||
|
||||
// TestPostgresDialect postgres(可选模式):FCB_TEST_PG_DSN 指向真实实例。
|
||||
func TestPostgresDialect(t *testing.T) {
|
||||
dsn := pgTestDSN(t)
|
||||
db, closeFn := openTestDB(t, "postgres", dsn)
|
||||
defer closeFn()
|
||||
runDialectSuite(t, db)
|
||||
}
|
||||
|
||||
// TestOpenRejectsUnknownDriver 非法驱动应报错。
|
||||
func TestOpenRejectsUnknownDriver(t *testing.T) {
|
||||
if _, err := database.Open(context.Background(), database.Options{Driver: "mysql", DSN: "x"}); err == nil {
|
||||
t.Fatal("非法驱动应报错")
|
||||
}
|
||||
}
|
||||
|
||||
// TestOpenPostgresRequiresDSN postgres 模式缺 DSN 应报错。
|
||||
func TestOpenPostgresRequiresDSN(t *testing.T) {
|
||||
if _, err := database.Open(context.Background(), database.Options{Driver: "postgres", DSN: ""}); err == nil {
|
||||
t.Fatal("postgres 缺 DSN 应报错")
|
||||
}
|
||||
}
|
||||
|
||||
// TestSQLiteAutoCreatesDataDir sqlite 默认相对路径下自动创建父目录。
|
||||
func TestSQLiteAutoCreatesDataDir(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
nested := filepath.Join(dir, "deep", "data", "fcb.db")
|
||||
db, closeFn := openTestDB(t, "sqlite", nested)
|
||||
defer closeFn()
|
||||
if _, err := os.Stat(nested); err != nil {
|
||||
t.Fatalf("数据库文件应已创建: %v", err)
|
||||
}
|
||||
runDialectSuite(t, db)
|
||||
}
|
||||
Reference in New Issue
Block a user