Redis数据类型

发表于 2019-01-20 更新于 2019-05-27 阅读次数： Valine：

Redis常用数据类型：

strings：二进制安全的字符串；
lists：根据插入顺序排序的字符串元素的集合，基本上是链表；
sets：唯一的，未排序的字符串元素的集合；
zsets：有序集合，没个字符串元素都与一个浮点数关联，称为分数，元素总是按分数排序；
hashs：散列或字典，是由与值相关联的字段组成的映射，字段和值都是字符串；

Java 性能调优（一）

发表于 2018-12-15 更新于 2019-05-27 阅读次数： Valine：

造成系统瓶颈计算资源的因素有很多，包括CPU资源的调度、内存的读写、磁盘IO、网络IO、数据库、竞争锁、异常等。而系统性能的衡量指标有响应时间、启动时间、执行时间、执行速度、磁盘吞吐量、网络吞吐量、负载承受能力等。那么，从软件的角度看，性能优化的目标有，编写更高效的代码、使用更高效的算法、减少竞争锁、分布式集群、微服务等。而性能的优化策略有，用空间换时间、用时间换空间、优化代码、并行处理等。系统的优化来自三个方面，基础技术、层次方面、架构方面。

阅读全文 »

Mybatis知识点梳理

发表于 2018-12-12 更新于 2019-05-27 阅读次数： Valine：

Mybatis架构图：

Mybatis架构图

基础支持模块

解析器模块
- XML解析：DOM（Document Object Model）、SAX（Simple API for XML）、StAX（Streaming API for XML）
- DOM：基于树形结构的XML解析方式，它会将整个XML文档读入内存并构建一个DOM树，基于该树对各个节点（Node）进行操作。
- SAX：基于事件模型的XML解析方式，它将XML文档的一部分加载到内存中，即可开始解析，在处理过程中并不会在内存中记录XML中的数据，所以占用资源比较少。当程序处理过程中满足条件时，也可以立即停止解析过程。SAX没有写XML文档的能力，是一种推模式。
- StAX：JDK提供，可以很好支持DOM和SAX解析方式，与SAX类似，也是把XML文档作为一个事件流进行处理，不同之处在于StAX使用的是拉模式（即应用程序通过调用解析器推进解析的进程）。
- XPath：一种为查询XML文档设计的语言，它使用路径表达式选取XML文档中的节点或节点集合，常结合DOM解析方式一起使用。
MyBatis 中使用了DOM加XPath的解析方式。
反射工具箱
- Reflector：是Mybatis中反射模块的基础，每一个Reflector对象都代表对应的一个类，在Reflector中缓存了反射操作需要使用的类的元信息。
- ReflectorFactory：该接口主要实现了对Reflector对象的创建和缓存，isClassCacheEnbale()是检测该ReflectoryFactory对象是否会缓存Reflector对象，setClassCacheEnabled(boolean classCacheEnabled)设值是否缓存Reflector对象，findForClass(Class<?> type)创建指定Class对应的Reflector对象。使用ConcurrentMap集合实现对Reflector对象的缓存。
- TypeParameterResolver：静态解析类，提供一系列方法解析指定类中的字段、方法返回值或方法参数的类型。resolveFieldType()解析字段类型，resolveReturnType()解析返回值类型，resolveParamType()解析方法参数列表中各个参数类型。
- ObjectFactory：通过重载的多个create()方法创建指定类型的对象，是一个反射工厂，其create()方法通过调用instantiateClass()方法实现。
- Property工具集：PropertyTokenizer、PropertyNamer、PropertyCopier，orders[0].name这种由.和[]组成的表达式由PropertyTokenizer解析，方法名到属性名的转换以及多种检测操作由PropertyNamer解析，相同类型的两个对象之间的属性值拷贝由PropertyCopier解析，其核心方法是copyBeanProperties()。
- MetaClass：通过Reflector和PropertyTokenizer组合使用，实现对复杂的属性表达式的解析，并实现了获取指定属性描述信息的功能。MetaClass中比较重要的方法是findProperty()方法，它是通过调用MetaClass.buildProperty()方法实现的，而build Property()方法会通过PropertyTokenizer解析复杂的属性表达式。
- ObjectWrapper：是Mybatis对类级别元信息的封装和处理，该接口是对对象的包装，抽象了对象的属性信息，它定义了一系列查询和更新对象属性信息的方法。
- MetaObject：是对属性表达式的解析，MetaObject的构造方法会根据传入的原始对象的类型以及ObjectFactory工厂的实现，创建相应的ObjectWrapper对象。
类型转换
- TypeHandler：所有类型转换器都继承了TypeHandler接口，TypeHandler接口中有四个方法，分为两类，setParameter()方法负责将数据由JdbcType转换成JavaType，getResult()方法及其重载方法负责将数据由JavaType转换成JdbcType。
- TypeHandlerRegistry：在Mybatis初始化过程中，会为所有已知的TypeHandler创建对象，并实现注册到TypeHanlderRegistry中，由TypeHandlerRegistry负责管理这些TypeHandler。
- TypeAliasRegistry：通过该类完成别名的注册和管理工作，它通过TYPE_ALIASES字段（Map<String, Class<?>>类型）管理别名与JavaType之间的对应关系，通过TypeAliasRegistry.registerAlias()方法完成注册别名。
日志模块
- 日志模块使用适配器模式，定义了一套统一的日志接口供上层使用。
- 提供了trace 、debug、warn、error四个级别的日志。
- 通过JDK动态代理的方式，将JDBC操作通过日志框架打印出来，一般在开发阶段使用。
资源加载
- 类加载器：JVM中类加载器（ClassLoader）负责加载来自文件系统、网络或其他来源的类文件，JVM中类加载器默认使用双亲委派模式（双亲委派模式可以保证：一、子加载器可以使用父加载器已加载的类，而父类加载器无法使用子加载器已加载的类；二、父加载器已加载过的类无法被子加载器再次加载。），即子加载器委托父加载器加载。
- ClassLoaderWrapper：是ClassLoader的包装器，其中包含了多个ClassLoader对象，通过调整多个类加载器的使用顺序，ClassLoaderWrapper可以确保返回给系统使用的是正确的类加载器。
- ResolverUtil：可以根据指定条件查找指定包下的类，ResolverUtil中使用classLoader字段记录当前现场上下文绑定的ClassLoader，可以修改使用类加载。
- 虚拟文件系统（VFS）：VFS是一个抽象类，用来查找指定路径下的资源。
数据源模块
- DataSourceFactory：有UnpooledDataSourceFactory和PooledDataSourceFactory类。
- UnpooledDataSource：未池化，频繁使用会耗资源。
- PooledDataSource：实现数据库连接的重用、提高响应速度、防止数据库连接过多造成数据库假死、避免数据库连接泄漏等。数据库连接池会控制连接总数的上限以及空闲连接的上限，如果连接池创建的总连接数已达上限，且已都被占用，则后续请求连接的线程会进入阻塞队列等待，知道有线程释放出可用的连接。如果连接池中空闲连接数较多，达到其上限，则后续返回的空闲连接不会放入池中，而是直接关闭，可以减少系统维护多余数据库连接的开销。
  
  在配置时，空闲连接上限不能设置过大（浪费系统资源来维护空闲连接），也不能设置过小（出现瞬间峰值请求时，系统响应能力较弱），需根据性能测试、权衡以及一些经验配置。
事物管理模块
- 对数据库事务进行了抽象。
- 五个接口：getConnection()获取对应的数据库连接，commit()提交事物，rollback()回滚事物，close()关闭数据库连接，getTimeOut()获取事物超时时间。
绑定模块
- Mapper接口类中方法和XML文件中key的映射处理操作。
- MapperRegistry：是Mapper接口及其对应的代理对象工厂的注册中心。
- MapperProxyFactory：主要负责创建代理对象。
- MapperProxy：实现了InvocationHandler接口。
- MapperMethod：封装了Mapper接口中对应的方法的信息，以及对应SQL语句的信息。
缓存模块
- 分为两层结构：一级缓存和二级缓存，本质上一样，都是Cache接口的实现。
- Cache：定义了所有缓存的基本行为。
- CacheKey：可以添加多个对象，由这些对象共同确定两个CacheKey对象是否相同，CacheKey重写了equals()方法和hashCode()方法。

核心处理模块

Mybatis初始化的主要工作是加载并解析mybatis-config.xml配置文件、映射配置文件以及相关的注解信息。

Mybatis的初始化入口是SqlSessionFactoryBuilder.build()。首先是读取配置文件，然后解析文件得到Configuration对象，创建DefaultSqlSessionFactory对象。
Configuration是Mybatis初始化过程中的核心对象，几乎全部配置信息都会保存到Configuration对象中，它是在Mybatis初始化过程中创建且是全局唯一。
XMLConfigBuilder是BaseBuilder子类之一，主要负责解析mybatis-config.xml配置文件，它的parse()方法是解析配置文件的入口。
XMLMapperBuilder负责解析映射配置文件，也是继承BaseBuilder抽象类，parse()方法是解析配置文件的入口。
XMLStatementBuilder用来解析SQL节点，Mybatis使用SqlSource接口表示映射文件或注解中定义的SQL语句，但它表示的SQL语句不能直接被数据库执行，因为其中可能含有动态SQL语句相关的节点或是占位符等需要解析的元素。
SqlNode用来解析SQL语句中定义的动态SQL节点、文本节点等。
SqlSource接口中getBoundSql(Object parameterObject)方法通过解析得到BoundSql对象，其中封装了包含"?"占位符的SQL语句，以及绑定的实参。
DynamicContext主要用来记录解析动态SQL语句之后产生的SQL语句片段，可以认为它是一个用于记录动态SQL语句解析结果的容器。
SqlSourceBuilder主要完成两方面的操作，一方面是解析SQL语句中的#{}占位符中定义的属性，格式类似于#{_frc-item_0,javaType=int,jdbcType=NUERIC,typeHandler=MyTypeHandler}，另一方面是将SQL语句中的#{}占位符替换成?占位符。
DynamicSqlSource负责解析动态SQL语句，也是最常用的SqlSource实现之一。
RowSqlSource是SqlSource的另一个实现，其逻辑与DynamicSqlSource类似，但是执行的时机不一样，处理的SQL语句类型也不一样。RowSqlSource在构造方法中首先会调用getSql()方法，其中通过调用SqlNode.apply()方法完成SQL语句的拼接和初步处理，之后会使用SqlSourcebuilder完成占位符的替换和ParameterMapping集合的创建，并返回StaticSqlSource对象。
ResultSetHandler负责映射select语句查询得到的结果集，同时还会处理存储过程执行后的输出参数。
KeyGenerator接口提供业务逻辑需要获取插入记录时产生的自增主键。
StatementHandler是Mybatis的核心接口之一，它的接口功能有创建Statement对象，为SQL语句绑定实参，执行select|insert|update|delete等多种类型的SQL语句，批量执行SQL语句，将结果集映射成结果对象等。
Executor是Mybatis核心接口之一，其中定义了数据库操作的基本方法。在实际应用中经常涉及的SqlSession接口的功能，都是基于Executor接口实现的。

接口模块

SqlSession中定义了常用数据库操作方法，如增删改查等。

插件

Mybatis中，插件通过拦截器的方式实现，可以自定义很多强大的功能，如主键生成、黑白名单、分页、分库、分表等。

一些技术类相关概念的整理

发表于 2018-12-12 更新于 2019-05-30 阅读次数： Valine：

技术名称/概念太多，一些很少用到但是要接触的概念还是要记录下来，写在这里的目的是，进来就能看到。

多租户

多租户技术（英语：multi-tenancy technology）或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共享相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。

在多租户技术中，租户（tenant）是指使用系统或计算机运算资源的客户，但在多租户技术中，租户包含在系统中可识别为指定用户的一切数据，举凡账户与统计信息（accounting data），用户在系统中建置的各式数据，以及用户本身的客制化应用程序环境等，都属于租户的范围，而租户所使用的则是基于供应商所开发或建置的应用系统或运算资源等，供应商所设计的应用系统会容纳数个以上的用户在同一个环境下使用，为了要让多个用户的环境能力同一个应用程序与运算环境上使用，则应用程序与运算环境必须要特别设计，除了可以让系统平台可以允许同时让多份相同的应用程序运行外，保护租户数据的隐私与安全也是多租户技术的关键之一。

技术上，多租户技术可以透过许多不同的方式来切割用户的应用程序环境或数据。

数据面（data approach）：供应商可以利用切割数据库（database），切割存储区（storage），切割结构描述（schema）或是表格（table）来隔离租户的数据，必要时会需要进行对称或非对称加密以保护敏感数据，但不同的隔离作法有不同的实现复杂度与风险。
程序面（application approach）：供应商可以利用应用程序挂载（hosting）环境，于进程（process）上切割不同租户的应用程序运行环境，在无法跨越进程通信的情况下，保护各租户的应用程序运行环境，但供应商的运算环境要够强。
系统面（system approach）：供应商可以利用虚拟化技术，将实体运算单元切割成不同的虚拟机，各租户可以使用其中一至数台的虚拟机来作为应用程序与数据的保存环境，但对供应商的运算能力要更要求。

spring boot custom HttpMessageConverter with kotlin

发表于 2017-04-13 更新于 2019-05-30 阅读次数： Valine：

Make everything as simple as possible, but not simpler.

— Albert Einstein

在 Spring Boot 开发过程中，有时候需要自定义数据类型，而默认的 HttpMessageConverter 不能将自定义数据类型序列化为想要的数据，因此需要自定义序列化与反序列化。Gson 或 Jackson 实现

阅读全文 »

Kotlin & Spring boot 使用@Valid校验无效解决方法

发表于 2017-04-12 更新于 2019-05-30 阅读次数： Valine：

kotlin data （对应Java实体类

@Entity
@Table(name = "user")
data class User(
        @NotNull(message = "用户名不能为空")
        @Column(name = "user_name", nullable = false)
        var userName: String = "",

        @NotNull(message = "用户ID不能为空")
        @Column(name = "user_id", unique = true)
        var userId: String = "",

        @Email(message = "无效的邮箱")
        var email: String = "",

        @Column(nullable = false)
        var password: String = ""

) : Serializable

阅读全文 »

Hibernate自定义类型

发表于 2017-01-03 更新于 2019-05-30 阅读次数： Valine：

Hibernate对一些基本类型的映射提供了很好的支持，但有时候我们需要映射自定义或更复杂的数据类型，比如一个List集合，可以通过基本类型映射实现，需要在数据库中新建一张表，这种方式增加了数据库开销；也可以将List集合中的数据拼接成字符串再存储，这种方式导致程序可读性不友好，同时增加代码的复杂度；Hibernate提供了DiscriminatorType和UserType接口，方便用户自定义需要映射的数据类型。这里以UserType为例实现。

假设用户需要自定义一个类型，名称为ctype，它是16位字符的char数组，需要映射到数据库VARCHAR类型。

首先自定义java类型ctype：

public class ctype implements Serializable {

    // mtype 的长度
    private static int TYPE_LENGTH = 16;

    // mtype 实际上就是 char 数组
    private char[] mtype = new char[TYPE_LENGTH];

  	// 默认构造函数
    public ctype() {
        this.mtype = new char[0];
    }

    // 通过构造函数转换为ctype类型
    public ctype(Object object) {
        String str = String.valueOf(object);
        if (StrUtil.isBlank(str))
            this.mtype = new char[0];
        this.mtype = str.toCharArray();
    }
    
    public boolean isEmpty() {
        return String.valueOf(this.mtype).replace(" ", "").length() < TYPE_LENGTH;
    }

    public String toString() {
        return String.valueOf(this.mtype);
    }

    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        ctype ctype = (ctype) o;
        return Arrays.equals(mtype, ctype.mtype);
    }

    @Override
    public int hashCode() {
        return Arrays.hashCode(mtype);
    }
}

接下来实现HibernateUserType接口：

/**
 * Hibernate自定义类型
 */
public class customType implements UserType {

    private static int[] TYPES = new int[]{Types.VARCHAR};

    /**
     * 修改类型对应的SQL类型（这里用VARCHAR
     */
    @Override
    public int[] sqlTypes() {
        return TYPES;
    }

    /**
     * 修改customType对应的java类型（此处java类型为ctype
     */
    @Override
    public Class returnedClass() {
        return ctype.class;
    }

    /**
     * 自定义数据类型比对方法
     * 用作脏数据检查，o,o1为两个副本
     */
    @Override
    public boolean equals(Object o, Object o1) throws HibernateException {
        return Objects.equals(o, o1);
    }

    /**
     * 返回给定类型的hashCode
     */
    @Override
    public int hashCode(Object o) throws HibernateException {
        return Objects.hashCode(o);
    }

    /**
     * 读取数据转换为自定义类型返回
     * strings包含了自定义类型的映射字段名称
     */
    @Override
    public Object nullSafeGet(ResultSet resultSet, String[] strings, 
                              SessionImplementor sessionImplementor, Object o) 
      throws HibernateException, SQLException {
        String s = (String) resultSet.getObject(strings[0]);
        if (resultSet.wasNull()) return null;
        if (null != s) {
            if (s.replaceAll(" ", "").isEmpty())
                return null;
            return new ctype(s);
        }
        return null;
    }

    /**
     * 数据保存时被调用
     */
    @Override
    public void nullSafeSet(PreparedStatement preparedStatement, Object o, int i, 
                            SessionImplementor sessionImplementor) 
      throws HibernateException, SQLException {
        if (null == o) {
            preparedStatement.setNull(i, Types.VARCHAR);   //保存空值
        } else {
            String stringValue = String.valueOf(o);
            preparedStatement.setString(i, stringValue);
        }
    }

    /**
     * 自定义类型的完全复制方法,构造返回对象
     * 1. 当nullSafeGet方法调用之后，我们获得了自定义数据对象，
     *	  在向用户返回自定义数据之前,deepCopy方法被调用，
     *    它将根据自定义数据对象构造一个完全拷贝，把拷贝返还给客户使用。
     * 2. 此时我们就得到了自定义数据对象的两个版本
     *    原始版本由hibernate维护，用作脏数据检查依据;
     *    复制版本由用户使用，hibernate将在脏数据检查过程中比较这两个版本的数据;
     */
    @Override
    public Object deepCopy(Object o) throws HibernateException {
        if (o == null) return null;
        ctype c = (ctype) o;
        ctype nc = new ctype();
        nc = c;
        return nc;
    }

    /**
     * 表示本类型实例是否可变
     */
    @Override
    public boolean isMutable() {
        return true;
    }

    /**
     * method called when Hibernate puts the data in a second level cache. The
     * data is stored in a serializable form （官方文档
     */
    @Override
    public Serializable disassemble(Object o) throws HibernateException {
        return (ctype) deepCopy(o);
    }

    /**
     * Returns the object from the 2 level cache （官方文档
     */
    @Override
    public Object assemble(Serializable serializable, Object o)
      throws HibernateException{
        return deepCopy(serializable);
    }

    @Override
    public Object replace(Object o, Object o1, Object o2) 
      throws HibernateException {
        return deepCopy(o);
    }
}

通过注解方式使用：

/**
 * Entity -> Item
 */
@Entity
@Table(name = "d_item")
@TypeDef(name = "myType", typeClass = customType.class)
public class Item implements Serializable {

    @Id
    @Type(type = "myType")
    private ctype uid;
  
   ... ...
  
}

完成。

读看见

发表于 2016-01-29 更新于 2019-05-30 阅读次数： Valine：

“痛苦是财富，这话是扯淡。姑娘，痛苦就是痛苦，”他说，“对痛苦的思考才是财富。”

阅读全文 »

majhdkl

Programming technology podcast

GitHub E-Mail Weibo Twitter StackOverflow