网页给别人做的 网站后续收费吗,获取更多付费流量,网页设计尺寸1920,怎么设置网站的关键字#x1f604; 19年之后由于某些原因断更了三年#xff0c;23年重新扬帆起航#xff0c;推出更多优质博文#xff0c;希望大家多多支持#xff5e; #x1f337; 古之立大事者#xff0c;不惟有超世之才#xff0c;亦必有坚忍不拔之志 #x1f390; 个人CSND主页——Mi… 19年之后由于某些原因断更了三年23年重新扬帆起航推出更多优质博文希望大家多多支持 古之立大事者不惟有超世之才亦必有坚忍不拔之志 个人CSND主页——Micro麦可乐的博客 《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程入门到实战 《RabbitMQ》本专栏主要介绍使用JAVA开发RabbitMQ的系列教程从基础知识到项目实战 《设计模式》专栏以实际的生活场景为案例进行讲解让大家对设计模式有一个更清晰的理解 如果文章能够给大家带来一定的帮助欢迎关注、评论互动 分享 GitHub 上的敏感词汇工具类sensitive-word 前言介绍sensitive-wordSpringBoot使用sensitive-word敏感词工具类的优缺点总结结语 前言
在网络世界中对于敏感词汇的过滤是保障用户体验和维护网络环境的一项基础工作。常见的比如社交平台、论坛、聊天应用等场景涉及到用户言论都需要考虑内容的敏感性处理本文将为大家介绍一款GitHub上开源好用的好用敏感词工具sensitive-word 目前已经有1.4KStar项目地址 https://github.com/houbb/sensitive-word
介绍sensitive-word
sensitive-word 是基于 DFA 算法实现的高性能敏感词工具。目前敏感词库内容收录 6W且不断优化更新。
特性 6W 词库且不断优化更新 基于 fluent-api 实现使用优雅简洁 基于 DFA 算法性能为 7W QPS应用无感 支持敏感词的判断、返回、脱敏等常见操作 支持常见的格式转换 全角半角互换、英文大小写互换、数字常见形式的互换、中文繁简体互换、英文常见形式的互换、忽略重复词等 支持敏感词检测、邮箱检测、数字检测、网址检测等 支持自定义替换策略 支持用户自定义敏感词和白名单 支持数据的数据动态更新用户自定义实时生效 支持敏感词的标签接口 支持跳过一些特殊字符让匹配更灵活 SpringBoot使用sensitive-word
在开发java项目中想使用sensitive-word其实非常简单只需要maven引入依赖就可以当作一个工具类调用其方法即可使用
maven引入依赖
dependencygroupIdcom.github.houbb/groupIdartifactIdsensitive-word/artifactIdversion0.12.0/version
/dependencySensitiveWordHelper 作为敏感词的工具类核心方法如下 接下来我们编写相关测试类来测试对应方法
public class Test {public static void main(String[] args) {//是否有敏感词存在String text 五星红旗迎风飘扬毛主席的画像屹立在天安门前。;Assert.assertTrue(SensitiveWordHelper.contains(text));//返回第一个敏感词String word SensitiveWordHelper.findFirst(text);Assert.assertEquals(五星红旗, word);//返回所有敏感词ListString wordList SensitiveWordHelper.findAll(text);Assert.assertEquals([五星红旗, 毛主席, 天安门], wordList.toString());//默认的替换策略String result SensitiveWordHelper.replace(text);Assert.assertEquals(****迎风飘扬***的画像屹立在***前。, result);//指定替换的内容String result SensitiveWordHelper.replace(text, 0);Assert.assertEquals(0000迎风飘扬000的画像屹立在000前。, result);}
}自定义替换策略
场景说明有时候我们希望不同的敏感词有不同的替换结果。比如【游戏】替换为【电子竞技】【失业】替换为【灵活就业】
/*** 自定替换策略* since 0.2.0*/
Test
public void defineReplaceTest() {final String text 五星红旗迎风飘扬毛主席的画像屹立在天安门前。;ISensitiveWordReplace replace new MyWordReplace();String result SensitiveWordHelper.replace(text, replace);Assert.assertEquals(国家旗帜迎风飘扬教员的画像屹立在***前。, result);
}public class MyWordReplace implements IWordReplace {Overridepublic void replace(StringBuilder stringBuilder, final char[] rawChars, IWordResult wordResult, IWordContext wordContext) {String sensitiveWord InnerWordCharUtils.getString(rawChars, wordResult);// 自定义不同的敏感词替换策略可以从数据库等地方读取if(五星红旗.equals(sensitiveWord)) {stringBuilder.append(国家旗帜);} else if(毛主席.equals(sensitiveWord)) {stringBuilder.append(教员);} else {// 其他默认使用 * 代替int wordLength wordResult.endIndex() - wordResult.startIndex();for(int i 0; i wordLength; i) {stringBuilder.append(*);}}}
}我们针对其中的部分词做固定映射处理其他的默认转换为 *
敏感词工具类的优缺点总结
优点
高效性 敏感词的存储和检测采用了高效的数据结构和算法能够在很短的时间内完成检测。易扩展 Trie 树的结构使得添加、删除敏感词非常方便同时 AC 自动机算法保证了高效的匹配。
缺点
内存占用 敏感词库的存储需要一定的内存随着敏感词数量的增加内存占用也会相应增加。
结语
GitHub 上的 sensitive-word 工具类是一个功能强大且高效的敏感词汇检测工具。通过简单的引入测试相信大家已经使用方法有了一定了解这样我们可以在项目中更好地保障用户信息的安全维护良好的网络环境
