兖州建设公司网站wordpress 4.7 模板

兖州建设公司网站,wordpress 4.7 模板,asp网站改成php,湘潭九华网站由于医学行业的特殊性#xff0c;不同病的病理和发病情况的特殊性#xff0c;大模型是无法替代医生进行就诊的#xff0c;即使是不同的病对应不同的病理和发病情况相关药物治疗的量和疗程都是无法固定的#xff0c;同时由于医学内容太多#xff0c;太多的病同时都有不同的…由于医学行业的特殊性不同病的病理和发病情况的特殊性大模型是无法替代医生进行就诊的即使是不同的病对应不同的病理和发病情况相关药物治疗的量和疗程都是无法固定的同时由于医学内容太多太多的病同时都有不同的病理同时医学领域中大模型的幻觉后果是非常严重的这里需要严格处理同时需要数据量稍大一点因此这里的微调主要是想做一个通用医学知识的医学大模型微调更着重于为人们进行医学知识的科普和健康生活规划以及为用户预诊可能的疾病然后引导用户线下就医而非直接根据用户提供的信息告诉用户你得的什么病该怎么吃药首先我们要用垂直领域的数据进行LORA微调1.需要对格式进行处理将自由文本处理为ChatML文本2需要对文本的内容进行处理需要保证我们训练数据的质量以及不能有一些垃圾甚至是恶意不好的内容。3.由于医学领域数据的特殊性处理需要更加严谨和小心得到处理后的数据我们还需要评估和人工复核此文仅为个人的一些想法更多的可以参考相关医学大模型论文中的内容和一些其他的方法进行优化和升级详细代码请见代码仓首先是我代码中的预处理代码的架构┌──────────────────────────┐│ 原始医学文本 ││ │└───────────┬──────────────┘│▼┌──────────────────────────┐│ Block 解析模块 ││ parse_blocks() ││ ││ ┌─ Description ││ └─ Dialogue │└───────────┬──────────────┘│▼┌──────────────────────────┐│ 结构化对话构建模块 ││ convert_record() ││ ││ ├─ 系统提示 system ││ ├─ 描述 → QA 转换 ││ │ convert_description ││ └─ 对话解析 parse_dialog │└───────────┬──────────────┘│▼┌──────────────────────────┐│ ChatML 数据 ││ [{role,content}...] │└───────────┬──────────────┘│▼┌──────────────────────────┐│ 规则级去重 ││ hash_dedup() ││ (MD5 文本完全一致) │└───────────┬──────────────┘│▼┌──────────────────────────┐│ 语义级去重核心难点 ││ semantic_deduplicate() ││ ││ ├─ 向量编码 ││ │ SentenceTransformer ││ ├─ 分批处理 BATCH ││ ├─ 滑窗 WINDOW ││ ├─ FAISS 相似度搜索 ││ └─ 阈值过滤 SIM ≥ 0.97 │└───────────┬──────────────┘│▼┌──────────────────────────┐│ 高质量医学对话数据集 ││ medical_data.jsonl │└──────────────────────────┘这里我主要是用正则表达式去除了文本中杂糅的内容同时把文本转化成chatml格式然后对原始文件进行了预处理首先是MD5哈希对文本中完全重复的内容进行去除然后用语义相似度去重这里由于医学数据的特殊性我选择了比较高的阈值由于病人的发病情况可能类似但是可能病理不同比如病人发烧的温度可能一个38度一个39度对这部分数据数据应该进行保留这里需要去除的内容是语义上完全相同的陈述比如病人说我头有点晕和我感觉我有点头晕这类陈述同时由于数据的庞大我利用分批处理和每次选择该位置前2000作为滑动窗口防止漏掉重复的内容并利用Faiss相似度搜索进行去重。比较好的点:分批处理和滑动窗口去重考虑阈值问题接下来就是对生成的内容进行过滤和评估并进行人工校验这是我的架构。┌─────────────────────────────────────┐│ 数据输入层 ││ ChatML / JSONL 对话数据 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 1规则过滤层 ││ - 长度合法性 ││ - 垃圾文本 / 隐私 / 链接 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 2医学风险识别层 ││ - SAFE / CAUTION / RESTRICT / CRISIS ││ - 基于规则的风险信号检测 │└─────────────────────────────────────┘│ │ ││ │ └──▶ CRISIS → 人工兜底│ ││ └──▶ RESTRICT → 安全回复改写 → 不可训练集│▼┌─────────────────────────────────────┐│ Stage 3语言质量评估层 ││ - 困惑度PPL ││ - 低质量 / 噪声文本剔除 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 4数据分流层 ││ - 可训练数据 ││ - 不可训练但可留存 ││ - 高危人工复查 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ 统计 评估报告层 ││ - 各阶段命中率 ││ - PPL 分布 ││ - 人工成本评估依据 │└─────────────────────────────────────┘一开始我的想法是常规做法1.规则过滤对文本长度小于5和大于1000的去除由于数据来源可能有网络爬虫和我们用大模型得到的数据可能有垃圾信息比如邮箱可能有密码和身份证信息所以也用正则表达式进行去除2.有害内容检测3.PPL困惑度检测但是后面我思考了一下这样是单一且片面的没有考虑到医学的特殊性比如可能用户会有失血过多文本中可能会有死亡这类词这样很容易被识别为有害内容所以这样做是不对的这样生成的数据会让大模型觉得外面的世界是安全的对于用户的回答可能无法很好地起到预诊和引导就医的作用。所以这里的操作我加入了医学风险识别层处理比较严格同时加入人工审核模块以及将标签中为CAUTION和RESTRICT的内容用日志保留以便人工复核我们将CAUTION和RESTRICT的内容替换为引导就医内容(这部分内容可能涉及引导用户用药和自我救治但是前面由于不同病不同病理是很繁杂的大模型只能辅助就诊不能越俎代庖地为用户就诊)这样一方面可以防止疏漏另一方面还可以对我们便签中为CAUTION和RESTRICT的内容进行复核。以下为我的架构┌─────────────────────────────────────┐│ 数据输入层 ││ ChatML / JSONL 对话数据 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 1规则过滤层 ││ - 长度合法性 ││ - 垃圾文本 / 隐私 / 链接 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 2医学风险识别层 ││ - SAFE / CAUTION / RESTRICT / CRISIS ││ - 基于规则的风险信号检测 │└─────────────────────────────────────┘│ │ ││ │ └──▶ CRISIS → 人工兜底│ ││ └──▶ RESTRICT → 安全回复改写 → 不可训练集│▼┌─────────────────────────────────────┐│ Stage 3语言质量评估层 ││ - 困惑度PPL ││ - 低质量 / 噪声文本剔除 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ Stage 4数据分流层 ││ - 可训练数据 ││ - 不可训练但可留存 ││ - 高危人工复查 │└─────────────────────────────────────┘│▼┌─────────────────────────────────────┐│ 统计 评估报告层 ││ - 各阶段命中率 ││ - PPL 分布 ││ - 人工成本评估依据 │└─────────────────────────────────────┘