Dedsec的博客

r前缀原始字符串和普通字符串普通字符串 简单介绍，普通字符串就是使用单引号和双引号括起来的字符，如:"hello world",若是需要包含一些特殊的字符,那就需要转义符: 比如: 12s="hello\nworld"print(s) 这里将会输出: hello world 12345678910111213 * example:\t 表示制表符 \n表示换行 \r表示回车 \' 表示单引号 \"表示双引号 \\表示一条反斜杠 ### 原始字符串* 简单介绍:原始字符串里面的内容不需要被转义,表示形式为在普通字符串前面加一个r即可。* 比如:* ```python s=r"hello\nworld" print(s) 这里将会输出: hello\nworld 12345678910111213141516171819202122* 注意采用原始字符的形式 \n是两个字符\和n，而不是表示换行的意思了# `re.match`函数*...

决策树分类算法学习XGBoost算法及其应用对于模型的保存 个人犯的错: # 保存模型时应使用XGBoost原生方法 self.xgb_model.save_model("./classifier/model/xgboost_model/xgboost_model.ubj") #直接使用路径对模型进行加载 class ContextAwareClassifier: def __init__(self, xgb_model, bert_model, tokenizer_model, db_path, db_manager: ControlChatHistoryData, history_size): """传入参数:两种模型，分词器，数据库路径，历史记录长度""" # 初始化数据库连接池 self.connection_pool = SQLiteConnectionPool(db_path) # 初始化并列的类 ...

...

langchain历史记录管理输入的消息类型: 关于Message的基本介绍可用看这:langchain基本Messages 这里说说基本的用法(重在区别BaseMessage,HumanMessage,AIMessage) 如以下代码: # 先写 InMemoryMessageHistory，对获取的消息进行处理并获取历史记录列表！ class InMemoryMessageHistory(BaseChatMessageHistory, BaseModel): messages: List[BaseMessage] = Field(default_factory=list) # 添加并处理对话记录 def add_message(self, message: BaseMessage) -> None: self.messages.append(message) def clear(self) -> None: ...

朴素贝叶斯分类理解步奏一:准备数据集 收集数据:收集与分类任务相关的数据集,比如网安数据,日常生活对话数据 数据标注:以我的aichat bot为例,为网安的数据标注为”1”,日常生活数据标注为”0” 划分数据(可选):将数据集划分为训练集和测试集。训练集用于训练模型，测试集用于评估模型的性能。通常，可按照 70% - 30% 或 80% - 20% 的比例进行划分。 步奏二:获取离散矩阵 即使用如:self.vectorizer = CountVectorizer()：创建一个 CountVectorizer 对象，用于将文本数据转换为数值特征矩阵。 关于这个数字序列矩阵:X = self.vectorizer.fit_transform(texts)：fit_transform 是 CountVectorizer...

numpy库学习(持续更新array多维数组概念定义多维数组是一种包含多个维度的数据集合，每个维度可以看作是一个方向，类似于数学中的坐标轴。一维数组可以想象成一条直线上的点的集合，二维数组类似一个平面上的网格，三维数组则像是一个立体空间中的立方体网格，以此类推，可以有更高维度的数组。 特点 同质性：多维数组中的所有元素必须是相同的数据类型，例如 int、float 等。这使得 NumPy 数组在内存中存储更高效，也方便进行统一的数值计算。 固定大小：数组创建后，其形状（即各维度的大小）通常是固定的，不像 Python 列表可以动态改变大小。 创建方式使用 np.array() 函数12345678910111213import numpy as np# 创建一维数组one_d_array = np.array([1, 2, 3, 4, 5])print("一维数组:", one_d_array)# 创建二维数组two_d_array = np.array([[1, 2, 3], [4, 5, 6]])print("二维数组:\n",...

Python异常捕获与处理Exception例如: 1234567891011121314151617import osimport PyPDF2import docxclass DocumentReader: @staticmethod def read_pdf(file_path): try: with open(file_path, 'rb') as file: reader = PyPDF2.PdfReader(file) text = "" for page in reader.pages: text += page.extract_text() return text except Exception as e: print(f"读取PDF文件时出错:...

三元表达式以及其在字符串格式化中的运用 基本语法:value_if_true if condition else value_if_false 使用情况: condition是一个布尔表达式,值为true或者false 一句话说完怎么用:中间为true,返回左边,为false,返回右边 比如: 1234567891011121314151617181920212223from PyPDF2 import PdfReaderimport os# 打开文档pdf_path = os.path.abspath('text.pdf')with open(pdf_path, 'rb') as f: pdf = PdfReader(f) # 获取文档信息，注意这里原来是.getDocumentInfo，现在直接使用属性访问 information = pdf.metadata # 获取页数，原来的 getNumPages 已弃用，使用 len(pdf.pages) number_of_pages =...

模型嵌入层和权重矩阵关系的理解模型的词嵌入层与权重矩阵在基于 Transformer 架构的预训练模型（如 BERT、GPT 等）中，词嵌入层（Embedding Layer）是模型处理输入文本的重要组件。它的主要作用是将离散的 token（例如单词、子词等）转换为连续的向量表示，以便模型能够对其进行数值计算。 词嵌入层有一个权重矩阵（weight），这个矩阵的形状通常是 (V, D)，其中 V 是词汇表的大小，即分词器所能识别的所有 token 的数量；D 是嵌入向量的维度，也就是每个 token 对应的向量的长度。这个权重矩阵的每一行都对应着词汇表中一个特定 token 的嵌入向量。 通俗理解:每个词嵌入,即word_embedding,都是一个向量,从表现形式来看本质就是向量的坐标表示:如:[0.1, 0.3,...