Coverage for lib/lib_openai.py: 78%

90 statements  

« prev     ^ index     » next       coverage.py v7.9.1, created at 2026-02-10 01:10 +0100

1__author__ = 'moilerat' 

2 

3import openai 

4 

5# monitor usage https://platform.openai.com/account/usage 

6 

7from lib.brick_layers.lib_abstract_generic_layer import LayerPrompt 

8 

9# choix de design pattern par composition (ie membre de la classe) plutot que heritage semble pertinent 

10# vu qu'il n'y a rien à faire de particulier du coup pour la classe get_embeddings ces pareils ! 

11class LayerPromptOpenAI(LayerPrompt): 

12 def __init__(self, conf): 

13 LayerPrompt.__init__(self, conf) 

14 openai_token = conf["openai_token"] if "openai_token" in conf else "" 

15 openai_organization = conf["openai_organization"] if "openai_organization" in conf else "org-VVKqLCnyM7PKo4i07CmQQVW9" 

16 gpt_model = conf["gpt_model"] if "gpt_model" in conf else "gpt-4-1106-preview" 

17 # Is self.model defined ? 

18 

19 self.oapi = OpenAIAPI(openai_token, gpt_model, openai_organization) 

20 

21# def toJSON(self): 

22 # return {"model" : self.conf["model"], "openai_token" : self.conf["openai_token"]} 

23 # return self.conf 

24# return {} 

25 

26 def prompt(self, request_used, gpt_model, verbose = False): 

27 return self.oapi.completion(request_used) 

28 

29 

30 

31# TODO VR : check we want to configure like this ? not sure ! but seems efficient ! 

32# A mon avis not used vu que les non openai font n'importequoi ! 

33map_model_to_api = { 

34 "text-embedding-ada-002-v2" : 0.0004, 

35 "gpt-3.5-turbo" : LayerPromptOpenAI, 

36 "gpt-4" : LayerPromptOpenAI, 

37 "gpt-4-0314" : LayerPromptOpenAI, 

38 "gpt-4-1106-preview" : LayerPromptOpenAI, 

39 "Babbage" : 0.0005, 

40 "Curie" : 0.0020, 

41 "Davinci" : 0.0200, 

42 "whisper-1" : 0.0001, # per second 

43 "google_ocr" : 0 

44} 

45 

46 

47 

48class OpenAIAPI(): 

49 def __init__(self, openai_token, gpt_model = "gpt-4", openai_organization = "org-VVKqLCnyM7PKo4i07CmQQVW9"): #"gpt-3.5-turbo"): 

50 self.gpt_model = gpt_model 

51 import openai 

52 openai.api_key = openai_token 

53 openai.organization = openai_organization 

54 

55 print(" openai_token : " + str(openai_token)) 

56 print(" openai_organization : " + str(openai_organization)) 

57 

58 def completion(self, content): 

59 try : 

60 print(" openai.api_key : " + str(openai.api_key)) 

61 print(" openai.organization : " + str(openai.organization)) 

62 response = openai.ChatCompletion.create( 

63 model=self.gpt_model, 

64 messages=[ 

65 {"role": "system", "content": "You are a chatbot"}, 

66 {"role": "user", "content": content}, 

67 ] 

68 ) 

69 

70 result = '' 

71 for choice in response.choices: 

72 result += choice.message.content 

73 

74# choice.message.content = "" 

75 

76 nb_total_token = response.usage.total_tokens 

77 model_used = response.model 

78 

79 return result, nb_total_token, model_used 

80 except Exception as e: 

81 print(str(e)) 

82 return "ERROR " + str(e), 0, None 

83 

84# def embeddings(self, texts : List[str]) -> List[List[float]]: 

85 def embeddings(self, texts, embedding_model = "text-embedding-ada-002", verbose = False): 

86 """ 

87 Embed texts using OpenAI's ada model. 

88 

89 Args: 

90 texts: The list of texts to embed. 

91 

92 Returns: 

93 A list of embeddings, each of which is a list of floats. 

94 

95 Raises: 

96 Exception: If the OpenAI API call fails. 

97 """ 

98 import logging 

99 logger = logging.getLogger() 

100 logger.info("In embeddings") 

101 

102 if verbose: 

103 print("Requesting text-embedding-ada-002 deployment : texts : " + str(texts)) 

104 

105 response = openai.Embedding.create(input=texts, model=embedding_model) 

106 

107 # Extract the embedding data from the response 

108 data = response["data"] # type: ignore 

109 

110# to_print = str(data) 

111# print(" data[:500] : " + to_print[:500]) 

112 

113 # Return the embeddings as a list of lists of floats 

114 res = [result["embedding"] for result in data] 

115 return res, 0, "text-embedding-ada-002" 

116 

117 def embeddingss(self, texts, embedding_model = "text-embedding-ada-002", verbose = False): 

118 """ 

119 Embed texts using OpenAI's ada model. 

120 

121 Args: 

122 texts: The list of texts to embed. 

123 

124 Returns: 

125 A list of embeddings, each of which is a list of floats. 

126 

127 Raises: 

128 Exception: If the OpenAI API call fails. 

129 """ 

130 # Call the OpenAI API to get the embeddings 

131 # NOTE: Azure Open AI requires deployment id 

132 if verbose: 

133 print("Requesting text-embedding-ada-002 deployment : texts : " + str(texts)) 

134 

135 import logging 

136 logger = logging.getLogger() 

137 logger.info("In embeddingss") 

138 

139 response = openai.Embedding.create(input=texts, model=embedding_model) 

140 

141 # Extract the embedding data from the response 

142 data = response["data"] # type: ignore 

143 

144 to_print = str(data) 

145 # print(" data[:500] : " + to_print[:500]) 

146 nb_tokens = 0 

147 if "usage" in response and "total_tokens" in response["usage"]: 

148 nb_tokens = response["usage"]["total_tokens"] 

149 

150 model_used = "" 

151 if "model" in response: 

152 model_used = response["model"] 

153 

154 # Return the embeddings as a list of lists of floats 

155 return [result["embedding"] for result in data], nb_tokens, model_used 

156 

157 

158# Costs 0,000964 $ so 0,09 cents 

159def hello_world_gpt(openai_token, gpt_model = "gpt-3.5-turbo", query = """ 

160Merci d'estimer l'impact carbone des produits se trouvant ici, ainsi que leur nombre de calories et le prix si possible, meme de manière approximative et de la renvoyer sous forme de tableau avec pour colonnes : PRODUIT, CO2, CALORIES, PRIX : 

161Vendredi 5 mai : un sandwich fromage jambon, une part de tiramisu, 6 tartine de tapenade, 700g de fromage blanc isigny, 300cl de jus d'orange, une carotte 

162"""): 

163 # Merci d'estimer une approximation basique de l'impact carbone des produits 

164 oapi = OpenAIAPI(openai_token, gpt_model) 

165 

166 # query = "Why should DevOps engineer learn kubernetes?" 

167 # query = "Tell the world about the ChatGPT API in the style of a pirate." 

168 

169 # query = """ 

170#"{\"results\":[{\"query\":\"number of people seen in dream\",\"results\":[{\"id\":\"80000ebb-ad02-4283-b662-fbb21e88dfb5_0\",\"text\":\"Something else : Dalal is trying to know herself !\",\"metadata\":{\"source\":\"file\",\"source_id\":\"doc2.txt\",\"url\":null,\"created_at\":\"1685227221\",\"author\":\"Dalal\",\"document_id\":\"80000ebb-ad02-4283-b662-fbb21e88dfb5\"},\"embedding\":null,\"score\":0.7303008160940081},{\"id\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt_0\",\"text\":\"reve 23032023 J'etais dans un train et on ajustait le niveau avec JO £Il y avait Dorothée et ma famille j'etais avec tes frères qui étaient des sortes de gentlemen anglais qui jouait de la musique (il utilise le violoncelle ), il y avait des contestations (très morales) de leur situation On s'engueulait parce que tu ne voulais pas venir et prendre un tgv pour Nice ou Marseille en me demandant : \\\"Maisdismoijustesituaspretetonappartementàqqun\\\" Il y avait bcp de sujet autour de la nourriture. Qqun me reveillait en m'amenant du beure et des poissons au sel sur le lit Tu avais acheté une miche de pain ou se trouvait tout une nichée de rat Je jetais mon telephone\",\"metadata\":{\"source\":\"file\",\"source_id\":null,\"url\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt\",\"created_at\":\"1685232257\",\"author\":null,\"document_id\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt\"},\"embedding\":null,\"score\":0.7281031149570651},{\"id\":\"Doc/202_0\",\"text\":\"Suivi fin de thèse de Guillaume# Contexte\\r GB doit soumettre cet été.\\r \\r # Suivi\\r - [Point avancement GP VR 24/5/23](https://github.com/fotonower/Doc/issues/202#issuecomment-1561691188)\\r \\r \\r \\r \\r # Point avancement GP VR 24/5/23\\r \\r \\r Résumé de la conversation :\\r \\r 1. Présence de plusieurs personnes, dont Emma, qui travaillent sur FVS, ce qui pourrait avoir un impact positif sur les tests à venir pour la thèse de Guillaume.\\r 2. Les données de Marine sur les animaux ne sont pas accessibles, ce qui pose un problème pour les tests.\\r 3. Emma a un accès plus étendu aux données, ce qui est crucial pour sa thèse.\\r 4. Des problèmes de mesure et de masses se posent, ce qui affecte la recherche de Guillaume.\\r 5.\",\"metadata\":{\"source\":\"chat\",\"source_id\":null,\"url\":\"https://www.github.com/fotonower/Doc/issues/202\",\"created_at\":\"1685227384\",\"author\":null,\"document_id\":\"Doc/202\"},\"embedding\":null,\"score\":0.7236419992045953}]},{\"query\":\"date of the dream\",\"results\":[{\"id\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt_0\",\"text\":\"reve 23032023 J'etais dans un train et on ajustait le niveau avec JO £Il y avait Dorothée et ma famille j'etais avec tes frères qui étaient des sortes de gentlemen anglais qui jouait de la musique (il utilise le violoncelle ), il y avait des contestations (très morales) de leur situation On s'engueulait parce que tu ne voulais pas venir et prendre un tgv pour Nice ou Marseille en me demandant : \\\"Maisdismoijustesituaspretetonappartementàqqun\\\" Il y avait bcp de sujet autour de la nourriture. Qqun me reveillait en m'amenant du beure et des poissons au sel sur le lit Tu avais acheté une miche de pain ou se trouvait tout une nichée de rat Je jetais mon telephone\",\"metadata\":{\"source\":\"file\",\"source_id\":null,\"url\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt\",\"created_at\":\"1685232257\",\"author\":null,\"document_id\":\"///FILE///moilerat@MacBook-Air-Victor.local///Users/moilerat/Desktop/to_perso/reve_23032023.txt\"},\"embedding\":null,\"score\":0.7433049580813922},{\"id\":\"Doc/202_4\",\"text\":\"Respecter les échéances et s'organiser pour terminer la thèse à temps.\\r \\r \\r Les deadlines précises mentionnées dans la conversation sont les suivantes :\\r \\r 1. Pour les parties numériques : le 1er août.\\r 2. Pour les parties théoriques : fin juin.\\r \\r Il est important de noter que ces deadlines sont spécifiques à la situation discutée dans la conversation et peuvent ne pas correspondre aux délais réels de la thèse de Guillaume. Les délais exacts devraient être confirmés auprès du superviseur ou des responsables de la thèse.\",\"metadata\":{\"source\":\"chat\",\"source_id\":null,\"url\":\"https://www.github.com/fotonower/Doc/issues/202\",\"created_at\":\"1685227384\",\"author\":null,\"document_id\":\"Doc/202\"},\"embedding\":null,\"score\":0.7418353267579239},{\"id\":\"80000ebb-ad02-4283-b662-fbb21e88dfb5_0\",\"text\":\"Something else : Dalal is trying to know herself !\",\"metadata\":{\"source\":\"file\",\"source_id\":\"doc2.txt\",\"url\":null,\"created_at\":\"1685227221\",\"author\":\"Dalal\",\"document_id\":\"80000ebb-ad02-4283-b662-fbb21e88dfb5\"},\"embedding\":null,\"score\":0.7391205731880266}]}]}" 

171#""" 

172 

173 

174 result, plop1, plop2 = oapi.completion(query) 

175 

176 print(result) 

177 print(plop1) 

178 print(plop2) 

179 

180 print("DONE") 

181 

182 # 14-4-23 

183 # openai.error.RateLimitError: You exceeded your current quota, please check your plan and billing details. 

184 

185 

186 

187 

188 

189 

190 

191 

192# Return by completion 

193{ 

194 "choices": [ 

195 { 

196 "finish_reason": "stop", 

197 "index": 0, 

198 "message": { 

199 "content": "Il est difficile de donner des valeurs exactes pour l'impact carbone, le nombre de calories et le prix de chaque produit, car cela peut varier en fonction des marques, des ingr\u00e9dients et de la provenance. Cependant voici une estimation approximative de ces donn\u00e9es pour chaque \u00e9l\u00e9ment que vous avez fourni :\n\n| PRODUIT | CO2 (kg) | CALORIES | PRIX (\u20ac) |\n| -------------------------- | ------- | -------- | ------- |\n| Sandwich fromage et jambon | 0.85 | 400 | 3.50 |\n| Part de tiramisu | 1.00 | 450 | 3.00 |\n| 6 tartines de tapenade | 0.30 | 180 | 2.00 |\n| 700g de fromage blanc Isigny| 2.10 | 595 | 4.00 |\n| 300cl de jus d'orange | 1.20 | 375 | 3.00 |\n| Une carotte | 0.01 | 20 | 0.20 |\n\nCette estimation ne doit pas \u00eatre consid\u00e9r\u00e9e comme pr\u00e9cise, mais elle peut vous donner une id\u00e9e g\u00e9n\u00e9rale de l'impact carbone, du nombre de calories et du prix des produits demand\u00e9s.", 

200 "role": "assistant" 

201 } 

202 } 

203 ], 

204 "created": 1683410720, 

205 "id": "chatcmpl-7DKJkOe2O0yn0wpzWuZpRupB9obka", 

206 "model": "gpt-4-0314", 

207 "object": "chat.completion", 

208 "usage": { 

209 "completion_tokens": 302, 

210 "prompt_tokens": 134, 

211 "total_tokens": 436 

212 } 

213} 

214 

215from typing import Any, List 

216 

217# Costs 0,000964 $ so 0,09 cents 

218# But more with gpt-4 

219# TODO VR 30-6-23 : to take out of lib_openai and check configuration with above (when using another api !) 

220def request_gpt(openai_token, request, gpt_model = "gpt-4", verbose = False): # gpt-3.5-turbo 

221 

222 if gpt_model not in map_model_to_api: 

223 print("Problem !") 

224 return None, None, None 

225 

226 prompt_layer = map_model_to_api[gpt_model](conf = {"model" : gpt_model, "openai_token" : openai_token}) 

227 

228 res = prompt_layer.prompt(request, gpt_model) 

229 return res 

230 

231# oapi = OpenAIAPI(openai_token, gpt_model) 

232 

233# result, nb_token, model = oapi.completion(request) 

234 

235# if verbose : 

236# print(result) 

237 

238# return result, nb_token, model 

239 

240# def get_embeddings(texts: List[str]) -> List[List[float]]: 

241def get_embeddings(input, openai_token = None, embedding_model = "text-embedding-ada-002", verbose = False): 

242 oapi = OpenAIAPI(openai_token) 

243 

244 result, nb_token, model = oapi.embeddings(input, embedding_model, verbose) 

245 

246# if verbose : 

247# print(result[:10]) 

248 

249 return result, nb_token, model 

250 

251#@retry(wait=wait_random_exponential(min=1, max=20), stop=stop_after_attempt(3)) 

252def get_embeddingss(texts: List[str], openai_token = None, embedding_model = "text-embedding-ada-002", verbose = False) -> List[List[float]]: 

253 oapi = OpenAIAPI(openai_token) 

254 

255 result, nb_token, model = oapi.embeddingss(texts, embedding_model, verbose) 

256 

257# if verbose : 

258# print(result[:10]) 

259 

260 return result, nb_token, model 

261 

262 

263 

264# from tenacity import retry, wait_random_exponential, stop_after_attempt 

265# @retry(wait=wait_random_exponential(min=1, max=20), stop=stop_after_attempt(3)) 

266# def get_embeddings(texts: List[str]) -> List[List[float]]: 

267 

268 

269# dev 19/4/24 

270# https://platform.openai.com/docs/guides/images/usage?context=node 

271def generate_image(): 

272 from openai import OpenAI 

273 client = OpenAI() 

274 

275 response = client.images.generate( 

276 model="dall-e-3", 

277 prompt="a white siamese cat", 

278 size="1024x1024", 

279 quality="standard", 

280 n=1, 

281 ) 

282 

283 image_url = response.data[0].url 

284 

285